I.14Автоматизация процессов и AI-агенты

Gaivoronsky/Mistral-7B-Saiga — русскоязычная генеративная модель, опубликованная Gaivoronsky. Это плотная causal language model семейства Mistral на 7,1 млрд параметров, представленная в формате PyTorch fp16. Она основана на IlyaGusev/saiga_mistral_7b_lora и предназначена для генерации текста и диалоговых сценариев на русском языке. Модель подходит для русскоязычных ответов на вопросы, инструкций и общения в чат-ботах. Заявленная длина контекста — 32 768 токенов. Модель распространяется по лицензии CC BY 4.0; README описывает запуск через vLLM.

Mistral-7B-v0.1-flashback-v2-instruct — шведско-английская инструктивная языковая модель timpal0l, созданная дообучением timpal0l/Mistral-7B-v0.1-flashback-v2 на машинно переведённом наборе инструкций OpenHermes 2.5. Она предназначена для диалогов и генерации ответов на инструкции; использовать её можно, например, через библиотеку Transformers.

Модель thewordsmiths/Mistral-7B-v0.3_sft_merged_100000_dpo_merged — дообученная авторами thewordsmiths плотная языковая модель Mistral для генерации текста. Она создана на основе thewordsmiths/Mistral-7B-v0.3_sft_merged_100000 с использованием Unsloth и библиотеки Hugging Face TRL; в названии и тегах указано обучение DPO. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache-2.0.

MistralDpoPearl-7b-slerp — слитая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit объединением louisbrulenaudet/Pearl-7B-slerp и NousResearch/Nous-Hermes-2-Mistral-7B-DPO методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоговые сценарии и ответы на инструкции. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате Safetensors, объединённые в bf16. Лицензия — Apache-2.0. Карточка не приводит оценки качества или подробные сведения о языковом покрытии, поэтому пригодность для конкретного языка и специализированных задач следует оценивать отдельно.

Mistral-Small-Instruct-2409-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-Small-Instruct-2409, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. Для взаимодействия используется шаблон промпта <s> [INST] запрос [/INST]. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Архитектура, число параметров, размер контекстного окна и поддержка модальностей, кроме текстовой, не указаны. Доступны варианты от F16 размером 44,50 ГБ до IQ3_M размером 10,06 ГБ, а также форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие. Более высокие уровни квантизации обеспечивают лучшее качество, тогда как компактные варианты требуют меньше оперативной памяти, но могут снижать качество ответов. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для ARM, что позволяет подобрать баланс между качеством и ресурсами устройства. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием в README подробных сведений о возможностях исходной модели и результатах оценки. Модель распространяется по лицензии Mistral Research License (MRL) 0.1; применяются условия лицензии Mistral AI.

MobileLLM-Pro-base — базовая предварительно обученная языковая модель семейства MobileLLM, разработанная Meta Reality Labs для эффективного запуска на устройствах. Модель содержит 1,08 млрд параметров и предназначена для генерации текста и общих языковых задач; README сообщает о результатах на тестах рассуждений, знаний и извлечения информации. Архитектура использует 30 слоёв и чередует локальное и глобальное внимание в соотношении 3:1, что снижает затраты на обработку длинного контекста. Заявленная длина контекста — до 128 тыс. токенов. Модель принимает и выдаёт текст и рассчитана на английский язык. Веса доступны в формате safetensors; README описывает базовый чекпойнт в 16-битной точности и отдельные int4-варианты для CPU и ускорителей, размещённые в других репозиториях. Модель можно применять для генерации текста, работы с длинными документами, суммаризации и поиска информации; для диалога, ответов на вопросы и вызова инструментов разработчики отдельно предлагают инструктивно дообученную версию. Модель создана с дистилляцией знаний от Llama 4-Scout. Лицензия FAIR NC ограничивает использование некоммерческими исследовательскими целями.

Карточка модели MahmoodAnaam/ModernBERT-large на Hugging Face совпадает с карточкой answerdotai/ModernBERT-base, поэтому описание составлено по ней. ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

MoEv4Config-TestWeightedTIES-7b — слитая языковая модель, созданная автором репозитория на основе Kukedlc/NeuTrixOmniBe-7B-model-remix, PetroGPT/WestSeverus-7B-DPO и vanillaOVO/supermario_v4 с помощью LazyMergekit. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста; длина контекста составляет до 32 768 токенов. Модель можно применять для диалогов, написания и продолжения текста, а также решения задач на рассуждение и понимание текста. В README приведены результаты Open LLM Leaderboard, включая средние 75,39, 71,59 на AI2 Reasoning Challenge и 88,19 на HellaSwag; эти оценки характеризуют конкретные тесты и не гарантируют качество на других задачах. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

NaturalLM-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели NaturalLM-7B-Instruct, разработанной qingy2024. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; запуск возможен, в частности, через LM Studio и совместимые инструменты llama.cpp. В набор входят варианты от исходных весов F16 размером 14,5 ГБ до квантизаций Q3 и Q4 размером примерно 3,2–4,5 ГБ, а также Q5, Q6 и Q8 с более высоким качеством и большим потреблением памяти. Для общения используется формат сообщений с ролями system, user и assistant. README не указывает архитектуру исходной модели, поддерживаемые языки, размер контекста, мультимодальность или точные показатели качества, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество набора — выбор между качеством, размером файлов и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M описан как подходящий для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но снижает качество. Для некоторых вариантов существуют специальные ограничения по аппаратуре: отдельные сборки оптимизированы для ARM или AVX, требуют поддержки конкретных инструкций и не рекомендуются для Mac или GPU. Лицензия в README не указана.

next-14b-i1-GGUF — набор GGUF-квантизаций модели next-14b, разработанной thelamapi и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, выполнения инструкций, рассуждений, аналитических и писательских задач, а также многоязычного использования. Модель относится к классу больших языковых моделей примерно на 14 млрд параметров и доступна в формате GGUF с различными вариантами квантизации, включая IQ- и Q-типы. В README заявлена поддержка турецкого, английского, немецкого, испанского, французского, русского, китайского, японского и корейского языков. Обучение или дообучение связано с наборами данных для instruction tuning, reasoning, диалогов и генерации текста. Сведения о точной архитектуре и размере контекста не указаны. Главное преимущество — широкий выбор уровней квантизации, позволяющий выбирать компромисс между размером файла, скоростью и качеством; рекомендуемыми названы i1-Q4_K_M и i1-Q4_K_S. Более компактные варианты могут заметно уступать по качеству, а некоторые из них в README прямо характеризуются как низкокачественные. Модель ориентирована на локальный запуск в совместимом ПО, однако конкретные требования к оборудованию не приведены. Лицензия — MIT.

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор GGUF-квантизаций языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В набор входят версии с точностью от BF16 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Полная BF16-версия занимает около 24,63 ГБ, а доступные квантизированные варианты — примерно от 5,69 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp b6317. Архитектура исходной модели, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны; по представленным данным модель описывается как текстовая. Сильной стороной набора является широкий выбор уровней квантизации: Q6 и Q5 ориентированы на высокое качество, Q4 предлагают сбалансированный размер и качество, а Q3 и IQ3/IQ4 подходят для систем с ограниченной памятью. При этом более сильное сжатие может снижать качество генерации, а совместимость и производительность зависят от используемого приложения и оборудования. Лицензия в README не указана; условия следует уточнять на странице исходной модели NVIDIA-Nemotron-Nano-12B-v2.

OLMo-2-1124-13B-SFT-Preview — англоязычная чат-модель Allen Institute for AI (Ai2), созданная на основе OLMo 2 13B версии ноября 2024 года. Это плотная авторегрессионная модель с 13,2 млрд параметров, предназначенная для генерации текста и диалогов. Она дообучена методом supervised fine-tuning на варианте набора Tülu 3, включающем публичные, синтетические и созданные людьми данные. Модель рассчитана на разнообразные задачи общения и следования инструкциям, включая математические задачи из MATH и GSM8K и оценивание соблюдения инструкций IFEval. Контекст составляет 4096 токенов; модель принимает текст и генерирует текст. Основной язык — английский. Для загрузки используется Transformers; веса представлены в формате PyTorch. Модель выпущена под лицензией Apache 2.0. В README отмечено, что у OLMo 2 ограничено обучение безопасности, поэтому модель может выдавать проблемные ответы, особенно по соответствующему запросу; автоматической фильтрации ответов нет.

Это GGUF-квантизированная версия языковой модели Phi-3.5-mini-3.8B-ArliAI-RPMax-v1.1, опубликованная и квантизированная пользователем bartowski на основе модели ArliAI. Модель предназначена для генерации текста и может запускаться локально через llama.cpp и LM Studio. В README также указан формат промптов с ролями system, user и assistant. Модель содержит около 3,8 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках, максимальной длине контекста и точной архитектуре в README не приведены. Доступны варианты от F16 до различных уровней квантования GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4. Варианты с более низким размером требуют меньше оперативной памяти, но могут уступать по качеству; Q6_K_L, Q6_K, Q5_K и Q4_K представлены как рекомендуемые, а отдельные варианты оптимизированы для ARM-процессоров. К сильным сторонам относятся широкий выбор квантованных файлов, возможность локального запуска и компромисс между качеством и требованиями к памяти. Ограничения включают отсутствие в предоставленных данных результатов оценки, подробностей обучения, перечня языков, контекстного окна и характеристик мультимодальности. Лицензия модели указана как MIT.

Это квантизированная версия языковой модели Phi-3-mini-4K-instruct-cpo-simpo в формате GGUF. Исходную модель разработал Syed-Hasan-8503, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями, включая локальные чат-сценарии и другие задачи text generation. Модель использует контекст размером 4K токенов; её точный размер, архитектура, поддерживаемые языки и модальности в README не указаны. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством. Формат GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio и text-generation-webui, что упрощает локальный запуск с возможным GPU-ускорением. README не содержит сведений о лицензии, результатах тестирования, сильных сторонах и ограничениях исходной модели. Поэтому качество, область языковой применимости и практические требования к оборудованию следует оценивать отдельно.

Q3.5-9B-DS-v4-Flash-DA-GGUF — набор GGUF-квантизаций экспериментальной reasoning-ориентированной модели, разработанной prithivMLmods на базе Qwen/Qwen3.5-9B. Модель создана с использованием многоэтапной дистилляции рассуждений DeepSeek V4, анализа направлений отказа и методов абляционного обучения. Доступны варианты от Q2_K до Q8_0, а также BF16 и F16; размер файлов составляет примерно от 3,83 до 17,9 ГБ. Для мультимодального режима предоставляются отдельные mmproj-файлы, однако конкретные поддерживаемые типы изображений и ограничения контекста в README не указаны. Модель предназначена для генерации текста, подробного контекстного рассуждения и следования инструкциям, а также может использоваться для исследовательских и учебных экспериментов с локальным запуском через llama.cpp или совместимые инструменты. Заявлена поддержка английского языка. Потенциальной особенностью является уменьшение внутренних механизмов отказа, поэтому модель может генерировать чувствительный или неограниченный контент; это одновременно ограничивает её пригодность для неконтролируемых прикладных сценариев. README также предупреждает о возможных артефактах и экспериментальном характере модели. Распространение указано по лицензии Apache-2.0.

BenevolenceMessiah/Qwen2.5-72B-Instruct-abliterated-2x-TIES-v1.0 — объединённая модель на базе семейства Qwen2.5, созданная с помощью mergekit методом TIES. В качестве базовой использована huihui-ai/Qwen2.5-72B-Instruct-abliterated; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель предназначена для диалогов и генерации текста. Это плотная причинно-языковая архитектура Qwen2 с 71,5 млрд параметров и контекстом до 32 768 токенов; работает через Transformers и распространяется в формате safetensors. Метаданные указывают интерфейс вызова инструментов, однако README не описывает его поведение и надёжность. Изменённое поведение отказов унаследовано от базовой abliterated-модели согласно описанию каталога. README не сообщает результатов оценки качества или конкретных ограничений. Лицензия в предоставленных данных не указана.

Карточка модели KnutJaegersberg/Qwen2-Deita-500m на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Qwen3-4B-Instruct-2507-4bit-DWQ-2510 — это квантизированная 4-битная версия языковой модели Qwen3-4B-Instruct-2507 в формате MLX. Модель разработана сообществом mlx-community на основе исходной модели Qwen, созданной командой Qwen, и преобразована в формат MLX с использованием mlx-lm версии 0.28.2. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкционного режима. Она подходит для использования через библиотеку mlx-lm, включая обработку сообщений в формате чата и генерацию ответов по текстовым подсказкам. Известны размер исходной модели — 4 миллиарда параметров — и 4-битное квантование DWQ, позволяющее уменьшить требования к хранению и вычислительным ресурсам по сравнению с полноразмерными вариантами. Модель работает с текстом; сведения о поддерживаемых языках, размере контекстного окна, архитектурных деталях, результатах тестирования и ограничениях качества в README не указаны. Для использования требуется библиотека mlx-lm и среда, совместимая с MLX. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop-GGUF — набор GGUF-квантизаций модели, опубликованный KevinJK51 на основе модели DavidAU/Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop. Модель относится к семейству Qwen, имеет размер 12B и предназначена для генерации текста и рассуждений в локальных и совместимых с GGUF системах инференса. Указанные языки — английский и китайский. Доступны варианты квантизации от Q8_0 размером 11,57 ГБ до Q2_K размером 4,60 ГБ; Q4_K_M обозначен как оптимальный баланс качества и размера. Модель можно использовать через LM Studio, llama.cpp, Ollama и другие GGUF-совместимые движки. Квантизация снижает требования к памяти, но варианты с меньшим размером могут уступать исходной модели по качеству. Сведения о длине контекста, точной архитектуре, поддержке дополнительных модальностей и результатах независимого тестирования не указаны. Лицензия модели — Apache-2.0.

Это GGUF-квантизация текстовой модели Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop. Квантизации подготовлены пользователем larue316 на основе модели DavidAU с использованием llama.cpp b9192. Модель имеет около 12 млрд параметров и ориентирована на генерацию текста с поддержкой рассуждений; заявленные языки — английский и китайский. Модель предназначена для локального запуска и использования в совместимых движках вывода, включая LM Studio, llama.cpp, Ollama и другие системы с поддержкой GGUF. Доступны варианты квантизации от Q8_0 размером 11,57 ГБ до Q2_K размером 4,60 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README отдельно отмечен вариант Q4_K_M как оптимальный баланс качества и размера. К сильным сторонам относятся широкий выбор квантизаций и возможность локального использования без исходной полноразмерной модели. Ограничения связаны с потерями качества, зависящими от выбранного уровня квантизации; для наиболее компактных вариантов качество указано как приемлемое или минимально пригодное. Архитектура, размер контекстного окна, мультимодальные возможности и точные характеристики обучения в README не указаны. Лицензия модели — Apache 2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS — мультимодальная модель для генерации текста, построенная на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16. Модель распространяется в формате NVFP4 с поддержкой ModelOpt и Multi-Token Prediction (MTP), а также рассчитана на использование со speculative decoding и DFlash. В описании заявлены гибридная архитектура внимания с компонентами Mamba и Gated DeltaNet, сохранённые Conv1D-слои и оптимизация для GPU архитектур Blackwell, включая RTX 5090, RTX PRO 6000, B100 и B200. Модель предназначена для генерации текста, мультимодальных сценариев с обработкой изображений и видео, а также высокопроизводительного инференса с инструментами и длинными контекстами. Заявлена поддержка английского, китайского и других многоязычных сценариев. В конфигурации развёртывания указана обработка до четырёх изображений и двух видео в одном запросе, однако точный размер контекстного окна в README не указан. XS-версия имеет наименьший объём и требования к памяти; при этом авторы отмечают, что полноразмерная версия Multimodal-NVFP4-MTP обеспечивает более высокое качество при сопоставимой скорости. К сильным сторонам относятся компактное NVFP4-квантизованное представление, мультимодальность, поддержка MTP и возможность ускорения через внешний DFlash-драфтер. Ограничениями являются более низкое качество XS-версии по сравнению с полной моделью, зависимость от специализированного стека vLLM и аппаратной поддержки Blackwell, а также то, что модель уже считается устаревшей и заменена линейкой Qwen3.8. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B в формате GGUF. Исходную модель разработала команда Qwen, а данную сборку подготовил пользователь Abiray с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании, включая сценарии с высокой нагрузкой на CPU. В README указано, что модель относится к классу MoE и имеет заявленный размер 35B параметров с конфигурацией A3B; точные сведения об архитектуре, числе активных параметров, контекстном окне и поддерживаемых языках не приведены. Метка pipeline указывает на задачи преобразования изображения и текста, однако подробности о мультимодальных возможностях отсутствуют. Квантизация Q4_K_M уменьшает размер модели и требования к ресурсам, обеспечивая компромисс между качеством и занимаемым объёмом, но может снижать точность по сравнению с менее квантизированными версиями. Для запуска рекомендуется использовать llama.cpp и файл GGUF. README не содержит требований к объёму памяти, результатов тестирования или детального описания ограничений производительности. Распространение указано под лицензией Apache-2.0.

DreamFoundries/Qwen3.8-27B-6bit — это MLX-конверсия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска локальных inference-сценариев в экосистеме MLX, прежде всего на совместимом оборудовании Apple. Она может использоваться для диалоговых приложений, написания и преобразования текста, а также других задач text generation, поддерживаемых исходной моделью. Модель содержит 27B параметров и использует аффинное 6-битное квантование весов с размером группы 64, выполненное с помощью mlx-lm 0.31.3. Эффективная разрядность составляет около 6,501 бита на вес, а файлы весов в формате safetensors занимают примерно 20 ГБ. В README не указаны поддерживаемые языки, размер контекста и дополнительные модальности. Ключевое преимущество модели — существенное уменьшение требований к памяти по сравнению с полноразмерной версией при сохранении совместимости с MLX. При этом сравнительные показатели качества и производительности для данной конверсии отсутствуют, поэтому её фактические характеристики требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантованная GGUF-версия модели, разработанная luxuansang на основе empero-ai/Qwen3.8-9B. Исходная модель представляет собой полноразмерную дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. Вариант дополнительно обработан с помощью Heretic v1.4.0 для снижения частоты отказов и выпускается как модель для генерации текста. Модель предназначена для локального запуска в совместимых с GGUF средах инференса, включая llama.cpp. В репозитории представлена квантование NVFP4 + Q8_0; эталонной считается версия BF16, поэтому квантованный вариант может немного отличаться по качеству и поведению из-за пониженной числовой точности. Указан английский язык, однако в оценке также проверялись отдельные языковые пары FLORES200. По сравнению с исходной моделью частота отказов в тесте снизилась с 100 до 22 из 100, при этом KL-дивергенция составила 0,0171, что указывает на относительно близкое сохранение исходного поведения. Сильной стороной является сочетание компактного размера, локального запуска и сниженной склонности к отказам. Ограничения включают возможные изменения поведения после квантования, зависимость результатов от оборудования и настроек инференса, а также отсутствие в данном README подробных сведений о точной архитектуре, размере контекста и рекомендуемых параметрах генерации. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-8B-MLX-8bit — это 8-битная версия модели Qwen3-8B, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Исходная модель опубликована в репозитории Qwen/Qwen3-8B; в README указано назначение для генерации текста и совместимость с библиотекой mlx-lm. Модель предназначена для локального запуска на устройствах, поддерживающих MLX, а также для диалоговой генерации с использованием chat template. Ключевые характеристики: около 8 миллиардов параметров, 8-битное представление и текстовая модальность. Архитектура, поддерживаемые языки, размер контекста, сильные стороны и ограничения в README не описаны, поэтому их нельзя достоверно оценить по предоставленным данным. Модель распространяется по лицензии Apache-2.0.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-GGUF — это смешанно-квантизированная GGUF-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, подготовленная Baekpica для запуска на оборудовании с ограниченной памятью, прежде всего NVIDIA DGX Spark с GB10. Модель предназначена для задач генерации и понимания текста, а согласно метаданным также относится к классу image-text-to-text. Репозиторий ориентирован на эксперименты с локальным инференсом, SSD-offload, оптимизацией выполнения и пользовательскими ядрами. Опубликованный вариант MQ-NG5-Q2K-Q4-SPLIT-E4 состоит из четырёх GGUF-шардов общим размером около 98,5 ГБ и содержит 1 756 тензоров. В нём применяются разные форматы точности, включая Q2_K, Q4_K, Q4_0, Q5_1, Q8_0, BF16 и F32; крупная PLE n-gram table объёмом 51,2 млрд параметров хранится в Q5_1, а внутренние routed gate/up-компоненты преимущественно квантизированы в Q2_K. Также описан более компактный калиброванный вариант с IQ2_XXS, но его сборка приостановлена. Точное общее число параметров, размер контекста, список языков и подтверждённые характеристики качества в README не указаны. Сильная сторона модели — существенное снижение требований к памяти за счёт смешанной квантизации при сохранении отдельных крупных или чувствительных компонентов в более высокой точности. При этом качество, поведение runtime и работа на DGX Spark для опубликованного варианта обозначены как предварительные. Используется пользовательская схема GGUF qwen4exp и ветка dfm проекта ds4; совместимость с upstream llama.cpp и другими GGUF-runtime не гарантируется. Лицензия указана как qwen-community-1.0; дополнительные условия следует проверять в лицензии базовой модели Qwen/Qwen3.8-Flash-Next.

simaai/Qwen3-VL-8B-Instruct-GPTQ-Safetensors — локально квантизированный чекпойнт модели Qwen/Qwen3-VL-8B-Instruct, подготовленный компанией Sima.ai для последующей компиляции LLiMa и развертывания на оборудовании Sima.ai. Это мультимодальная модель для задач image-text-to-text, способная обрабатывать изображения и текст; заявлена поддержка multilingual-сценариев. Модель имеет размер 8B параметров, однако другие архитектурные характеристики и точный максимальный контекст в README не указаны. Квантизация выполнена методом GPTQ: линейные слои декодера и lm_head переведены в симметричный INT4 с размером группы 256, а линейные слои vision encoder — в симметричный INT8 с поканальной обработкой. Проекторы и отдельные архитектурные исключения сохранены в исходной точности BF16. Артефакт предназначен для локального запуска и специализированного аппаратного развертывания; он не является готовым результатом компиляции LLiMa. По полной проверке MMStar точность исходной модели составила 48,20%, а квантизированной — 51,33%; при этом на WikiText-2 perplexity увеличилась с 11,3805 до 12,2893, что указывает на возможное ухудшение языкового качества. Реальные характеристики могут зависеть от языка, визуального домена, формата запросов, длины контекста и среды выполнения, поэтому требуется прикладная валидация. Аудиокомпоненты, если присутствуют, и явно исключенные проекторы остаются в исходной точности. Чекпойнт распространяется на условиях лицензии Apache-2.0 и сохраняет лицензионные требования, рекомендации по допустимому использованию и ограничения исходной модели. В README также указано, что исходная ревизия не зафиксирована, поэтому перед официальным выпуском или перераспространением необходимо восстановить и записать неизменяемую ревизию upstream.

bartowski/Replete-LLM-V2.5-Qwen-7b-GGUF — это набор GGUF-квантизованных версий языковой модели Rombos-LLM-V2.5-Qwen-7b, подготовленный bartowski на основе llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio; в README также указан формат промптов для диалогового взаимодействия. Модель относится к классу 7B, поддерживает текстовую генерацию и поставляется в вариантах от F16 до низкобитных квантизаций Q2, Q3, Q4, Q5, Q6 и Q8, включая специальные варианты для ARM. Квантизации с imatrix выполнены с использованием llama.cpp b3825. Размер файлов составляет примерно от 3,55 до 15,24 ГБ в зависимости от варианта; Q6_K и Q6_K_L, а также ряд вариантов Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и размера. Сильной стороной набора является широкий выбор квантизаций для систем с разным объёмом оперативной памяти и возможность локального инференса. Более агрессивные варианты уменьшают требования к памяти, но снижают качество; Q4_0 обозначен как устаревший формат, а некоторые варианты требуют специфической поддержки ARM-инструкций. Языки, размер контекста, точная архитектура базовой модели и результаты оценивания в README не указаны. Лицензия — Apache-2.0.

Rombos-LLM-70b-Llama-3.3-GGUF — это набор квантизированных GGUF-версий языковой модели Rombos-LLM-70b-Llama-3.3, разработанной rombodawg. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и обработки текста, а также локального запуска через совместимые инструменты, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.3 с заявленным размером 70 млрд параметров и поддерживает только текстовую модальность. В репозитории доступны варианты квантизации от Q8_0 до Q2 и IQ-форматов, включая рекомендуемые Q6_K, Q5_K и Q4_K. Размер файлов составляет примерно от 24 до 75 ГБ, поэтому для запуска требуются значительные ресурсы оперативной или видеопамяти. Формат GGUF удобен для локального инференса на CPU и GPU, а отдельные варианты поддерживают особенности ARM и AVX. Сильной стороной являются различные уровни квантизации, позволяющие выбирать баланс между качеством, размером и требованиями к памяти; версии с более высокой точностью обеспечивают качество, близкое к исходной модели. Ограничения связаны с потерями качества при низкой битности, большими требованиями к памяти и отсутствием в README сведений о языках, размере контекста, результатах тестирования и специализированных сценариях применения. Указанная лицензия — llama3.3.

Sailor2-8B-Chat-GGUF — это набор GGUF-квантизаций чатовой языковой модели Sailor2-8B-Chat, разработанный командой sail и квантизированный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации текста и выполнения инструкций, включая мультиязычные сценарии на английском, китайском, индонезийском, тайском, вьетнамском, малайском, лаосском, бирманском, яванском, кхмерском, сунданском и тагальском языках. Модель имеет размер 8B параметров; архитектура и размер контекста в README не указаны. Доступны варианты от F16 до низкобитных Q2/Q3/Q4/Q5/Q6/Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Для чата следует использовать формат с маркерами system, user и assistant. Сильной стороной является сочетание мультиязычной направленности и широкого выбора форматов для локального запуска, в том числе через LM Studio. Ограничения включают возможное снижение качества при агрессивной квантизации и отсутствие сведений о результатах оценивания, поддерживаемых модальностях помимо текста и максимальной длине контекста. Модель распространяется по лицензии Apache-2.0.