II.7DevOps, облако и эксплуатация IT-систем

thread13/Qwen3.5-4B-llamafile — сборка модели Qwen3.5-4B в формате llamafile, разработанная автором репозитория thread13 на основе Qwen/Qwen3.5-4B. Это мультимодальная чат-модель для диалога с текстом и изображениями; её можно запускать как консольный чат или веб-сервер. Llamafile объединяет модель и исполняемые компоненты в один файл на базе llama.cpp. В карточке рекомендуются параметры контекста 16 384 токена для задач рассуждения и программирования в режиме thinking. Модель предназначена для ответов на вопросы по изображениям, обычного диалога, рассуждений и помощи с кодом. Указанный в карточке формат — GGUF BF16; размер модели — 4 млрд параметров. В README не приведена лицензия этой сборки. Веб-сервер по умолчанию пытается слушать все доступные сетевые интерфейсы; для локального доступа README рекомендует явно задавать 127.0.0.1.

Qwen3.5-9B-The-Defiant-Fable-DARK-ROAST-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная плотная модель семейства Qwen3.5 с 9 млрд параметров, разработанная DavidAU совместно с Nightmedia. Это многоэтапный fine-tune и merge нескольких моделей Qwen3.5-9B; карточка описывает полноточную версию в 16-битном формате и отдельно упоминает варианты GGUF с NEO IMATRIX и MTP для ускоренной генерации. В метаданных указан формат safetensors и библиотека Transformers. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма и ролевых сценариев. Она принимает текст и изображения, поддерживает английский и китайский языки и, согласно карточке, контекст до 256 тысяч токенов. Также заявлен интерфейс вызова инструментов. Автор приводит результаты бенчмарков, но они не гарантируют превосходства на любых пользовательских задачах; видео не тестировалось. Автор характеризует модель как полностью uncensored и сообщает об удалении отказов; это может приводить к генерации нежелательного или небезопасного содержания. Лицензия — Apache-2.0. Для использования зрения в описанных GGUF-вариантах требуется отдельный файл mmproj.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в результате совместной работы автора, Nightmedia, TeichAI, armand0e и trohrbaugh. Модель создана с применением многоэтапного дообучения и слияния нескольких версий, включая датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Заявленная цель — улучшить следование инструкциям, общее решение задач, рассуждения и интеллект без изменения основных возможностей базовой модели. Модель предназначена для широкого спектра сценариев: диалогов, анализа, программирования, решения задач, рассуждений, творческого письма, художественной прозы и ролевых взаимодействий. Указаны поддержка английского и китайского языков, а также vision, однако подробности о визуальной архитектуре и поддерживаемых форматах входных данных не приведены. Доступны обычные GGUF-квантизации и варианты MTP для multi-token prediction, включая 4-битные и 8-битные сборки; заявлена оптимизация NEO IMATRIX и частичное сохранение выходного тензора в 16-битной точности. К сильным сторонам относятся улучшенное следование инструкциям, решение задач и рассуждения, а также заявленная высокая производительность на ряде бенчмарков даже в низких квантизациях. Модель позиционируется как uncensored и heretic, то есть с ослабленными ограничениями безопасности, что может быть преимуществом для некоторых сценариев, но повышает риски нежелательного или небезопасного вывода. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance следует использовать обычную квантизацию. Лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие встроенного отказного поведения. Заявлена поддержка английского, китайского и других языков. Для изображений и видео используется отдельный vision projector в формате BF16. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный MTP/NextN, а дополнительный профиль HauhauCS FastMTP предназначен для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизированные варианты от Q8_K_P до IQ2_M. Сильные стороны модели — широкий набор текстовых, мультимодальных, reasoning- и agentic-сценариев, большой контекст и варианты оптимизированного квантования K_P, рассчитанные на сохранение качества при уменьшенном размере. Ограничения включают потенциальные риски uncensored-поведения, отсутствие отказов на опасные запросы и необходимость отдельного vision projector для изображений и видео. В README не приведены независимые результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

Qwen3.8-27B-Uncensored-Q4_K_M-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, включая диалоги, написание и анализ текстов, а также другие сценарии применения многоцелевой языковой модели. В README указаны поддержка английского и китайского языков и наличие vision-возможностей у базовой архитектуры, однако для обработки изображений требуется соответствующий vision-файл. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ и сохраняет MTP-компонент для speculative decoding; также опубликована версия без MTP. Квантование выполнено с использованием importance matrix. По измерениям perplexity на wikitext-2 показатель для Q4_K_M составляет 7,1814, но этот тест не оценивает напрямую рассуждения, программирование, мультиязычность или поведение отказов. Вариант Uncensored создан с существенным снижением склонности к отказам с помощью Heretic без дополнительного обучения и новых данных; это поведение не устранено полностью. Возможное снижение acceptance rate черновой MTP-модели может немного повлиять на ускорение speculative decoding, но не должно ухудшать качество проверяемого целевой моделью вывода. Модель распространяется по лицензии Apache-2.0.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

sarvam-m — текстовая многоязычная модель Sarvam AI на архитектуре Mistral-Small, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Модель содержит 23,4 млрд параметров, принимает и генерирует текст и поддерживает контекст до 32 768 токенов; для работы с Transformers используются веса в формате Safetensors. Модель предназначена для диалогов на английском и индийских языках, а также для решения математических задач, программирования и логических рассуждений. В режиме think она ориентирована на сложные задачи, а режим non-think подходит для обычного общения. Поддерживаются индийские языки как в родной письменности, так и в латинской транслитерации. Разработчик сообщает об улучшениях относительно базовой модели на тестах индийских языков, математики и программирования. Модель выпущена под лицензией Apache-2.0. В карточке заявлены текстовый ввод и вывод; работа с изображениями и другими модальностями не заявлена.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

CultriX/SeQwence-14B-EvolMerge — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES. В слиянии использованы CultriX/SeQwence-14Bv1 как базовая модель, а также CultriX/Qwestion-14B и CultriX/Qwen2.5-14B-Wernicke. Модель содержит 14 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; доступен интерфейс для вызова инструментов. Модель принимает текст и выдаёт текст. Заявленный родной размер контекста — до 131 072 токенов. В метаданных указан английский язык, поэтому её можно применять для англоязычных запросов и диалогов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Spark-X2.5-4B-GGUF — это GGUF-квантизированная версия модели Spark-X2.5-4B, разработанной XHToken. Квантизацию выполнил stornic56 с использованием imatrix и форка llama.cpp на базе коммита b10514-4a3635c32; начиная с версии llama.cpp b10828 архитектура spark2_5 поддерживается в основном репозитории. Модель содержит около 4,11 млрд параметров, принимает текстовые данные и поддерживает английский и китайский языки. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, включая рассуждения и thinking-режим, а также вызов инструментов. Шаблон чата встроен в каждый GGUF-файл и поддерживает автоматическое применение через --jinja. По умолчанию рассуждения выводятся внутри тегов <think>...</think> перед итоговым ответом. Доступны варианты от BF16 до низкобитных Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, Q3_K_M, IQ3_M и IQ2_M; вариант Q4_K_M рекомендован как компромисс между размером и качеством. К сильным сторонам относятся широкий выбор квантизаций, поддержка imatrix и возможность запуска через llama.cpp, включая ускорение на Intel Arc с Vulkan. IQ2_M сохраняет работоспособность в расширенном тесте связности, тогда как Q2_K был исключён из выпуска из-за циклов повторения; варианты ниже IQ2_M не создавались из-за ожидаемой существенной потери качества. Максимальная длина контекста в README не указана, поэтому параметры запуска с 8192 или 16384 токенами нельзя считать подтверждённым ограничением модели. Распространение осуществляется по лицензии Apache-2.0.

Trida-7B-Preview — языковая модель на 7,76 млрд параметров, разработанная Trillion Labs. Это Block Diffusion Language Model на базе Transformer Decoder с RoPE, SwiGLU и RMSNorm. Модель создана непрерывным предварительным обучением Trillion Labs/Tri-7B и последующим обучением по подходу Block Diffusion, который сочетает параллельную генерацию блоков с авторегрессионными зависимостями. Длина контекста — 4096 токенов; модель распространяется в формате safetensors и поддерживает диалоговую генерацию текста. Модель оптимизирована для корейского, английского и японского языков. Её можно применять для ответов на вопросы, следования инструкциям, рассуждений, математических задач и генерации кода. README приводит результаты тестирования на языковых и задачах рассуждения, кодирования, математики и следования инструкциям, но не описывает ограничения по вычислительным ресурсам или гарантии качества. Для других языков качество может снижаться; знания ограничены данными до февраля 2025 года. Лицензия — Apache-2.0.

ZEUS-8B-V7 — языковая модель семейства Llama 3.1, созданная объединением нескольких моделей методом DARE TIES. Автор стремился улучшить предыдущую версию ZEUS, повысив плотность слияния и включив менее ограниченную модель Llama 3.1. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; также в слияние вошли LLAMA-3_8B_Unaligned_BETA, Llama-3.1-Storm-8B и Llama-3.1-SuperNova-Lite. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и работает через Transformers. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — до 131 072 токенов. README приводит результаты оценивания, включая IFEval и BBH, но не сообщает языковой охват. Модель распространяется в формате Safetensors по лицензии Llama 3.1. Показатели слияния и отдельные результаты бенчмарков не гарантируют качество на конкретных задачах; README не описывает систематические ограничения или языки, на которых модель проверена.

35b-beta-long-GGUF — набор GGUF-квантизаций модели 35b-beta-long, опубликованный и квантованный bartowski на основе оригинальной модели CausalLM/35b-beta-long с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в локальных средах, включая диалоговые сценарии, следование инструкциям, математические задачи, программирование и работу с текстами на основе обучающих наборов Guanaco, MetaMathQA, WizardLM, ShareGPT, Wikipedia и других. Модель поддерживает текстовую модальность и заявленные языки английский, китайский, японский и немецкий. Размер исходной модели обозначен как 35B, однако размер контекста и точные архитектурные характеристики в README не указаны. Доступны варианты квантизации от IQ1 до Q8_0 с размером файлов примерно от 8,52 до 37,17 ГБ: более качественные варианты требуют больше памяти, а низкобитные экономят ресурсы за счёт снижения качества. Для Q6_K, Q5_K_M, Q5_K_S и ряда Q4-вариантов указано близкое к исходному качество или хороший компромисс между качеством и размером. Для работы требуется совместимое ПО, например llama.cpp, и достаточно оперативной или видеопамяти в зависимости от выбранной квантизации. Модель использует специальный chat prompt format с ролями system, user и assistant. Лицензия указана как GPL-3.0.

BrurryDog-7b-v0.1 — объединённая языковая модель семейства Mistral, созданная с помощью LazyMergekit из udkai/Turdus, leveldevai/TurdusBeagle-7B и liminerity/Blur-7b-v1.21. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров и рассчитана на генерацию текста, диалоги и выполнение инструкций; нативная длина контекста составляет 32 768 токенов. В README описано слияние методом TIES с нормализацией и int8-маской; итоговые веса сохранены в bfloat16. Для оценки приведены результаты Open LLM Leaderboard, включая среднее значение 74,24, ARC 72,53 и HellaSwag 88,37. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает целевые языки, поэтому языковую специализацию определить нельзя.

QuantFactory/CausalLM-35b-beta-long-GGUF — квантованная версия языковой модели CausalLM/35b-beta-long, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; её карточка также указывает на обучение с учётом инструкций, математических задач, программирования и специализированных текстовых наборов данных. Модель имеет размер 35 миллиардов параметров и поддерживает контекст длиной 128K и более токенов. Заявлены языки English, Chinese, Japanese и German. Для взаимодействия используется шаблон ChatML, а токенизатор отличается от токенизатора Cohere. Формат GGUF и квантование ориентированы на запуск средствами экосистемы llama.cpp и могут снизить требования к вычислительным ресурсам по сравнению с полноразмерной моделью, однако конкретный уровень квантования в карточке не указан. Сильными сторонами модели являются очень длинный контекст, многоязычность и обучение на разнообразных инструкционных, математических, энциклопедических и диалоговых данных. Ограничения включают отсутствие подробных результатов оценивания, неуказанные характеристики квантования и аппаратные требования. Модель распространяется по лицензии GPL-3.0.

Darwin-4B-Opus — языковая модель для диалога и рассуждений, созданная VIDRAFT с помощью движка Darwin V6. Это слияние Google Gemma 4 E4B Instruct и модели Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled; при слиянии DARE-TIES применялись диагностически подобранные коэффициенты для отдельных тензоров. Модель использует архитектуру Gemma4ForConditionalGeneration с MoE, содержит около 4 млрд параметров и представлена в формате BF16 и safetensors. Модель предназначена для ответов на вопросы, рассуждений, программирования, математики и анализа на одном потребительском GPU. В README заявлены контекст 128 тыс. токенов и поддержка более 140 языков; метаданные карточки перечисляют английский, корейский, японский и китайский. Архитектура базовой модели поддерживает изображения и аудио, однако README не описывает эти сценарии для Darwin-4B-Opus. В README приведён результат 82,92% на ARC-Challenge в режиме zero-shot; авторы отмечают, что проверка здоровья модели не проводилась. Модель распространяется по лицензии Apache 2.0. Фактическое качество на других задачах и мультимодальная работа в карточке не подтверждены.

DeepHermes 3 Preview — предварительная версия языковой модели серии Hermes, разработанная Nous Research. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, дообученная на базе meta-llama/Meta-Llama-3.2-3B. Она предназначена для диалогов, следования инструкциям и генерации текста; режим рассуждений с развёрнутой цепочкой рассуждений и обычный режим ответа переключаются системным запросом. Модель также поддерживает интерфейс вызова функций и генерацию структурированных ответов в формате JSON. Модель использует формат чата Llama-Chat, рассчитана на контекст до 131 072 токенов и поддерживает английский язык. В карточке описаны применение Transformers и vLLM, а веса доступны в формате safetensors. Это предварительный выпуск с ранними возможностями рассуждения, поэтому возможны нестабильное поведение и недочёты. Лицензия — Llama 3 Community License (llama3).

Это GGUF-квантизированная версия языковой модели DeepSeek-V3.1, разработанной deepseek-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые проекты на его основе. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q4 и Q3/Q2, включая форматы IQ. Размер файлов составляет примерно от 188 до 713 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют значительно больше оперативной памяти и ресурсов; варианты Q4 и Q5 позиционируются как сбалансированные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Квантизация выполнена с использованием imatrix и llama.cpp release b6214. Сильной стороной модели является возможность локального запуска в различных форматах GGUF и выбор между качеством и требованиями к памяти. Ограничения включают исключительно большие размеры файлов, высокие аппаратные требования и отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, рекомендованном шаблоне запросов и лицензии. Формат промпта также не указан; рекомендуется обратиться к странице исходной модели deepseek-ai/DeepSeek-V3.1.

Deepseek-LLM-7B-Chat-GGUF — чат-модель Deepseek LLM 7B Chat, разработанная DeepSeek и представленная в формате GGUF. Репозиторий содержит квантизированные варианты модели, подготовленные Second State Inc., с разрядностью от 2 до 8 бит и размером файлов примерно от 2,72 до 7,35 ГБ. Модель предназначена для диалогового взаимодействия и может запускаться локально через LlamaEdge версии 0.2.8 или новее. Заявленный размер контекста составляет 4096 токенов. Доступны варианты с различным компромиссом между размером файла и качеством: Q2_K и варианты Q3 обеспечивают минимальные требования к ресурсам, но сопровождаются существенной потерей качества, тогда как Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые сбалансированные варианты. Модель работает с текстовыми запросами по шаблону deepseek-chat; сведения о поддерживаемых языках, точной архитектуре и результатах оценивания в README не приведены. Лицензия указана как deepseek, тип — other; применяются условия, описанные в файле LICENSE.

MLX-версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и производной от Qwen. Данная сборка преобразована сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1 и предназначена для локального запуска и генерации текста через библиотеку mlx-lm, прежде всего на устройствах Apple, поддерживающих MLX. Из README известно, что модель имеет размер 32B параметров и использует 8-битное представление весов. Она является текстовой языковой моделью; конкретные сведения об архитектуре, поддерживаемых языках, длине контекста, сильных сторонах и ограничениях в карточке не указаны. Для работы требуется установить mlx-lm и загрузить модель через его API. Лицензия и условия коммерческого или иного использования в README не указаны. Для точной оценки прав использования следует обратиться к карточке базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B и к условиям публикации конвертированной версии.

DeepSeek-R1-Qwen-lorablated-32B — плотная языковая модель на архитектуре Qwen2, созданная nbeerbower слиянием DeepSeek-R1-Distill-Qwen-32B и Qwen2.5-32B-abliterated-LORA методом task arithmetic с помощью mergekit. Модель содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на вопросы, рассуждений и решения задач, в том числе по математике и программированию — такие возможности указаны для базовой модели. В метаданных также отмечен интерфейс вызова инструментов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Карточка не приводит результатов оценки качества или подробных инструкций по применению, поэтому производительность конкретных сценариев не подтверждена.

DeepSeek-TNG-R1T2-Chimera-GGUF — GGUF-версия 671-миллиардной языковой модели DeepSeek-TNG R1T2 Chimera, разработанной командой TNG Tech из Мюнхена и распространяемой в формате Unsloth Dynamic 2.0. Модель создана методом Assembly of Experts на основе трёх моделей DeepSeek: R1-0528, R1 и V3-0324. Архитектура — трансформер DeepSeek-MoE; точные сведения о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для генерации текста и задач, требующих рассуждений, включая математические и другие сложные интеллектуальные запросы. По заявлению разработчиков, она примерно на 20% быстрее обычной R1 и более чем вдвое быстрее R1-0528, при этом превосходит R1 в ряде тестов, включая GPQA и AIME-24. По сравнению с первой R1T Chimera она обеспечивает более стабильное использование токенов рассуждений и более высокие интеллектуальные показатели. Ограничения включают более слабые результаты на сложных бенчмарках по сравнению с R1-0528, большую сдержанность в ответах относительно R1T и отсутствие рекомендации для интенсивных сценариев с function calling из-за влияния родительской модели R1. Модель выпущена 2 июля 2025 года. В README указана лицензия MIT; также пользователям предлагается учитывать рекомендации по ответственному использованию моделей DeepSeek и требования EU AI Act.

Rarri/DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанная на основе релиза deepseek-ai и подготовленная с помощью NVIDIA Model-Optimizer. Модель предназначена для генерации текста и высокопроизводительного инференса с использованием vLLM или TensorRT-LLM на GPU NVIDIA Blackwell с поддержкой NVFP4. Она ориентирована на сценарии, где важны высокая скорость декодирования и использование длинного контекста, включая speculative decoding с механизмом DSpark. Модель содержит 304 млрд параметров, 43 слоя MoE, 256 маршрутизируемых экспертов в каждом MoE-слое и три слоя multi-token prediction (MTP). Все маршрутизируемые экспертные веса, включая MTP-экспертов, переведены в NVFP4 W4A4; attention, роутеры, shared experts, embeddings и lm_head сохранены в исходном формате FP8. Поддерживается контекст до 131K токенов. Экспертные веса преобразованы без потери значений исходных MXFP4-весов, а speculative decoding в тестовой конфигурации примерно удваивал скорость однопоточного декодирования, достигая типичных 200–240 токенов в секунду. Ключевые ограничения — зависимость от GPU Blackwell (sm_120+), специализированных сборок инференсных фреймворков и гибридной FP8/NVFP4-MoE-разметки. Рекомендуемые параметры speculative decoding включают жадное семплирование, пять draft-токенов и bf16 draft head; вероятностное семплирование может приводить к некорректному выводу в NVFP4-пути. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

unsloth/gemma-3n-E2B-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3n E2B, разработанной Google DeepMind и подготовленной для распространения Unsloth. Gemma — семейство лёгких открытых моделей Google, созданных с использованием исследований и технологий Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и генерации текста, включая запуск на устройствах с ограниченными ресурсами. Gemma 3n использует технологию выборочной активации параметров, благодаря чему обеспечивает эффективный размер около 2B параметров при меньших требованиях к ресурсам по сравнению с полноразмерной моделью. Максимальный контекст составляет 32K токенов. Семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио, а обучение проводилось на данных более чем для 140 языков, однако для данной GGUF-версии в README указана текущая поддержка только текстового ввода. Выходом служит сгенерированный текст. К сильным сторонам относятся компактность, пригодность для локального запуска и сниженные требования к памяти, а также открытые веса инструкционной версии. Ограничения этой карточки — отсутствие точных сведений о размере конкретного GGUF-файла, варианте квантования, производительности и качестве на отдельных языках; мультимодальные возможности для данной версии заявлены как недоступные. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced-Ollama — это модифицированная и квантизированная версия Gemma 4 26B A4B, основанная на Google Gemma 4 26B A4B Instruct. Модель опубликована braydenh563, а вариант без ограничений разработан HauhauCS. Она предназначена для творческого письма, ролевых сценариев, эмоционально-интеллектуального общения, исследований, программирования и агентных задач с инструментами. Версия Balanced ориентирована на минимальное число отказов и обычно предоставляет полный ответ после краткой оговорки о безопасности, хотя в отдельных случаях может сначала уклониться от ответа. Модель использует архитектуру Mixture-of-Experts: около 25,2 млрд параметров всего и примерно 3,8 млрд активных параметров на проход, 128 маршрутизируемых экспертов, выбор 8 экспертов и одного общего эксперта. В ней 30 слоёв, гибридное внимание со скользящим окном на 1024 токена и периодическим глобальным вниманием, Proportional RoPE и нативный контекст до 256K токенов. Это нативно мультимодальная модель для текста и изображений; для обработки изображений поставляется отдельный mmproj, поддерживающий переменные бюджеты визуальных токенов от 70 до 1120 на изображение. В README заявлен английский язык. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, мультимодальность, стабильность семплирования в длинных сессиях и специальные K_P-квантизации с оптимизацией по важности тензоров. Ограничения включают отсутствие приведённых независимых бенчмарков, зависимость качества и требований к памяти от выбранной квантизации, а также менее высокую пригодность для агентного программирования по сравнению с Qwen3.6, согласно автору README. Удаление отказов снижает встроенные защитные ограничения и требует самостоятельного контроля безопасного применения. Модель распространяется по лицензии Apache-2.0 в форматах GGUF; размеры доступных вариантов составляют примерно от 10 до 27 ГБ, а файл mmproj занимает около 1,2 ГБ.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.