I.14Автоматизация процессов и AI-агенты

zelk12/MT1-Max-Merge_02012025163610-gemma-2-9B — объединённая языковая модель Gemma 2, созданная автором репозитория с помощью mergekit методом SLERP из двух моделей: zelk12/MT1-Max-Merge_02012025163610-MAB-gemma-2-9B и zelk12/MT1-Max-Merge_02012025163610-GMMMUI-gemma-2-9B. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения; принимает текст и выдаёт текст. Контекст — до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Язык модели отдельно не заявлен. Модель распространяется по лицензии Gemma.

Nebula-v2-7B — языковая модель на 7,1 млрд параметров семейства Mistral, опубликованная Weyaxi. Это дообученная версия mistralai/Mistral-7B-v0.1 на датасете Open-Platypus; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и может использоваться в диалоговых приложениях и для ответов на запросы на английском языке. Заявленная длина контекста — 32 768 токенов. Лицензия — Apache-2.0. README также указывает на отдельный репозиторий с исходными LoRA-весами.

bartowski/nvidia_Llama-3_3-Nemotron-Super-49B-v1-GGUF — это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1, разработанной NVIDIA и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах. Указана поддержка английского языка и текстовая модальность. Модель относится к классу крупных моделей с заявленным размером 49B параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций; рекомендуемыми названы, в частности, Q6_K, Q5_K, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 22,66 до 99,74 ГБ, поэтому для запуска требуется значительный объём оперативной или видеопамяти, зависящий от выбранного варианта. Квантизация снижает требования к ресурсам и позволяет использовать модель локально, но более компактные варианты могут уступать исходной модели по качеству. README не содержит данных о длине контекста, точной архитектуре, результатах тестирования, производительности или поддержке других языков, поэтому эти характеристики нельзя надёжно оценить. Модель распространяется по NVIDIA Open Model License; условия лицензии следует уточнять по указанной NVIDIA-ссылке.

OLMo 2 13B SFT — языковая модель Allen Institute for AI (Ai2), дообученная методом supervised fine-tuning на варианте набора Tülu 3. Это плотная авторегрессионная модель семейства OLMo 2 с 13,2 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Контекстное окно — 4096 токенов; модель предназначена прежде всего для английского языка. Модель подходит для диалогов, ответов на вопросы, математических задач и выполнения инструкций. В README отмечено, что Tülu 3 охватывает широкий круг задач, включая MATH, GSM8K и IFEval. Модель распространяется под лицензией Apache 2.0. В README указано, что у OLMo 2 ограничено обучение безопасности; без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Также карточка предупреждает, что эта версия была заменена обновлёнными post-trained моделями из-за несовпадения логики предварительной токенизации с базовыми моделями.

OmniBeagleSquaredMBX-v3-7B-v2 — языковая модель для генерации текста, созданная PaulML путём слияния моделей paulml/OmniBeagleMBX-v3-7B и flemmingmiguel/MBX-7B-v3 с помощью LazyMergekit. Для объединения использован метод SLERP с отдельными параметрами смешивания для слоёв self-attention и MLP. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Карточка не приводит сведений о специализации по языкам или предметным областям. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не описывает отдельные оценки качества или известные технические ограничения.

bartowski/open-thoughts_OpenThinker2-7B-GGUF — это квантизированная GGUF-версия языковой модели OpenThinker2-7B, разработанной open-thoughts. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется формат запросов с ролями system, user и assistant на основе специальных токенов ChatML. Модель содержит 7 миллиардов параметров и распространяется в вариантах от BF16 до низкобитных квантований Q2–Q8, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,5 до 15,2 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти. В README не указаны языки, размер контекстного окна, конкретные мультимодальные возможности или архитектурные детали базовой модели. Сильной стороной является широкий выбор квантований для разных аппаратных ограничений и оптимизация с использованием imatrix. Ограничения зависят от выбранного варианта: более компактные версии могут заметно уступать по качеству, а полная BF16-версия требует значительных ресурсов. Модель и квантованные файлы распространяются по лицензии Apache-2.0; квантизация выполнена bartowski с использованием llama.cpp.

Phi-3-mini-mango-1 — экспериментальная instruct-дообученная языковая модель Rhys Jones на базе Microsoft/Phi-3-mini-4k-instruct. Она предназначена для диалоговой генерации текста и кода, а также для изучения свойств и поведения Phi-3 после дообучения. Модель имеет плотную архитектуру Phi-3, около 3,7 млрд параметров и контекст до 4096 токенов; принимает текст и генерирует текст. Карточка указывает на использование того же формата чата, что и у Phi-3 Mini-4K-Instruct, без системного промпта. Это первая экспериментальная версия дообучения. Она распространяется в формате Safetensors, а отдельная версия GGUF доступна в другом репозитории. Лицензия — MIT. Для запуска README рекомендует Transformers версии 4.41.0 или новее.

SirSahOl преобразовал Phi-4-mini-instruct от Microsoft в формат MLX с 16-битными весами для запуска на компьютерах Apple Silicon. Это плотная авторегрессионная языковая модель семейства Phi-4 с 3,8 млрд параметров, рассчитанная на диалоговую генерацию текста. Модель подходит для ответов на вопросы, написания и редактирования текстов, генерации кода и рассуждений в приложениях с ограниченными ресурсами. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. В метаданных указан контекст 4096 токенов; автор README предупреждает о возможном ухудшении качества при очень длинном контексте и указывает, что для запуска с MLX требуется Apple Silicon M1 или новее. Бенчмарки для этой версии пока не приведены. Лицензия — MIT.

Phi-tiny-MoE-instruct — компактная языковая модель Microsoft для диалогов и следования инструкциям. Это декодерный Transformer с архитектурой смеси экспертов (MoE): в README указаны 3,8 млрд параметров и 1,1 млрд активных, тогда как метаданные каталога приводят 1,6 млрд параметров. Модель создана методом SlimMoE на основе модели, общей для Phi-3.5-MoE и GRIN-MoE, а затем дообучена на инструкциях и предпочтениях пользователей. Для этого варианта точный идентификатор базовой модели в метаданных не указан. Модель предназначена для англоязычных универсальных ассистентов, а также сценариев с ограничениями по памяти, вычислениям или задержке. Принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4096 токенов. Данные включают синтетические учебные материалы, отфильтрованные открытые документы, код и диалоговые примеры; сведения в README указывают на преимущественное обучение на английском. Модель может помогать с ответами на вопросы, объяснениями, рассуждениями и генерацией кода. Возможны неточности и выдуманные утверждения, предвзятые или оскорбительные ответы; качество для языков, отличных от английского, ниже. Для важных и чувствительных сценариев ответы следует проверять. Лицензия — MIT, допускающая коммерческое использование.

Progenitor-LLaMa-70B — объединённая модель генерации текста, созданная автором TareksGraveyard из нескольких предварительно обученных моделей семейства Llama с помощью mergekit. В качестве базовой модели использована nbeerbower/Llama-3.1-Nemotron-lorablated-70B; в объединение также вошли модели Hanami, Negative LLAMA, Anubis, EVA-LLaMA и Cirrus. Архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, формат весов — safetensors; контекст — до 131 072 токенов. Модель предназначена для диалога и генерации текста. Автор описывает её как более консервативное слияние и сообщает о хорошем результате, но считает свою более агрессивную версию Progenitor-V1.1-LLaMa-70B удачнее. Модель использует лицензию Llama 3.3; перед применением следует учитывать её условия.

bunnycore/Qwen2.5-3B-Model-Stock — объединённая авторами bunnycore модель генерации текста, созданная методом Model Stock с помощью mergekit. В качестве основы использована Qwen/Qwen2.5-3B-Instruct, а в слияние также вошли huihui-ai/SmallThinker-3B-Preview-abliterated и bunnycore/Qwen2.5-3B-RP-Mix. Модель относится к плотной архитектуре Qwen2 и содержит 3,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим; указанный нативный контекст — 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Карточка не сообщает лицензию или специальные ограничения применения.

Qwen2-72B-Instruct-IMat-GGUF — это набор GGUF-версий инструкционной языковой модели Qwen2-72B-Instruct, опубликованный legraphista и основанный на модели Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-приложениях и локальном inference через совместимые инструменты, в частности llama.cpp. В метаданных указан английский язык; сведения о поддержке других языков, мультимодальности и максимальном размере контекста не приведены. В репозитории доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий. Часть вариантов создана с использованием IMatrix-калибровки, предназначенной для более эффективного квантования, а некоторые представлены в виде разделённых файлов. Размеры файлов варьируются примерно от 29,81 до 145,42 ГБ, поэтому модель требует значительных ресурсов хранения и вычислений. Ключевая характеристика — 72 миллиарда параметров; точная архитектура и контекстное окно в README не указаны. Сильной стороной является широкий выбор уровней квантования и формат GGUF, удобный для локального запуска, а IMatrix может помогать сохранять качество при уменьшении размера модели. Ограничениями остаются высокая требовательность к памяти и производительности, а также возможная потеря качества в более агрессивных вариантах квантования. Модель распространяется по лицензии tongyi-qianwen; указана лицензия типа other со ссылкой на лицензию исходной модели Qwen2-72B-Instruct.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

nytopop/Qwen3-30B-A3B.w8a8 — квантизированная версия модели Qwen/Qwen3-30B-A3B, подготовленная пользователем или организацией nyt opop с использованием Transformers и llmcompressor. Модель предназначена для генерации текста и оптимизирована для запуска на GPU NVIDIA с архитектурой Ampere. Ключевая особенность — квантизация W8A8 с 8-битными весами и активациями, рассчитанная на повышение эффективности выполнения. В README не указаны точные архитектурные параметры, число активных параметров, поддерживаемые языки, длина контекста и дополнительные модальности, поэтому эти характеристики нельзя достоверно определить по имеющимся данным. Для запуска рекомендуется использовать SGLang; на момент публикации README стандартная версия SGLang некорректно загружает эту квантизацию, поэтому предлагается исправленная ветка проекта. Указана лицензия Apache-2.0. Ограничение модели связано с зависимостью от совместимого программного окружения и необходимостью применять специальную версию SGLang до исправления поддержки upstream.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-Hi-Fi-fraQtl — это квантизированная GGUF-версия Qwen/Qwen3-4B-Instruct-2507, подготовленная fraQtl и опубликованная в сообществе Qualcomm AI Hub. Модель предназначена для генерации текста и работы в сценариях локального запуска на CPU и GPU через llama.cpp; GGUF также совместим с GenieX без изменений. Поддержка выполнения на NPU/Hexagon в README не подтверждена. Модель содержит около 4 млрд параметров и поддерживает контекст до 262 144 токенов. Доступны варианты Hi-Fi Q4_K_M-класса размером 2,50 ГБ и Q4_0 размером 2,38 ГБ. Квантизация выполнена с учётом калибровки методом fraQtl code+math imatrix; заявлены более низкое расхождение с исходными весами по сравнению с рядом других сборок Q4_K_M и успешное извлечение контрольных данных на полном контексте. Архитектура, перечень языков и поддерживаемые модальности в README отдельно не указаны. Сильными сторонами являются компактный размер, возможность локального запуска, сохранение качества после квантизации и проверенная работа с длинным контекстом. Ограничения включают отсутствие подтверждённого ускорения на Hexagon NPU, а также отсутствие подробных данных о языковых возможностях и качестве на прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3.5-122B-A10B-abliterix-NVFP4 — квантизированная версия базовой модели wangzhang/Qwen3.5-122B-A10B-abliterix, подготовленная пользователем bjk110. Это текстовая MoE-модель для генерации текста и инференса через vLLM на оборудовании NVIDIA Blackwell, включая DGX Spark GB10 с архитектурой SM121. Поведение Abliterix описывается как uncensored: заявлена частота отказов 0,5%, а KL-дивергенция относительно базовой Qwen3.5-122B-A10B составляет 0,0115. Модель содержит 122 млрд параметров при 10 млрд активных параметров и использует NVFP4-квантизацию W4A4 с группами по 16 элементов, симметричным групповым масштабированием и динамической квантизацией активаций. Формат compressed-tensors совместим с vLLM; 37 056 слоёв используют NVFP4, а 471 слой сохранён в BF16. Размер на диске составляет около 70,4 ГБ вместо примерно 230 ГБ для BF16-версии, что оставляет больше памяти для KV-кэша и позволяет запускать модель на двух узлах DGX Spark. В README указана конфигурация с tensor parallelism 2, FlashInfer-CUTLASS NVFP4 MoE backend и контекстом до 32 768 токенов. Сильные стороны модели — существенно сниженное потребление памяти, поддержка высокопроизводительного NVFP4-бэкенда на Blackwell и сохранение заявленного uncensored-поведения базовой Abliterix-модели. Ограничения включают зависимость от совместимого стека vLLM, аппаратуры NVIDIA Blackwell и распределённого запуска; в README не указаны точные языки, результаты стандартных бенчмарков и подробные характеристики контекстного окна базовой модели. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.2bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, разработанная TheDrainFlorist на базе модели Qwen. Репозиторий предназначен для запуска большой MoE-модели локально на компьютерах Apple Silicon с 128 ГБ объединённой памяти, без кластера и специальных патчей, используя MLX и совместимые инструменты mlx-lm или mlx-vlm. Модель поддерживает генерацию текста, а после обновления runtime также обработку изображений через mlx-vlm. Модель имеет 397 млрд параметров и обозначение A17B, что указывает на разреженную архитектуру Mixture-of-Experts с примерно 17 млрд активных параметров на токен. Применяется vector quantization с точностью 2,2 bits per weight; размер артефакта составляет около 101,0 GiB. Заявлена поддержка английского языка, а тесты включают прозу и смешанный по языкам код. Максимальная длина контекста в README не указана. Для текста требуется mlx-lm с поддержкой ключа model_file версии 0.31.9 или совместимой, для изображений — mlx-vlm не ниже 0.6.16. Главное преимущество сборки — уменьшенный объём, позволяющий сохранить около 17 ГиБ свободной памяти на системе с 128 ГБ и использовать модель с меньшими требованиями к резидентной памяти. По опубликованным измерениям версия v2 улучшает perplexity относительно v1 и превосходит близкую 2,6-битную квантизацию на прозе, однако уступает сборке VQ-2.4bpw по качеству. Уменьшение размера не гарантирует более высокую скорость декодирования, поскольку активные эксперты на токен остаются сопоставимыми. Лицензия — Apache-2.0.

trymirai/Qwen3.5-4B-M — это средний по размеру 4-битный вариант модели Qwen3.5-4B, подготовленный Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и унаследовала архитектуру, назначение, языки, модальности и другие базовые свойства оригинальной Qwen3.5-4B, однако в представленном README их подробные характеристики не указаны. Квантизация выполнена с использованием 4-битного асимметричного целочисленного представления, 4-битных zero points, масштабов bfloat16 и размера группы 32. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms; после посттренировочной квантизации использовалась дистилляция с учётом квантизации. По заявлению разработчиков, чекпойнт находится на компромиссном фронте между размером и KL-дивергенцией, то есть сочетает уменьшенный размер с сохранением качества. Основное преимущество модели — возможность более эффективного локального вывода на Apple silicon при меньших требованиях к памяти по сравнению с исходной моделью. Ограничение состоит в том, что в README заявлена поддержка только Apple silicon; характеристики производительности и качества для других платформ не приведены. Для запуска предлагается пакет mirai для macOS или сборка из исходного кода. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-3.4bpw — компактная векторно-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, предназначенная для генерации текста и обработки изображений на устройствах Apple Silicon через MLX. Модель содержит vision tower и рассчитана на работу с mlx-lm для текста и mlx-vlm для изображений. В README явно указан английский язык; другие языки и размер контекстного окна не заявлены. Размер артефакта составляет 13,8 GiB, пиковое потребление памяти — около 13,1 GiB. Эксперты модели квантизованы методом vector quantization с параметрами d=4 и K=2048, примерно до 3 бит на вес, а неэкспертные тензоры представлены в 8-битном формате. Заявлена скорость около 66 токенов в секунду на совместимом оборудовании; модель запускается на машинах с 16 GiB памяти при коротком контексте и более комфортно — от 24 GiB. Главное преимущество — существенно меньший размер по сравнению с 4-битной сборкой при лучшем показателе perplexity: 13,8 GiB против 19 GiB, при этом измеренная perplexity составляет 1,029x относительно bf16-версии против 1,041x у 4-битной модели. Ограничение — заметная потеря качества относительно parity-сборки размером 18,7 GiB: top-1 agreement составляет 87,33%, поэтому при наличии достаточного объёма памяти рекомендуется более крупная версия. Для работы с изображениями требуется mlx-vlm версии 0.6.16 или новее, а поддержка model_file обязательна. Лицензия — Apache 2.0.

Starw1/Qwen3.8-27B-absolute-heresy-W4A16 — 4-битная версия модели MuXodious/Qwen3.8-27B-absolute-heresy, подготовленная для инференса с использованием Transformers и vLLM. Модель разработана как мультимодальная система для работы с текстом и изображениями; исходная модель относится к классу примерно 27-миллиардных параметров, а логический размер квантованной версии составляет около 28 млрд параметров. Модель использует квантизацию весов W4A16: 4-битные целочисленные веса и активации в формате 16-bit. Квантизация выполнена методом AutoRound с симметричной схемой, group_size=128 и упаковкой pack-quantized в формате compressed-tensors. Зрительная башня оставлена в формате bf16, чтобы сохранить возможности анализа изображений. Размер модели на диске составляет около 15,79 ГБ, а занимаемый объём весов в VRAM — примерно 14,71 ГиБ, что ориентирует её на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. README также указывает поддержку MTP-весов для speculative decoding и контекст до 140 000 токенов при соответствующей конфигурации vLLM. Основные сценарии применения — генерация и анализ текста, а также обработка запросов с изображениями в локальной или серверной среде. К преимуществам относятся сниженные требования к памяти и сохранение визуального компонента в bf16; ограничения связаны с использованием квантованной версии, зависимостью от совместимой инфраструктуры vLLM и отсутствием в README подробностей об архитектуре, языках, обучении и фактическом качестве модели. Лицензия в карточке этой квантованной версии не указана; за условия использования необходимо обращаться к карточке исходной модели.

Soomin33/Qwen3.8-Flash-Next-FP6 — общественная квантованная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель создана на основе официального чекпойнта Qwen/Qwen3.8-Flash-Next-FP8, а не исходных весов BF16. Она предназначена для генерации текста и рассчитана на локальный запуск и серверное инференс-обслуживание с использованием SGLang. Модель использует архитектуру mixture-of-experts и содержит около 180 млрд параметров. Веса MoE-экспертов объёмом 123,31 млрд параметров представлены в формате FP6 e2m3 с группами по 64 значения, основные компоненты внимания и GDN хранятся в BF16, а таблица n-gram/PLE объёмом 51,2 млрд параметров — в FP8 и размещается в оперативной памяти хоста. В составе также присутствует vision encoder, однако заявленный pipeline предназначен для text-generation. Поддерживаемые языки, размер контекста и точный набор мультимодальных сценариев в карточке не указаны. Сильными сторонами являются существенное снижение размера экспертных весов при низкой относительной RMS-ошибке относительно FP8-источника, проверенная точность Triton-деквантизации и оптимизация под GPU NVIDIA Ampere. В тесте GPQA Diamond на ограниченной выборке модель показала 38 из 38 правильных ответов среди завершённых задач, а в частично выполненном полном прогоне — 66 из 71, однако эти результаты не являются полноценным бенчмарком. Ограничения включают высокие требования к ресурсам: рекомендуется две видеокарты по 64 ГБ либо не менее 110 ГБ памяти на одной GPU, около 50 ГиБ закреплённой оперативной памяти для n-gram-таблицы и примерно 147 ГиБ дискового пространства. Архитектуры GPU новее Ampere заявлены как потенциально совместимые, но не протестированы. Модель распространяется по лицензии Qwen Community License 1.0; в метаданных также указана общая категория лицензии other.

Это GGUF-квантизированная версия языковой модели Qwen3-235B-A22B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Архитектура и точные характеристики исходной модели, включая число активных параметров, контекст, поддерживаемые языки и модальности, в представленном README не описаны. Указано обозначение 235B-A22B, а также наличие множества вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Размер файлов составляет примерно от 83,33 до 249,94 ГБ. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкобитные варианты экономят память, но снижают качество. Основные преимущества модели — доступность высококачественных квантований и возможность локального запуска на совместимом оборудовании. Ограничения связаны с очень большим размером файлов и зависимостью качества от выбранного типа квантования. Лицензия в README не указана.

Qwen_Qwen3-4B-Thinking-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Thinking-2507, разработанной Qwen. Квантизацию выполнил bartowski с использованием llama.cpp версии b6096 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 4B параметров и ориентирована на сценарии, требующие локального текстового вывода при ограниченных ресурсах. Доступны варианты от BF16 до Q2 и различные форматы квантизации; рекомендованными названы, в частности, Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают размер за счёт качества. Для работы используется шаблон промпта с секциями system, user и assistant, включающей тег <think>. Сильными сторонами являются локальный запуск, широкий выбор размеров файлов и оптимизация imatrix-квантизаций под llama.cpp. Ограничения связаны с потерей качества в более агрессивно сжатых вариантах, а также с тем, что в предоставленной карточке не указаны контекстное окно, поддерживаемые языки, точная архитектура, модальности и лицензия исходной модели или квантов. Условия распространения следует уточнять на странице оригинальной модели Qwen/Qwen3-4B-Thinking-2507.

MaziyarPanahi/QwQ-32B-GGUF — это набор квантизированных файлов модели QwQ-32B в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Точный объём файлов, архитектура, длина контекста, поддерживаемые языки и модальности в README не указаны; по доступным данным модель относится к семейству QwQ-32B и работает с текстом. Сильная сторона этой версии — возможность запускать модель локально на оборудовании с различными ресурсными ограничениями благодаря нескольким уровням квантизации и широкой поддержке GGUF-инструментов. Ограничения включают потенциальную потерю качества на более агрессивных вариантах квантизации, а также необходимость самостоятельно подобрать совместимый клиент и параметры запуска. Лицензия в README не указана.

Rombo-Org_Rombo-LLM-V3.0-Qwen-72b-GGUF — это набор GGUF-квантизаций языковой модели Rombo-LLM-V3.0-Qwen-72b, разработанной Rombo-Org и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В качестве исходной модели указана Rombo-Org/Rombo-LLM-V3.0-Qwen-72b; в метаданных также отмечены датасеты Rombo-Org/Optimized_Reasoning и NovaSky-AI/Sky-T1_data_17k. Размер исходной модели составляет 72 миллиарда параметров. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Доступны варианты квантизации от Q2 до Q8, преимущественно размером примерно от 32 до 77 ГБ. Более высокие варианты сохраняют лучшее качество, но требуют больше памяти; Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K отмечены как рекомендуемые, а низкоразрядные варианты предназначены для экономии оперативной памяти с возможным снижением качества. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка локального запуска и использование imatrix-квантизации на базе llama.cpp. Ограничениями являются значительные требования к памяти даже у компактных вариантов, а также отсутствие в README подробных данных о результатах тестирования, языках и контекстном окне. Для использования указана лицензия Apache-2.0.

SlimOrca-Llama-3-8B-GGUF — это квантизированная GGUF-версия текстовой генеративной модели SlimOrca-Llama-3-8B, разработанная на основе оригинальной модели ajibawa-2023/SlimOrca-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель обучена на наборах данных Open-Orca/SlimOrca и ajibawa-2023/SlimOrca-ShareGPT. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы на вопросы, решение задач с выбором ответа, суммаризацию, написание обзоров, формулирование гипотез, создание историй и статей. Архитектура относится к семейству Llama 3, размер — 8 миллиардов параметров. Модель поддерживает текстовую модальность; размер контекста в README не указан. Для работы рекомендуется форматирование запросов по шаблону с ролями system, user и assistant. Репозиторий содержит варианты квантизации от IQ1 до Q8 с размером файлов примерно от 2,01 до 8,54 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые благодаря удачному соотношению качества и размера. Более компактные варианты снижают требования к оперативной памяти, но могут заметно уступать в качестве; IQ1-варианты имеют крайне низкое качество и не рекомендуются. Лицензия модели — Apache-2.0.

jaspionjader/sof-5 — объединённая языковая модель, созданная автором репозитория с помощью mergekit методом Model Stock. При слиянии использованы jaspionjader/sof-3, jaspionjader/ek-6 и jaspionjader/sof-4; базовой моделью указана jaspionjader/Kosmos-EVAA-Franken-stock-v43-8B. Модель относится к семейству Llama, использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, а заявленная длина контекста составляет до 131 072 токенов. Карточка не описывает целевые языки или специализированные области применения, поэтому модель следует рассматривать как универсальную. В репозитории указаны веса в формате safetensors и тип данных bfloat16. Лицензия в предоставленных данных не приведена. Карточка не содержит результатов оценки качества или конкретных ограничений поведения модели.

T3qm7xNeuralsirkrishna_ShadowExperiment29 — объединённая текстовая модель на архитектуре Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/ShadowExperiment29-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors. Модель принимает текст и выдаёт текст. Её можно применять для диалоговых интерфейсов, составления черновиков и продолжения текста. Репозиторий распространяется по лицензии Apache-2.0.

Tess-10.7B-v1.5 — универсальная большая языковая модель семейства Tess, разработанная Miquiztli. Она основана на SOLAR-10.7B и предназначена для генерации текста в диалоговом формате с ролями SYSTEM, USER и ASSISTANT. Модель подходит для ответов на вопросы, ведения диалога и других общих задач генерации текста. Модель использует плотную архитектуру LlamaForCausalLM, содержит 10,6 млрд параметров и имеет контекст длиной 4096 токенов. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. В README указано, что для версии Tess-10.7B-v1.5b опубликованы оптимизации гиперпараметров.