I.14Автоматизация процессов и AI-агенты

win10/phi-3.5-sakura-yuzu-v3.0 — объединённая авторами модель генерации текста на архитектуре Phi-3.5, созданная с помощью mergekit и метода TIES. В качестве основы использована win10/Phi-3.5-mini-instruct-24-9-29; в слияние также вошли модели для ролевого общения, программирования, медицинских вопросов и адаптеры EvolKit и System. Размер модели — 3,7 млрд параметров, длина контекста — 4096 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ролевых бесед, ответов на вопросы, помощи с кодом и медицинской тематикой. Метаданные указывают поддержку чата и нескольких языковых вариантов в моделях, вошедших в слияние, но основной язык этой модели отдельно не установлен. Модель распространяется в формате safetensors для библиотеки Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 — диалоговая decoder-only языковая модель на базе Transformer с архитектурой Mixture of Experts (MoE), разработанная командой Qwen. Модель предназначена для генерации текста и взаимодействия в формате чата, включая ответы на вопросы, краткие объяснения и другие сценарии использования языкового ассистента. В README указана поддержка английского языка и конвейер text-generation. Модель содержит 14,3 млрд параметров, из которых во время работы активируются 2,7 млрд; она создана на основе Qwen-1.8B и дообучена с применением supervised fine-tuning и direct preference optimization. Версия GPTQ-Int4 использует 4-битное квантование. По заявлению разработчиков, при сопоставимой с Qwen1.5-7B производительности она требует около 25% ресурсов для обучения и обеспечивает примерно в 1,74 раза большую скорость вывода. Размер контекста в README не указан. Среди ограничений отмечена возможность переключения языков и другие нежелательные случаи генерации, для снижения которых рекомендуется использовать параметры из generation_config.json. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять по указанной в README лицензии.

ibrahimkettaneh/Qwen2.5-14B-Instruct-abliterated-v2-AWQ — это квантованная в формате AWQ версия производной модели Qwen2.5-14B-Instruct-abliterated-v2. Репозиторий опубликован пользователем ibrahimkettaneh; исходная базовая модель разработана командой Qwen компании Alibaba. Производная модель создана методом abliteration, направленным на ослабление отказов отвечать на запросы, а её назначение — локальная генерация текста и диалоговое использование. Модель основана на Qwen2.5-14B-Instruct: это causal language model примерно с 14,7 млрд параметров, архитектурой Qwen2 с RoPE, SwiGLU, RMSNorm и grouped-query attention. Базовая модель поддерживает текстовые задачи, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский, английский и китайский. Полное контекстное окно базовой модели составляет до 131 072 токенов, а генерация — до 8192 токенов, однако параметры контекста именно этой AWQ-сборки отдельно не документированы. Ключевое преимущество — существенно меньшие требования к памяти благодаря 4-битной AWQ-квантизации; размер опубликованных весов составляет около 10 ГБ. Ограничения включают отсутствие собственной карточки модели и подробных официальных сведений о качестве, области abliteration и фактическом поведении; ослабление защит может повысить риск небезопасных или нежелательных ответов. Для базовой Qwen2.5-14B-Instruct указана лицензия Apache 2.0, но отдельная лицензия данного производного репозитория в доступной карточке не указана.

Qwen2.5-14B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой llama.cpp и LM Studio. В README указана поддержка английского языка и текстовая модальность. Модель содержит 14 миллиардов параметров в исходной версии; доступно множество вариантов квантизации от F16 до Q2_K_L, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 6,53 до 29,55 ГБ. Для диалогов используется шаблон с ролями system, user и assistant. Точная длина контекста в README не указана, сообщается лишь об обновлении настроек контекста и токенизатора. Сильная сторона модели — возможность локального запуска при сохранении нескольких вариантов качества, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов; варианты Q2 и Q3 описаны как низкокачественные или предназначенные для ограниченного объёма памяти. Модель распространяется по лицензии Apache 2.0.

EasierAI/Qwen-2.5-32B — это GGUF-квантизированная версия Qwen2.5-32B-Instruct, предназначенная для генерации текста и диалогового взаимодействия. Исходная модель разработана командой Qwen, а представленные квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Модель ориентирована на чат, локальный запуск и другие сценарии текстовой генерации, включая использование в LM Studio. В README указано, что модель поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Размер исходной модели составляет 32B параметров; доступны варианты от F16 до IQ3 и Q3-квантизаций с объёмом файлов примерно от 13,71 до 65,54 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Точная архитектура и максимальная длина контекста в README не указаны; отмечено лишь обновление настроек контекста и токенизатора. Сильными сторонами являются многоязычность, широкий выбор квантизаций и возможность локального инференса, включая варианты, оптимизированные для ARM. Ограничения связаны с компромиссом между качеством и требованиями к памяти при использовании низкоразрядных вариантов, а также с отсутствием в описании результатов тестирования и точных характеристик производительности. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-7B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-7B, разработанной командой Qwen. Модель предназначена для генерации и продолжения текста, а также для последующего дообучения методами SFT, RLHF или continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Модель относится к классу causal language models и содержит 7,61 млрд параметров, из которых 6,53 млрд не являются параметрами эмбеддингов. Архитектура включает 28 слоёв, RoPE, SwiGLU, RMSNorm и attention с GQA: 28 голов для Q и 4 для KV. Контекстное окно — до 131 072 токенов. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное представление, снижающее требования к памяти; конкретные показатели качества и производительности для этой сборки в README не приведены. Модель распространяется под лицензией Apache-2.0 и предназначена для использования с библиотекой Transformers.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

bunnycore/Qwen-2.5-7b-TitanFusion-v3 — объединённая диалоговая языковая модель, созданная автором репозитория с помощью mergekit и метода Model Stock. В основу слияния положена bunnycore/Qwen-2.5-7b-TitanFusion-v2; также использованы bunnycore/Qwen-2.5-7b-rp-lora и Orion-zhen/Qwen2.5-7B-Instruct-Uncensored. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и предназначена для генерации текста в формате диалога. Модель принимает текстовые запросы и генерирует текстовые ответы; её можно использовать для общения и выполнения инструкций. Родительская модель описана как дообученная на ответы без отказов, что указывает на соответствующую ориентацию слияния. Нативный контекст составляет 32 768 токенов. Репозиторий использует Transformers и формат Safetensors; веса объединены в bfloat16. Лицензия в предоставленных данных не указана.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

6block/Qwen3-4B-GGUF — набор GGUF-квантизированных версий модели Qwen3-4B, разработанной Qwen и подготовленной 6block с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования от Q8_0 до Q2_K размером примерно от 4,28 до 1,67 ГБ. Квантизация выполнена с imatrix на калибровочном наборе данных, содержащем английский и китайский языки, а также большое количество программного кода, что должно помогать сохранять качество китайского языка и задач программирования в низкобитных версиях. Для большинства сценариев рекомендуются Q6_K, Q5_K_M и Q4_K_M; варианты IQ ориентированы на уменьшение размера с компромиссом по скорости или качеству. Модель подходит для локальных чат-приложений, генерации текста и программирования при ограниченных ресурсах. Основные ограничения связаны с потерями качества, зависящими от выбранного уровня квантования, а также с отсутствием в README сведений об архитектурных деталях и размере контекста. Лицензия — Apache 2.0.

Qwen3-4B-Instruct-2507-GPTQ-Int4 — квантизированная версия модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором superjob/Qwen3-4B-Instruct-2507-GPTQ-Int4. Она предназначена для генерации текста и работы в диалоговых и прикладных сценариях, где важны компактность модели и снижение требований к памяти. Заявлена поддержка 104 языков, включая русский и другие языки стран СНГ. Модель использует 4-битную GPTQ-квантизацию весов и 16-битные активации (W4A16), размер группы — 128, порядок активаций статический. Формат compressed-tensors обеспечивает нативную поддержку в vLLM и оптимизирован для запуска с этим движком. README не содержит данных о точном размере контекстного окна, числе параметров исходной архитектуры, поддерживаемых модальностях помимо текста или результатах тестирования, поэтому оценить качество и ограничения по бенчмаркам невозможно. Модель распространяется по лицензии Apache 2.0, как и исходная модель.

Qwen3-4B-INT8-INT4 — квантизированная версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и обработанной командой PyTorch с использованием torchao. Это авторегрессионная модель для генерации текста, диалогов, работы с кодом и математическими задачами; заявлена поддержка многоязычных сценариев. Модель предназначена для локального и мобильного развертывания, в частности через ExecuTorch. Ключевая особенность — схема квантизации INT8-INT4: эмбеддинги используют 8-битные веса, динамические активации представлены в 8 битах, а линейные слои используют 4-битные веса. Размер базовой модели — 4 млрд параметров. Предоставляемый файл model.pte экспортирован с максимальной длиной последовательности и контекстом 1024 токена; этот параметр можно изменить повторным экспортом. На iPhone 15 Pro заявлена скорость около 14,8 токена в секунду при использовании примерно 3379 МБ памяти. Сильные стороны модели — уменьшенные требования к памяти и возможность запуска на мобильных устройствах при сохранении назначения исходной Qwen3-4B для диалогов, генерации текста, кода и решения математических задач. Ограничениями являются возможная потеря качества из-за квантизации, ограничение предоставленной сборки контекстом 1024 токена и зависимость мобильного запуска от ExecuTorch и совместимого устройства. В README приведена лицензия MIT; подробные результаты бенчмарков отсутствуют.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

Qwen3.5-88B — текстовая версия модели Qwen3.5, подготовленная 0xSero из Qwen/Qwen3.5-122B-A10B методом REAP (Routing-Enhanced Activation Pruning). Из MoE-модели удалено около 30% экспертов; итоговая модель содержит 88 млрд параметров и распространяется в формате BF16. В основе указана архитектура Qwen3.5 MoE с GDN и полным attention. Модель предназначена для генерации текста и диалогов. Это контрольная точка только для языковой модели, полученная из мультимодальной базы: изображения она не обрабатывает. REAP отбирает экспертов по активациям маршрутизатора на калибровочном наборе данных; в README также указана защита критически важных для безопасности возможностей. Для запуска приведён пример с vLLM и максимальной длиной контекста 8192 токена. Лицензия в метаданных обозначена как other, конкретные условия следует проверять на странице репозитория.

Qwen3.8-27B-GGUF — это квантизированная мультимодальная vision-language модель на базе Qwen/Qwen3.8-27B, подготовленная разработчиком 6block с использованием llama.cpp. Она предназначена для обработки текста, изображений и видео с генерацией текстовых ответов, поэтому подходит для визуального анализа, работы с документами и общих текстовых задач. Заявлены английский и китайский языки. Модель имеет плотную архитектуру с 27,8 млрд параметров, включая vision tower, и 64 decoder-слоя. В гибридной схеме 16 слоёв используют grouped-query full attention, а 48 — Gated DeltaNet linear attention. Нативная длина контекста составляет 262 144 токена, с возможностью дальнейшего расширения через YaRN; словарь содержит 248 320 токенов, embeddings не связаны. Доступны варианты квантизации от Q8_0 до IQ2_XXS, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Для мультимодального ввода требуется отдельный файл vision projector mmproj; без него модель работает только с текстом. Благодаря гибридной архитектуре KV-кэш растёт только для 16 полно-внимательных слоёв, что снижает затраты памяти на длинном контексте. К сильным сторонам относятся поддержка текста, изображений и видео, очень длинный контекст, широкий набор вариантов квантизации и imatrix-калибровка для сохранения качества при сжатии. Ограничениями являются значительные требования к памяти: размер текстового backbone составляет примерно от 9,3 до 26,1 GiB в зависимости от варианта, а для мультимодальной работы дополнительно нужен vision projector размером около 0,9 GiB и память под KV-кэш. Модель распространяется по лицензии Apache-2.0.

Это квантованная мультимодальная модель Qwen3.8-27B, разработанная на основе Qwen/Qwen3.8-27B и аблитерированной версии huihui-ai/Huihui-Qwen3.8-27B-abliterated. Релиз lued сохраняет архитектуру и возможности исходной модели, изменяя числовое представление весов. Модель предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для запуска через vLLM на видеокартах архитектуры Ampere, в частности в конфигурации с двумя RTX 3090. Используется квантование W8A16: веса основных матричных умножений представлены в INT8, а активации — в FP16 или BF16. Применена симметричная data-free RTN-квантизация с размером группы 128; квантировано 400 GEMM-операций. В BF16 сохранены vision tower, lm_head, MTP-компоненты и рекуррентные GDN-gates. Модель поддерживает vision-компоненты, native context, thinking controls и speculative decoding через MTP, однако точный размер контекста, список языков и полные архитектурные характеристики в карточке не указаны. По измерениям на коротком наборе из 467 позиций средний KLD относительно собственного BF16-учителя составил 0,000705, а совпадение top-1 предсказаний — 98,72%; эти показатели характеризуют числовое отклонение после квантизации, но не заменяют полноценную оценку качества генерации, программирования, инструментального использования или длинного контекста. Аблитерация унаследована от базовой модели и направлена на удаление отказов; исходная карточка описывает этот метод как экспериментальный и proof-of-concept. Размер файлов весов составляет 29,44 GiB. Модель распространяется по лицензии Apache-2.0.

Minachist/Qwen3.8-27B-INT6-Mixed-AutoRound — это квантизированный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, разработанный пользователем Minachist. Модель предназначена для запуска через vLLM на системах примерно с 48 ГБ суммарной видеопамяти, включая сценарии с обработкой изображений, полным контекстом и включённым MTP. Модель содержит 64 языковых слоя: 48 слоёв с gated-delta linear attention и 16 слоёв с полноценным attention. Используется смешанная квантизация AutoRound в формате compressed-tensors pack-quantized с эффективной плотностью 7,30 бит на вес: отдельные компоненты работают в INT5, INT6, INT7 или INT8, а часть параметров, включая vision tower, нормы и некоторые проекции, сохранена в BF16. Заявленный максимальный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. По измерениям автора, на тесте WikiText-2 средняя KL-дивергенция относительно BF16-версии составила 0,001980, согласие top-1 предсказаний — 97,905%, а perplexity — 7,9183 против 7,9112 у базовой модели. Это указывает на небольшую потерю качества при существенном сокращении требований к памяти. Ограничение модели — она не загружается в стандартный vLLM: требуются версия с поддержкой 5–8-битных схем, пакет humming-kernels и патч для qwen3_5.py и qwen3_5_mtp.py. В README рекомендована лицензия Apache-2.0.

Qwen 3.8 27B ROCmFP4 FAST — это квантизированная GGUF-версия модели Qwen 3.8 27B, разработанной командой Qwen и адаптированной пользователем julianmb. Модель предназначена для генерации текста и оптимизирована прежде всего для AMD Strix Halo с графикой Radeon 8060S, а также дискретных AMD Radeon GPU, использующих ROCm или Vulkan. Модель имеет плотную архитектуру с 27 млрд параметров и представлена в формате ROCmFP4 с эффективной точностью 4,26 бит на вес и размером файла около 13,55 GiB. Заявлены поддерживаемые языки английский и китайский. Версия ориентирована на ускоренное авторегрессионное декодирование и может использовать speculative decoding с MTP; на Ryzen AI Max+ 395 указана скорость до 36,04 токена в секунду, при устойчивом MTP-декодировании K=4 — 33,80 токена в секунду. Без спекулятивного декодирования измеренная скорость составляет 14,02 токена в секунду. Сильные стороны модели — сниженное потребление памяти, оптимизация под оборудование AMD и высокая скорость генерации при сохранении заявленного качества, близкого к исходной модели. Дополнительно описана экспериментальная гибридная NPU-акселерация AMD XDNA 2 для уменьшения задержки выдачи первого токена на длинных запросах, но она не повышает устойчивую скорость декодирования. Реальная производительность зависит от GPU, драйверов, конфигурации MTP и программного окружения, поэтому приведённые показатели нельзя считать универсальными. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем azukivc и подготовленный для llama.cpp. Модель предназначена для генерации текста, включая локальный запуск и сценарии, где требуется сниженное количество отказов. Поведение отказа было существенно уменьшено, но не устранено полностью; дополнительное обучение и новые обучающие данные не использовались. Лицензия — Apache-2.0. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указана поддержка vision, поэтому доступны варианты с обработкой изображений, если это поддерживается базовой моделью и используемым runtime. Заявлены языки English и Chinese. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, размер файлов — примерно от 10,6 до 29 ГБ. MTP-голова сохранена для speculative decoding; доступны как объединённые файлы со встроенной draft-моделью, так и отдельные target- и draft-файлы. Снижение отказов является преимуществом для менее ограниченных сценариев, однако поведение не полностью безотказное, а acceptance rate speculative decoding может немного снизиться.

Vishva007/Qwen3.8-27B-W4A16-AutoRound-GPTQ — квантованная версия модели Qwen/Qwen3.8-27B, подготовленная с использованием алгоритма Intel AutoRound. Базовая архитектура разработана командой Qwen; автор репозитория адаптировал её для более экономичного запуска. Модель относится к мультимодальным vision-language моделям и поддерживает сценарии обработки текста и изображений с генерацией текста, включая визуальное рассуждение и OCR. Модель содержит около 27 млрд параметров и использует формат W4A16: веса представлены в 4-битном виде, а активации — в 16-битном. Квантование выполнено с размером группы 64, симметричной схемой и калибровкой на 512 образцах. Vision tower сохранён в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество работы с изображениями. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели; это позволяет запускать модель на одной видеокарте с 24 ГБ памяти. В README приведён пример использования с vLLM и длиной контекста 4096 токенов, однако полный набор поддерживаемых языков и исходный максимальный контекст не указаны. К преимуществам относятся существенно сниженные требования к VRAM, потенциально более высокая скорость декодирования за счёт уменьшения нагрузки на пропускную способность памяти и сохранение vision tower в BF16. Ограничениями являются возможная потеря точности из-за 4-битного квантования, зависимость от совместимости используемого движка с AutoRound или GPTQ и отсутствие подробных результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

nytopop/Qwen3-8B.w8a8 — это квантованная версия языковой модели Qwen3-8B, разработанная на основе Qwen/Qwen3-8B. Модель предназначена для генерации текста и может использоваться в сценариях диалоговых приложений, ассистентов и других задач, поддерживаемых causal language models. В README также указана совместимость с reasoning parser qwen3. Модель использует 8-битное квантование W8A8 с применением SmoothQuant и GPTQ; вариант оптимизирован для производительности на GPU архитектуры Ampere. При создании использовались 256 калибровочных примеров с максимальной длиной последовательности 4096 токенов, однако эти параметры не подтверждают предельный контекст исходной модели. Размер модели, архитектурные детали, поддерживаемые языки и модальности в README не указаны. Основное преимущество версии — снижение вычислительных и, вероятно, ресурсных затрат по сравнению с полноразмерной моделью при сохранении назначения исходной Qwen3-8B. Ограничения квантования и точность на конкретных задачах не описаны, поэтому качество следует оценивать отдельно. Модель распространяется по лицензии Apache-2.0.

Qwen Plus 0728 — гибридная модель с рассуждением от команды Qwen, основанная на фундаментальной модели Qwen3. Она предназначена для генерации текста и решения задач, требующих рассуждений. Контекст модели составляет 1 миллион токенов; заявлен баланс производительности, скорости и стоимости. Модель подходит для диалогов, анализа длинных материалов и ответов на вопросы по большим текстовым контекстам. README не приводит подробностей об архитектуре, поддерживаемых языках или лицензии, поэтому эти характеристики нельзя уточнить по имеющимся данным.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Qwentile2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwentile2.5-32B-Instruct, разработанной maldv и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста, чат- и диалоговых сценариев, а также локального использования через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка. Модель имеет размер 32 млрд параметров. Доступны варианты от F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Квантизации выполнены с использованием imatrix на базе llama.cpp; для общения применяется шаблон с тегами <|im_start|> и <|im_end|>. Сильная сторона набора — широкий выбор вариантов, включая высококачественные Q6_K и Q6_K_L, а также более компактные версии для систем с ограниченной памятью. При этом уменьшение разрядности может снижать качество генерации, особенно у Q2–Q3 вариантов; для работы также требуются значительные вычислительные ресурсы. Контекстное окно, точная архитектура и дополнительные модальности в README не указаны. Модель распространяется по лицензии Apache-2.0.

Tiiny/SmallThinker-4BA0.6B-Instruct-GGUF — GGUF-квантизированная версия SmallThinker-4BA0.6B-Instruct, семейства нативных для устройств языковых моделей с архитектурой Mixture-of-Experts. Модель разработана совместно IPADS и School of AI Шанхайского университета Цзяотун при участии Zenergize AI и предназначена для локального запуска на устройствах с ограниченными ресурсами, обеспечивая приватность и низкую задержку без обращения к облачным сервисам. Модель рассчитана на генерацию текста и работу в инструкционном режиме: ответы на вопросы, рассуждения, решение математических задач, следование инструкциям и генерацию кода. Она обучалась преимущественно на английском языке, поэтому качество для других языков не заявлено. Контекстное окно составляет 32K токенов. Архитектура включает 4B общих параметров и 0,6B активируемых параметров, 32 слоя, 12 attention heads, механизм GQA, активацию ReGLU, 32 эксперта MoE и выбор 4 экспертов на токен. К сильным сторонам относятся высокая эффективность для компактной модели, возможность локального развертывания, поддержка llama.cpp для обычных GGUF-файлов и PowerInfer для файлов с суффиксом .powerinfer.gguf, использующих разреженные операторы. Ограничения включают преимущественно англоязычное обучение, возможные фактические ошибки, предвзятость и устаревание ответов, а также зависимость специальных .powerinfer.gguf-файлов от фреймворка PowerInfer. Модель распространяется по лицензии Apache-2.0.

Yanun/Swift-Qwen3.8-27b-oQ4e-mtp — мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для обработки текстовых и визуальных входных данных с генерацией текста, включая сценарии, где требуется анализ изображений совместно с текстовыми инструкциями. Модель имеет плотную текстовую архитектуру с 64 слоями, чередующуюся линейную и полную attention: 48 слоёв используют linear attention, 16 — full attention. Размер скрытого состояния составляет 5120, размер feed-forward слоя — 17408, словарь содержит 248 320 токенов, а заявленный предел контекста — 262 144 токена, хотя фактическая длина зависит от настроек среды выполнения и доступной памяти. Vision encoder включает 27 слоёв, скрытое состояние размером 1152, 16 attention heads и обрабатывает изображения через патчи 16×16. В составе также есть один multi-token prediction (MTP) слой. Чекпойнт использует смешанную квантизацию oQ4e: базовые веса квантизированы до 4 бит, для 187 модулей заданы переопределения на 5 бит, а отдельные компоненты MTP сохранены в BF16. Это уменьшает требования к хранению и вычислениям по сравнению с полноразмерной моделью, но итоговая производительность и доступная длина контекста зависят от MLX-совместимого runtime и объёма памяти. Поддерживаемые языки и специализированные сильные стороны в README не указаны. Модель распространяется на условиях Swift Open License v1.0; конвертация не изменяет условия лицензии исходной модели.

tau-instruct-0.5B-DPOP — инструктивная языковая модель M4-ai на архитектуре Qwen2 с примерно 463,9 млн параметров. Она создана на базе tau-0.5B и дообучена методом DPO-Positive на примерно 700 примерах предпочтений, размеченных с помощью GPT-4. Модель поддерживает контекст до 32 768 токенов и предназначена для диалогового взаимодействия на английском языке. Модель подходит для ответов на вопросы, генерации и продолжения текста, решения математических задач, понимания и создания кода, объяснений и анализа. Её можно применять в виртуальных помощниках, образовательных инструментах и исследовательских прототипах. По предварительной оценке авторов, дообучение улучшило следование инструкциям относительно базовой модели. Качество может снижаться на сложных задачах и при неясных инструкциях; модель сохраняет возможные смещения базовой модели и обучающих данных, а её результаты следует проверять. Лицензия указана как other; README предписывает соблюдать лицензию базовой модели tau-0.5B.

TERNARY-BONSAI-2-27B-DERISKED-GGUF — мультимодальная производная модель семейства TERNARY BONSAI, выпущенная Blackfrost AI на основе prism-ml/Ternary-Bonsai-2-27B-gguf и в конечном счёте Qwen/Qwen3.8-27B. Модель предназначена для диалоговых сценариев и работы с текстом, а при загрузке соответствующего мультимодального проектора также поддерживает входные изображения. Доступна через llama.cpp и совместимый с OpenAI API интерфейс. В релиз входят две языковые версии: высокоточная BF16 и компактная нативная тернарная PQ2_0 с групповой FP16-масштабизацией. Архитектура описана как гибридная causal language model на базе Qwen3.8, примерно на 27,36 млрд параметров и с 64 трансформерными блоками. Заявленное upstream-окно контекста составляет 262 144 токена, однако для данного релиза валидировано только 32 768 токенов; также проверена работа с одним параллельным потоком генерации. Для изображений используются отдельные проекторы BF16 или Q8_0, соответствующие языковой версии. BF16-вариант ориентирован на качество и точность, тогда как PQ2_0 существенно компактнее и демонстрирует более высокую наблюдаемую скорость декодирования в заявленной конфигурации. Обе версии прошли проверку связности оператором и HITL, а PQ2_0 указан как принятый компактный кандидат без зацикливания. При этом комплексные тесты программирования, безопасности, длинного контекста и мультимодальности ещё не опубликованы, оценка отказов находится в ожидании, а приведённые скорости не являются гарантией производительности. Процесс поведенческой модификации является проприетарным и не распространяется. Лицензия Apache-2.0 унаследована от непосредственной родительской модели.

TurdusBeagle-7B — языковая модель на архитектуре Mistral, созданная объединением udkai/Turdus и mlabonne/NeuralBeagle14-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и принимает текст для генерации текста; контекст — до 32 768 токенов. Модель подходит для диалогов, следования инструкциям, рассуждений и творческой генерации текста — эти возможности указаны для базовой NeuralBeagle14-7B. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0.

Yi-34B-200K — большая языковая модель 01.AI, обученная с нуля. Она предназначена для генерации текста и подходит для диалога, ответов на вопросы, рассуждений и чтения длинных материалов. Модель использует плотную архитектуру LlamaForCausalLM на основе Transformer, содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Семейство Yi ориентировано прежде всего на китайский и английский языки и обучено на многоязычном корпусе объёмом 3 трлн токенов. Веса этой модели опубликованы в форматах PyTorch и Safetensors. Карточка описывает сильные результаты семейства в понимании языка, здравом смысле и чтении; эти результаты не гарантируют такое же качество на всех задачах и данных. Модель распространяется по лицензии Apache-2.0. Для запуска большой версии необходимы значительные вычислительные ресурсы; приведённый в карточке пример локального запуска Yi-34B использует ускоритель A800 с 80 ГБ памяти.