I.14Автоматизация процессов и AI-агенты

Это квантованная версия Mistral Small 3.1 24B Instruct в формате GGUF. Исходную модель разработал mrfakename, а файлы GGUF подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, llama-cpp-python, LM Studio и другие поддерживаемые клиенты. Ключевая характеристика репозитория — наличие вариантов квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Точные сведения об архитектуре, размере контекста, поддерживаемых языках и модальностях в README не указаны, поэтому модель следует описывать как текстовую instruct-модель без дополнительных подтверждённых характеристик. Сильной стороной является возможность запуска в различных локальных средах с поддержкой CPU и GPU, включая серверные и OpenAI-совместимые интерфейсы некоторых клиентов. Ограничения зависят от выбранного уровня квантования и используемого программного обеспечения; более агрессивное квантование может влиять на качество. Лицензия в README не указана.

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

bigscience/mt0-xxl-mt — многоязычная модель семейства mT0 от BigScience, созданная дообучением mT5-XXL на смеси межъязыковых задач xP3. Это encoder-decoder-модель на архитектуре MT5 с 6,7 млрд параметров, предназначенная для выполнения инструкций на естественном языке в режиме zero-shot. Модель подходит для генерации ответов на запросы, сформулированные как инструкции: перевода, классификации тональности, подбора связанных поисковых запросов, объяснений и создания текстов. README указывает поддержку десятков языков; среди языков карточки перечислены, в частности, арабский, английский, испанский, французский, хинди, японский и корейский. Модель принимает текст и генерирует текст. Качество зависит от формулировки запроса: следует ясно обозначать границу входа и задавать нужный язык или формат ответа, а также добавлять достаточный контекст. Модель дообучена на 1,29 млрд токенов за 7000 шагов; веса представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

Nemotron-SEA-LION-v4.8-120B-A12B — инструктивная языковая модель AI Singapore для диалога и выполнения разнообразных текстовых задач с учётом языков и контекста Юго-Восточной Азии. Она дообучена на базе aisingapore/Nemotron-SEA-LION-v4.8-120B-A12B-Base с помощью SFT и онлайн-дистилляции по собственным ответам модели; архитектура сочетает Mamba2, Transformer и MoE. В метаданных указано 6,6 млрд параметров, контекст — до 262 144 токенов. Модель предназначена для ответов на вопросы, многоходового диалога, следования инструкциям, суммаризации, анализа тональности, перевода, рассуждений и других текстовых задач. Она рассчитана на английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Модель распространяется по лицензии MIT. Модель не выравнивалась по безопасности; её устойчивость к состязательным запросам не проверялась. Возможны галлюцинации, нерелевантные ответы и несогласованность, поэтому результаты следует проверять; для прикладного использования разработчикам рекомендуется самостоятельно настроить меры безопасности.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

MaziyarPanahi/openchat-3.5-0106-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием моделей mistralai/Mistral-7B-Instruct-v0.1 и openchat/openchat-3.5-0106 методом SLERP; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель рассчитана на диалоговое использование и генерацию ответов на текстовые запросы. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Язык обучения или преимущественные языки в предоставленных данных не обозначены.

OrakzaiX — это общественный GGUF-релиз модели семейства Llama, поддерживаемый и квантизированный Faisal Orakzai. В метаданных указан upstream-моделью meta-llama/Llama-3-8B-Instruct, однако README позиционирует OrakzaiX именно как квантизированный релиз, а не как самостоятельно обученную базовую модель. Модель предназначена для генерации текста и диалогов с локальным запуском через llama.cpp на пользовательском оборудовании, рабочих станциях, периферийных устройствах или частных серверах. Основные сценарии включают локальных ассистентов, офлайн-прототипирование, разработку инструментов, суммирование и извлечение технической информации, помощь с кодом и документацией, автоматизацию, планирование рабочих процессов и эксперименты с multi-agent orchestration. Доступны варианты GGUF с квантизацией от Q2_K до Q8_0; рекомендуемым начальным вариантом называется Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Файлы занимают примерно от 3,18 до 8,54 ГБ, но фактические требования выше из-за контекста, KV-кэша, буферов вычислений и накладных расходов runtime. Сильными сторонами являются локальное и потенциально более приватное выполнение, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. При этом README не содержит результатов бенчмарков, данных о точности в конкретных областях, надежности использования инструментов, производительности, поддерживаемых языках или размере контекстного окна. Не подтверждена также пригодность для автономных производственных сценариев; качество следует проверять на собственных задачах и выбранной квантизации. Лицензия указана как other, поэтому перед распространением или коммерческим использованием необходимо изучить условия лицензии OrakzaiX и upstream-модели.

Qwen1.5-110B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen при Alibaba Cloud; конкретные файлы квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых чат-приложений и сценарии, где требуется крупная языковая модель с различным балансом между качеством и потреблением памяти. Модель содержит 110 млрд параметров и работает в текстовой модальности. В метаданных указано английское языковое направление, однако сведения о полном наборе поддерживаемых языков, архитектуре, максимальном контексте и результатах специализированных тестов в README отсутствуют. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 118,17 до 23,63 ГБ: более высокие разрядности обычно обеспечивают лучшее качество, а низкие позволяют запускать модель при меньшем объёме RAM или VRAM, но заметно снижают качество. Сильной стороной является выбор из множества вариантов квантизации, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS, что позволяет адаптировать модель к доступному оборудованию. Ограничения связаны с очень большим размером даже у компактных вариантов и с неизбежной потерей качества при агрессивной квантизации; варианты IQ1 и некоторые Q2/Q3 имеют низкое или крайне низкое качество. Для работы следует использовать формат GGUF и соответствующий шаблон чата с маркерами system, user и assistant. Лицензия указана как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Qwen3-30B-A3B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях: диалоговых системах, подготовке и преобразовании текстов, ответах на вопросы и других задачах, поддерживаемых исходной instruct-моделью. README не содержит сведений о точной архитектуре, числе активируемых параметров, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно уточнить. Ключевое преимущество модели — 8-битное представление, ориентированное на более эффективный запуск на Apple Silicon по сравнению с полноразмерной версией. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-122B-A10B-abliterated-NVFP4 — производная версия модели wangzhang/Qwen3.5-122B-A10B-abliterated, основанной на Qwen/Qwen3.5-122B-A10B. Репозиторий поддерживается автором bjk110 и предназначен для локального запуска и сервинга текстовой генерации. Модель использует архитектуру Qwen3.5 MoE с 256 маршрутизируемыми экспертами, из которых активно 10 млрд параметров. Она поддерживает английский, корейский, китайский и японский языки. Контекстное окно может достигать 131 072 токенов при использовании указанной конфигурации vLLM. Это текстовая версия мультимодальной архитектуры: в данном чекпойнте присутствуют только текстовые веса, поэтому мультимодальные сценарии не поддерживаются. Основное изменение — квантизация NVFP4 с использованием compressed-tensors. Квантизированы маршрутизируемые и общие эксперты, а также self-attention; linear attention, эмбеддинги, нормализации и гейты сохранены в BF16. Размер уменьшен с 228 ГБ в BF16 до 71,2 ГБ, формат хранения — safetensors в двух шардах. Сильными сторонами являются существенное снижение требований к памяти и совместимость с NVFP4 MoE-ядром vLLM. Ограничения включают необходимость специального патча vLLM, зависимость от совместимого оборудования NVIDIA и отсутствие мультимодальных возможностей; заявленные показатели производительности проверены на NVIDIA DGX Spark и не гарантируются для других конфигураций. Модель распространяется по лицензии Apache-2.0.

Это GGUF-версия модели Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32, подготовленная mradermacher. Репозиторий содержит статические квантизации, включая варианты GGUF и мультимодальные дополнения mmproj; указан вариант F32. Базовая модель связана с nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32 и классифицирована как дообучение. Модель предназначена для генерации текста в диалоговом и инструкционном формате. По тегам карточки она ориентирована на рассуждения, математику, программирование и творческое письмо, включая создание и продолжение историй; метаданные также указывают мультиязычную поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. Репозиторий распространяет веса в формате GGUF, предназначенном для запуска совместимым ПО; доступные уровни квантизации различаются по размеру и могут влиять на качество. Карточка не приводит результатов сравнительных оценок или конкретных ограничений качества.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-5.4bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen, адаптированная для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимого MLX-VLM. Она поддерживает загрузку через mlx-lm и mlx-vlm; для мультимодального режима требуется mlx-vlm версии 0.6.16 или новее. Размер сборки составляет 22,2 GiB, поэтому она рассчитана примерно на машины с 32 ГБ памяти. В модели используется uniform vector quantization: экспертные тензоры квантизуются с геометрией d=2, K=1024, а неэкспертные тензоры представлены в 8-битном формате. В README не указаны размер контекстного окна и полный список поддерживаемых языков; в метаданных заявлен английский язык. Для запуска требуется runtime из файла model.py и загрузчик, поддерживающий параметр model_file. По сравнению с исходной bf16-версией модель существенно экономит память, сохраняя более высокое качество, чем 4-битная сборка: расхождение по KL составляет 28,1 millinats на токен, а совпадение top-1 предсказаний с bf16-версией — 92,22%. При этом runtime-производительность на этой конкретной сборке не измерялась, а качество немного ниже bf16-оригинала. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-FP8 — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная huginnfork на базе модели Qwen/Qwen3.8-27B. Она предназначена для задач, объединяющих работу с текстом и изображениями, включая генерацию и понимание ответов по визуально-текстовым запросам. Модель поддерживает speculative decoding и multi-token prediction, однако конкретный набор языков и максимальная длина контекста в предоставленных данных не указаны. Модель имеет плотную архитектуру семейства Qwen3.5 с гибридом линейного внимания и полного self-attention, vision tower и MTP-head. Квантование выполнено по схеме FP8_DYNAMIC W8A8: веса и активации MLP-проекций квантуются в FP8 E4M3, а активации обрабатываются динамически на уровне токенов. Пути self-attention, linear attention на базе SSM, vision tower, lm_head и MTP-head сохранены в формате bf16. Размер чекпойнта составляет около 35,8 GiB в восьми файлах против 51,7 GiB у версии bf16. Выборочная квантизация MLP снижает объём хранения и, согласно приведённым измерениям, обеспечивает меньшее расхождение с исходной bf16-моделью, чем официальный FP8-релиз, при сохранении сопоставимой perplexity. Ограничения включают необходимость совместимого программного и аппаратного стека для FP8 и отсутствие в предоставленном README подробностей о фактической производительности, поддерживаемых языках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-Q4_K_M-Vision-GGUF — это квантованная в формате GGUF версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем qaqab и предназначенная для запуска через llama.cpp и совместимые среды. Модель ориентирована на генерацию текста, диалоговые сценарии и обработку изображений при использовании vision-варианта, если соответствующая система поддерживается базовой моделью. Заявлены языки English и Chinese. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Файл Q4_K_M имеет размер около 16,8 ГБ; в него встроена MTP-голова для speculative decoding. В README указано, что отказное поведение было существенно снижено с помощью Heretic без дообучения и дополнительных данных, но не устранено полностью. При обычном прямом проходе MTP-блок не влияет на качество вывода, а speculative decoding может ускорить генерацию, хотя коэффициент принятия черновых токенов может немного снизиться. К сильным сторонам относятся большой контекст, поддержка мультимодального ввода, сохранённая MTP-структура и относительно компактное представление Q4_K_M. Ограничения включают зависимость от поддержки vision и MTP со стороны конкретного рантайма, а также возможное ухудшение качества квантования по сравнению с f16; для Q4_K_M в README приведена perplexity 7,1814 на wikitext-2. Модель распространяется по лицензии Apache-2.0.

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

Qwen3.8-Flash-Next-DERISKED-W4A16-AWQ — мультимодальная языковая модель для работы с изображениями и текстом, разработанная как производная от Qwen3.8-Flash-Next. Базовую модель выпустила команда Qwen, вариант DERISKED создан Blackfrost-AI, а данная версия дополнительно подвергнута квантизации AWQ авторами репозитория davetha. Модель предназначена для сценариев image-text-to-text и рассчитана на запуск крупной MoE-модели класса 80B на двух AMD MI210. Используется формат compressed-tensors W4A16: веса представлены в 4-битном виде, активации — в bfloat16, размер группы — 128. Квантизированы маршрутизируемые эксперты и полные attention-слои, тогда как ряд чувствительных компонентов, включая GDN-слои, общий эксперт, нормы, эмбеддинги, MTP-голову и PLE-таблицу, сохранены в bf16. Поддерживается контекст до 262 144 токенов, MTP speculative decoding и PLE n-gram table. На связке vLLM и двух MI210 заявлены производительность prefill около 2200 токенов в секунду и decoding около 40 токенов в секунду с MTP при трёх speculative tokens; без спекулятивного декодирования — около 10 токенов в секунду. Сильные стороны модели — длинный контекст, мультимодальность, эффективное int4-хранение и ускорение MoE-вычислений. Ограничения включают зависимость от специфической конфигурации vLLM/ROCm, медленный bandwidth-bound decoding из-за потоковой загрузки примерно 100 ГБ PLE-таблицы по PCIe и ограничение speculative decoding тремя токенами на указанном стеке. Модель является abliterated/uncensored: защитное поведение отказа удалено, поэтому ответственность за применение лежит на пользователе. Распространяется по Qwen Community License 1.0; применяются условия лицензии базовой модели.

Vontra/Qwen3.8-Flash-Next-MLX-6bit-MTP — это 6-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, подготовленная Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для Apple Silicon и реализована в архитектуре qwen4_exp: vision-language модель с разреженной Mixture-of-Experts архитектурой, поддерживающая работу с текстом и изображениями. Общий размер языковой части составляет 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно указаны 51 млрд параметров hashed bigram/trigram embeddings и 4 млрд параметров native MTP-блока. Модель использует Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, vision encoder и контекст до 262 144 токенов. Квантование выполнено методом uniform 6-bit affine с group size 32; мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Встроенный native MTP с одним draft-блоком предназначен для speculative decoding и может ускорять генерацию. Сильными сторонами являются большой контекст, поддержка изображений, высокая вычислительная эффективность за счёт MoE и native MTP, а также проверенная совместимость с MLX-VLM, MLX и oMLX. В тестах на Apple M3 Studio включение MTP увеличило скорость генерации с 20,65 до 25,94 токена в секунду. Ограничения включают значительный размер весов — около 158,08 ГБ, необходимость совместимого runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Языки и точные мультимодальные возможности в предоставленных данных не указаны. Модель распространяется по Qwen Community License 1.0. Токенизатор, chat template, vision processor, конфигурации генерации и native MTP унаследованы от исходной модели.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6 — это общественная MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия предназначена для запуска на Apple Silicon через совместимые MLX-VLM или oMLX. Модель относится к vision-language системам и поддерживает обработку текста и изображений; в поставку также входят исходные токенизатор, шаблон диалога, обработчик изображений и конфигурация генерации. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и хешированными bigram/trigram embeddings. Всего заявлено 125 млрд параметров языковой части, из которых активно 6 млрд, а таблицы n-грамм содержат 51 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий, 24 attention heads и 2 KV heads; размер скрытого состояния — 2560, настроенный контекст — до 262144 токенов. Веса представлены в формате MLX safetensors и занимают около 155,78 ГБ; используется смешанная 6-битная квантизация с отдельными модулями точностью 6/8 бит. Сильными сторонами являются поддержка мультимодальных сценариев, большой контекст, разреженная архитектура и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации примерно 19,5–23,1 токена в секунду в зависимости от режима. Ограничения включают очень большой объём весов, необходимость runtime с явной поддержкой qwen4_exp и отсутствие встроенной native MTP head в данной сборке. Приведённые показатели относятся к конкретной конфигурации и могут изменяться в зависимости от длины запроса, настроек генерации, версии runtime и доступной памяти. Это неофициальный релиз Qwen, а конверсия и упаковка Vontra. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

lmstudio-community/Qwen3-Next-80B-A3B-Instruct-MLX-5bit — это 5-битная квантованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Она относится к классу моделей генерации текста и предназначена для диалогов, следования инструкциям и других задач, где требуется создание текстового ответа. В основе лежит модель с заявленным размером 80B и обозначением A3B; README не содержит дополнительных сведений об архитектуре, фактическом числе активируемых параметров, максимальном контексте, поддерживаемых языках или мультимодальных возможностях. Ключевое преимущество этой версии — снижение требований к памяти по сравнению с полной точностью и адаптация к экосистеме Apple Silicon. Ограничения включают возможные потери качества из-за 5-битного квантования, зависимость производительности от оборудования Apple Silicon и стандартные риски генеративных моделей: ответы могут быть неточными, вредными или неуместными. Модель распространяется по лицензии Apache-2.0.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

bartowski/Qwen_Qwen3.5-4B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-4B, разработанной Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation WebUI. В метаданных указана задача image-text-to-text, однако подробные сведения о поддерживаемых модальностях, языках и максимальном контексте в README не приведены. Доступны варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 2,4 до 8,67 ГБ. В README варианты Q6 и Q5 описаны как обеспечивающие очень высокое или высокое качество, а Q4_K_M рекомендован как сбалансированный вариант для большинства сценариев. Более компактные варианты экономят оперативную память, но снижают качество; часть форматов предназначена для ARM- и AVX-совместимого CPU-инференса. Поддерживаются MTP-слои при использовании актуальной версии llama.cpp и параметра draft-mtp. Преимущество модели — возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения зависят от выбранного уровня квантизации и совместимости используемого инструмента; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Распространение указано по лицензии Apache-2.0.

duyntnet/SmolLM2-1.7B-imatrix-GGUF — набор GGUF-квантизаций компактной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для генерации текста и широкого спектра задач, включая следование инструкциям, работу со знаниями, рассуждения, математику, переписывание и суммаризацию текста, а instruct-версия также поддерживает function calling. GGUF-вариант ориентирован на локальный запуск через llama.cpp и совместимые приложения. Модель содержит 1,7 млрд параметров и работает в текстовой модальности; в карточке указан английский язык. Базовая SmolLM2-1.7B обучалась на 11 трлн токенов с использованием данных FineWeb-Edu, DCLM, The Stack, а также математических и программных наборов данных. Instruct-версия дополнительно обучалась методом supervised fine-tuning и оптимизировалась с помощью Direct Preference Optimization на базе UltraFeedback. К сильным сторонам относятся компактность, возможность запуска на устройстве и улучшения по сравнению с SmolLM1-1.7B в следовании инструкциям, знаниях, рассуждениях и математике. Размер контекста в README не указан, поэтому его характеристики и ограничения нельзя определить точнее. Для использования доступны llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. Лицензия обозначена как other, без дополнительных условий в README; точные права и ограничения следует уточнять в исходной карточке модели и лицензии базовой SmolLM2-1.7B.

Soulfate24/Spark-X2.5-4B-ASHQ1-Remix-GGUF — квантизированная версия Spark-X2.5-4B в формате GGUF, подготовленная в рамках набора ASHQ1-Remix. В README описана активационно-ориентированная квантизация с параметрами, основанными на измерениях; указана поддержка линии AutoRound с ограничениями насыщения. Модель предназначена для генерации текста и диалогового использования. Базовая Spark-X2.5-4B — компактная многоязычная языковая модель для диалога, кода, рассуждений, перевода и агентных задач. Метаданные указывают базовую модель XHToken/Spark-X2.5-4B и лицензию Apache-2.0. Данных о размере контекста и конкретных языках этой версии в предоставленных материалах нет.

T5Gemma 2 — семейство мультимодальных моделей Google на архитектуре encoder-decoder, созданных адаптацией предварительно обученных моделей Gemma 3. Этот репозиторий содержит предварительно обученную модель с энкодером и декодером по 4 млрд параметров; адаптация выполнена с использованием UL2. Модель принимает текст и изображения и генерирует текст, поддерживает более 140 языков и контекст до 128 тыс. токенов. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и задачи по визуальным документам. В карточке приведены результаты оценки на наборах COCOcap, DocVQA и InfoVQA, а также тестах длинного контекста. Google описывает семейство как исследовательское; веса доступны для использования по лицензии Gemma. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными формулировками и сложными открытыми задачами. Разработчикам следует самостоятельно оценивать безопасность и качество результатов.

TIGER-Lab_Qwen2.5-32B-Instruct-CFT-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct-CFT, разработанной TIGER-Lab и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста, выполнения инструкций, решения математических задач и рассуждений; исходная модель обучалась с использованием датасета TIGER-Lab/WebInstruct-CFT. В README заявлен английский язык. Модель основана на архитектуре Qwen2.5 с 32 миллиардами параметров и поддерживает текстовый сценарий использования через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 размером 34,82 ГБ до более компактных IQ3 и Q3 с размером около 14–18 ГБ. Более качественными и рекомендуемыми названы варианты Q6, Q5 и Q4, тогда как Q3 обеспечивают экономию памяти ценой снижения качества. Размер контекста, мультимодальные возможности и дополнительные языки в предоставленных данных не указаны. Преимуществами являются крупный размер модели, специализация исходной версии на инструкциях, математике и рассуждениях, а также широкий выбор квантизаций для различного объёма оперативной памяти. Ограничения связаны с потерями качества при агрессивной квантизации, значительными требованиями к памяти и отсутствием сведений о производительности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии Apache-2.0.

WarpQuant Qwen3.5-4B R16E4 Text — текстовая версия чекпойнта Qwen3.5-4B, опубликованная HarimxChoi. Это плотная авторегрессионная языковая модель с 3,4 млрд параметров для генерации текста и диалога; она принимает текст и выдаёт текст. Контекст модели составляет до 262 144 токенов, в карточке указаны английский и корейский языки. Веса проекций сжаты методом block-GPTQ до INT3 с преобразованием signed Hadamard и восстановлением выбранных столбцов BF16 по Output-Fisher; эмбеддинги токенов используют групповой INT4. Репозиторий хранит значения в формате safetensors, совместимом с BF16. В README приведены результаты для базовой модели и других форматов, но отдельные метрики именно для этой версии не приведены. Модель предназначена для текстовой генерации и диалога, в том числе с длинным контекстом. Это текстовый экспорт: возможности понимания изображений исходной мультимодальной модели сюда не входят. Для запуска README указывает на необходимость актуальной основной ветки Transformers. Лицензия — Apache-2.0.

Xenon1/Xenon-2 — диалоговая языковая модель, разработанная на основе Mistral-7B-v0.1 и дообученная на наборе Ultrafeedback с применением подходов из статьи Self-Rewarding Language Models. Модель использует плотную архитектуру Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалога. Она принимает сообщения в формате Mistral с маркерами [INST] и [/INST], а также поддерживает шаблон чата Transformers. В метаданных указан английский язык. Веса опубликованы в формате safetensors под лицензией Apache-2.0.

Yi-9B-200K — базовая языковая модель, разработанная компанией 01.AI и обученная с нуля. Это плотная авторегрессионная модель семейства Yi на архитектуре Transformer, совместимой с реализацией Llama; веса Llama в обучении не использовались. Модель содержит 8,6 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста, понимания языка, ответов на вопросы, чтения и рассуждений. Семейство Yi рассчитано прежде всего на английский и китайский языки и обучено на многоязычном корпусе. Эта карточка описывает базовую модель, а не диалоговую настройку, поэтому качество ответов в чате может требовать дополнительного дообучения или инструкции в промпте. Модель распространяется в формате safetensors по лицензии Apache 2.0. Длинный контекст и относительно компактный размер семейства позволяют применять её для анализа больших текстовых фрагментов, однако фактические требования к памяти и скорость зависят от оборудования и настроек инференса.