I.14Автоматизация процессов и AI-агенты

FriendliAI/Meta-Llama-3.1-8B-Instruct-fp8 — языковая instruction-tuned модель для генерации текста, диалогов и выполнения текстовых инструкций. Модель разработана FriendliAI на базе Meta-Llama-3.1-8B от Meta и предназначена для использования в сценариях, требующих компактной модели с пониженной точностью представления FP8. Модель работает с текстом и заявлена для семи языков: английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В карточке указаны размер 8B параметров и формат FP8, однако сведения об архитектуре, длине контекста, методе квантования и конкретных показателях качества отсутствуют. Сильной стороной является сочетание инструкционного обучения и относительно небольшого размера, что может упростить развертывание; ограничения и фактическая производительность зависят от инфраструктуры и прикладного сценария. Модель распространяется по лицензии Llama 3.1 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

Metis-0.4-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Metis-0.4 методом SLERP. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка описывает способ слияния, но не приводит специальных оценок качества или ограничений; возможности и результаты могут зависеть от языка запроса и конкретного сценария применения.

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

MOSS-VL-Instruct-0408 — мультимодальная модель OpenMOSS, дообученная методом supervised fine-tuning на основе MOSS-VL-Base-0408. Она предназначена для понимания изображений и видео, визуальных вопросов и ответов, распознавания текста и разбора документов, визуальных рассуждений и выполнения инструкций. Модель особенно ориентирована на анализ длинных видео: рассуждение о последовательности событий, распознавание действий и привязку событий ко времени. Архитектура использует перекрёстное внимание, раздельно обрабатывающее визуальное представление и языковое рассуждение; временные метки кадров помогают учитывать ход событий, а XRoPE кодирует время и пространственные координаты. Модель поддерживает чередование изображений и видео в одном потоке и диалоговый интерфейс. В карточке заявлены сильные результаты на задачах понимания видео, визуального восприятия и OCR. Модель описана как ранний этап развития семейства; математические и программные рассуждения, а также многошаговое поведение требуют дальнейшего улучшения. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.

Это конвертированная в формат MLX версия мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16; конверсию выполнил mlx-community с помощью mlx-vlm 0.4.5. Модель предназначена для диалогового анализа изображений и текста, а описание базовой модели также указывает на работу с аудио и видео, включая транскрибацию, OCR, суммаризацию и обработку документов. В репозитории указаны архитектура NemotronH_Nano_Omni_Reasoning_V3, формат safetensors и библиотека MLX. Метаданные связывают эту версию с базовой моделью NVIDIA и датасетом Nemotron-Image-Training-v3. Лицензия обозначена как other; подробные условия следует сверять с карточкой базовой модели. Размер параметров и длина контекста в предоставленных данных не указаны.

NeuralContext-7b-v2 — объединённая диалоговая модель на архитектуре Mistral, созданная Kukedlc с помощью LazyMergekit. Веса в формате safetensors; размер модели — 7,1 млрд параметров, нативная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов. В объединении использованы Mistral-7B-Instruct-v0.2, NousResearch/Yarn-Mistral-7b-128k и Kukedlc/MyModelsMerge-7b. Лицензия в предоставленных данных не указана.

Nova-1 Standard (Phase 3 SFT) — компактная авторегрессионная языковая модель Smilyai Labs с 1,27 млрд параметров, обученная с нуля и дообученная для следования инструкциям и многоходового диалога. Она предназначена для генерации текста, ответов в чате, а также задач с кодом и математикой. Модель использует плотную decoder-only архитектуру Nova1ForCausalLM, Mixture-of-Depths, Grouped-Query Attention, SwiGLU и RoPE. Есть собственный токенизатор на основе GPT-2 BPE с маркерами для кода, математики и ChatML. Модель работает через Transformers и выдаёт текст; заявлена поддержка английского языка. В README отмечено, что KV-кэш отключён, поэтому при генерации на каждом шаге передаётся полный контекст, что может снижать скорость вывода. Модель распространяется по лицензии Apache-2.0. README описывает обучение на веб-текстах, коде, математических данных и наборах инструкционных диалогов.

OLMo-2-1124-13B-Instruct-GGUF — квантизированная версия инструкционной языковой модели OLMo-2-1124-13B-Instruct, разработанной Allen Institute for AI и подготовленной в формате GGUF автором bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Она поддерживает английский язык и использует текстовую модальность. Модель содержит 13 миллиардов параметров. В репозитории доступны исходный вариант F16 и различные уровни квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизация выполнена с помощью llama.cpp и imatrix; для запуска следует использовать шаблон промпта с ролями system, user и assistant, указанный в README. Варианты Q6 и Q5 позиционируются как высококачественные, Q4_K_M — как сбалансированный вариант для большинства сценариев, а варианты с меньшим числом бит требуют меньше памяти, но могут заметнее терять качество. Сильной стороной модели является широкий выбор GGUF-квантизаций, включая варианты, оптимизированные для отдельных ARM-конфигураций и inference на CPU. Ограничения включают поддержку только английского языка, текстовый формат работы и неизбежное снижение качества у более агрессивно квантизированных вариантов. Размер контекста и другие архитектурные характеристики в предоставленных данных не указаны. Модель распространяется под лицензией Apache 2.0.

PollardWeights/Qwen2.5-14B-Instruct-Pollard — это квантизированная версия Qwen2.5-14B-Instruct, разработанная PollardWeights на основе модели Qwen от Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая объяснения, программирование, рассуждения и творческое продолжение текста. Поддерживает только текстовый ввод; заявленный язык — английский. Архитектура — qwen2, размер — около 14,8 млрд параметров, формат распространения — GGUF. Модель использует смешанную квантизацию PollardMix с распределением разрядности по чувствительности отдельных слоёв, а не равномерное сжатие. Доступны варианты от Q6_K размером около 12,12 ГБ до IQ1_KT размером 3,92 ГБ. Крупные варианты обеспечивают более высокое качество, а IQ4_XS позиционируется как оптимальный баланс размера и качества. IQ1_KT позволяет запускать модель при ограниченных ресурсах, но требует ik_llama.cpp и работает медленнее, чем некоторые более крупные варианты. Сильной стороной является существенное уменьшение размера по сравнению с F16-версией: примерно с 29,60 до 3,92 ГБ. По измерениям на WikiText-2 вариант Q6_K близок к F16 по perplexity, а PollardMix превосходит равномерную 1-битную квантизацию по указанным метрикам и сохраняет связность в чат-сценариях. Ограничения включают потери качества при агрессивной квантизации, зависимость IQ1_KT от ik_llama.cpp, отсутствие данных о других языках и неполные сведения о длине контекста. Лицензия — Apache-2.0.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.

SirSahOl подготовил конверсию инструктивной языковой модели Qwen2.5-7B-Instruct для запуска через MLX на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Репозиторий содержит веса в формате safetensors с точностью 16 бит; модель поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста, кода и структурированных ответов, а также для локальной оценки и сравнения результатов на совместимых устройствах Apple. Модель подходит для разработки и тестирования чат-приложений, помощи с кодом и ответов на инструкции. Для запуска требуется около 15,2 ГБ объединённой памяти по оценке README; фактическая скорость зависит от устройства и длины контекста. Конверсия оптимизирована для GPU Apple Silicon и не предназначена для обычного запуска в других средах MLX. Лицензия — Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Qwen3-30B-A3B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в инструкционно-ориентированных сценариях, включая локальные приложения и диалоговые системы, совместимые с MLX и LM Studio. В исходных данных указано, что базовая модель имеет обозначение 30B-A3B, однако дополнительные сведения об архитектуре, поддерживаемых языках, размере контекста, модальностях и производительности отсутствуют. Ключевое преимущество этой версии — уменьшенный размер представления благодаря 4-битному квантованию и оптимизация для Apple Silicon, что делает её подходящей для локального инференса при ограниченных ресурсах. При этом квантование может снижать точность по сравнению с исходной моделью, а фактические требования к памяти и качество зависят от конкретного устройства и сценария. Модель распространяется по лицензии Apache-2.0.

Azizbek8189/Qwen3.5-0.8B-GGUF — модель семейства Qwen3.5 на базе Qwen/Qwen3.5-0.8B, представленная в формате, подготовленном с использованием инструментов Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для прототипирования, исследовательских и разработческих задач, а также специализированного дообучения. Модель поддерживает текстовые и визуальные входы и может применяться для рассуждений, программирования, визуального понимания и агентских сценариев. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; заявлена длина контекста 262 144 токена. Указана поддержка 201 языка и диалекта. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся компактный размер, мультимодальность, большой контекст и эффективность гибридной архитектуры, что делает модель подходящей для локального запуска и экспериментов с ограниченными ресурсами. Ограничениями являются небольшой по современным меркам объём параметров и заявленная ориентация на прототипирование и исследования, поэтому качество на сложных задачах может уступать более крупным моделям. Лицензия — Apache-2.0.

Qwen3.5-122B-A10B-REAP-20-abliterated-GGUF — это набор GGUF-квантизаций разреженной MoE-модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-99B, которая, в свою очередь, получена из Qwen/Qwen3.5-122B-A10B. Из исходной модели удалено около 20% экспертов: сохранено 205 из 256, что уменьшило общий размер примерно со 122B до 99B параметров при сохранении бюджета около 10B активных параметров. Модель предназначена для генерации текста и запуска в совместимом программном обеспечении, включая llama.cpp. Архитектура — qwen35moe, модель содержит 48 слоёв и использует стандартное предсказание одного токена без Multi-Token Prediction (MTP/NextN). Доступны варианты GGUF с квантованием от Q6_K до IQ2_XS, с размером файлов примерно от 81,3 до 29,5 ГБ; квантизация выполнена с использованием importance-matrix на общем калибровочном наборе. Языки, размер контекстного окна и поддерживаемые модальности в README не указаны. Модель сохраняет основные возможности исходной архитектуры при меньшем числе экспертов, а вариант REAP-20 должен иметь больше ёмкости и больший размер, чем REAP-30. Дополнительно выполнена abliteratation — ортогонализация весов для снижения жёстких отказов на запросы для взрослого и творческого контента; защитные ограничения против самоповреждения и содействия реальным противоправным действиям, согласно описанию, сохранены. Это не универсальная модель для всех аудиторий, а крупная по требованиям к памяти система, причём качество зависит от выбранного уровня квантования. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — GGUF-квантизированная версия базовой модели Qwen/Qwen3.5-122B-A10B, опубликованная HauhauCS под идентификатором botp. Это мультимодальная MoE-модель для генерации и анализа текста, изображений и видео, включая диалоговые, аналитические, творческие и программные сценарии. Вариант Aggressive отличается минимизированными отказами и существенно ослабленными защитными ограничениями, поэтому требует особенно осторожного применения. Модель содержит 122 млрд параметров, из которых около 10 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общего эксперта на токен, 48 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полного softmax-внимания в соотношении 3:1. Заявлены контекст до 262 тысяч токенов, словарь размером 248 тысяч токенов и поддержка 201 языка. Для работы с изображениями требуется отдельный файл mmproj; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Доступны варианты квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ, однако README не приводит независимых оценок качества, производительности или фактического покрытия языков. Распространяется по лицензии Apache-2.0.

tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-gguf — GGUF-версия экспериментальной текстовой reasoning-модели, разработанной tvall43 на базе Qwen3.5 и дообученной с использованием дистилляции цепочек рассуждений, связанных с Claude-4.6 Opus. Модель предназначена для офлайн-аналитики, программирования, математики, планирования и других задач, где важны пошаговое решение и структурированный анализ. Она обучалась в формате с блоками <think> и итоговым ответом, однако README не гарантирует, что внутренние рассуждения всегда будут корректно или безопасно отображаться пользователю. В описании указана MoE-архитектура Qwen3.5 с конфигурацией 35B-A3B, тогда как идентификатор модели содержит 14B-A3B; точные характеристики GGUF-квантизации и итоговый размер файла не приведены. Указано текстовое назначение, языки Chinese, English и Korean, а также контекстное окно 8192 токена. Обучение выполнялось с SFT и LoRA при помощи Unsloth, с использованием отфильтрованных наборов данных по reasoning-дистилляции. Сильные стороны модели — структурированное пошаговое мышление и ориентация на сложные логические задачи. Ограничения включают риск галлюцинаций, экспериментальный статус, возможные проблемы совместимости и нестабильность инструментальной экосистемы; приведённые тесты также показывают неоднозначные результаты на генерации HTML-игры и сценарии с автомобилем. Модель распространяется по лицензии Apache-2.0.

Это конверсия в формат MLX модели DavidAU/Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored, выполненная с помощью mlx-vlm 0.6.10. Модель основана на плотной мультимодальной архитектуре Qwen3.5 с 40 млрд параметров и принимает текст и изображения, формируя текстовые ответы. Она предназначена для диалогов, рассуждений, программирования и творческого письма; в метаданных также заявлены режимы работы с изображениями. Модель поддерживает английский и китайский языки. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Подробности обучения и дополнительные ограничения в карточке этой конверсии не описаны; за характеристиками исходной модели следует обращаться к её карточке.

AtomicChat/Qwen3.8-27B-GGUF — это квантизированная версия модели Qwen3.8-27B, разработанной Qwen и подготовленной командой AtomicChat. Модель распространяется в формате GGUF для запуска через llama.cpp и предназначена для локального использования в диалоговых, текстовых и мультимодальных сценариях. Модель поддерживает работу с текстом и изображениями; для обработки изображений требуется отдельный vision-проектор mmproj-Qwen3.8-27B-F16.gguf или BF16-вариант. В репозитории доступны варианты квантизации размером примерно от 8,5 до 28,9 ГБ. AtomicChat использует собственную importance matrix и публикует измерения отклонения квантизированных версий от исходных весов. Указано наличие multi-token prediction head, совместимого с llama.cpp. Контекстная ёмкость в README явно не приведена, но указано потребление около 256 КБ attention cache на токен, что существенно влияет на требования к видеопамяти при длинном контексте. Сильные стороны модели — возможность локального запуска, широкий выбор уровней квантизации, поддержка изображений и оптимизация для llama.cpp. Качество зависит от выбранного файла: более компактные варианты требуют меньше памяти, но сильнее отклоняются от исходной модели и чаще ошибаются в предсказаниях. Для мультимодальной работы необходим дополнительный проектор, а для корректного анализа изображений рекомендуется не менее 1024 image tokens. Лицензия в предоставленных данных не указана.

Qwen3.8-27B-MXFP4-MagicQuant-GGUF — адаптированная GGUF-сборка модели Qwen3.8-27B, основанная на официально постобученном и квантованном чекпойнте AMD Qwen3.8-27B-Quark-AWQ-MXFP4. Репозиторий подготовлен magiccodingman и содержит исходную нативную MXFP4-версию, а также варианты дополнительного квантования по рецептам MagicQuant и Unsloth. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений благодаря поддержке vision projectors. Также заявлена поддержка MTP. Размер базовой модели составляет 27B параметров, формат распространения — GGUF, а нативная версия занимает около 18,89 ГБ. Доступны варианты с различными уровнями квантования; среди рекомендуемых по соотношению качества и размера указаны MQ-IQ4_XS_1, UD-Q4_K_S, UD-IQ4_XS и UD-Q3_K_XL. Для них заявлено близкое соответствие логитам нативной MXFP4-версии при уменьшении размера примерно на 20,7–31,05%. Сильной стороной сборки является наличие нескольких проверенных вариантов квантования, опубликованных tensor maps, результатов KLD-тестов и сведений об imatrix, что упрощает выбор между качеством и требованиями к памяти. Ограничения связаны с потерями качества при агрессивном квантовании: один вариант UD-IQ2_XXS был удалён после провала установленного порога качества, а остальные низкобитные варианты также могут заметно отличаться от нативной версии. Это адаптированный downward clone, а не новый полный поиск рецептов MagicQuant; языки и размер контекстного окна в README не указаны. Лицензия — Apache-2.0.

Qwen3-Next-80B-A3B-Instruct-8bit — языковая модель для генерации текста и диалогового взаимодействия, разработанная сообществом mlx-community на основе Qwen/Qwen3-Next-80B-A3B-Instruct от Qwen. Модель преобразована в формат MLX с использованием mlx-lm версии 0.27.1 и предназначена для запуска через библиотеку mlx-lm. Из README известно, что это 8-битная версия модели с архитектурой и характеристиками базовой модели Qwen3-Next-80B-A3B-Instruct, однако подробности об архитектуре, фактическом числе активных параметров, поддерживаемых языках, модальностях и размере контекста не указаны. Модель ориентирована на текстовую генерацию и может использоваться в чат-сценариях через встроенный chat template. Для работы требуется библиотека mlx-lm; пример запуска предполагает загрузку модели и токенизатора средствами Python. Ключевое преимущество модели — адаптация в MLX-формат и 8-битное представление, что делает её подходящей для экосистемы MLX и потенциально снижает требования к памяти по сравнению с полноточной версией. Ограничения, результаты оценивания и особенности качества в README не описаны. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; формат подходит для офлайн-сценариев на оборудовании с ограниченными ресурсами по сравнению с полной версией BF16. Модель относится к семейству Qwen3 и имеет заявленный размер 30B параметров, при этом в названии указано A3B. README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре, мультимодальности и результатах тестирования. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ; они различаются размером файлов, качеством и требованиями к оперативной памяти. Версии Q6 и Q5 отмечены как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а Q3 предназначены для систем с небольшим объёмом памяти, но дают более низкое качество. Сильными сторонами являются широкий выбор квантизаций, совместимость с популярными локальными инструментами и возможность подобрать баланс между качеством, скоростью и потреблением памяти. Ограничения включают неизбежное снижение качества в более компактных вариантах, значительный размер файлов даже после квантизации и отсутствие в README сведений о лицензии, языках и максимальном контексте. Для корректного диалога рекомендуется использовать указанный в README шаблон prompt format с секцией <think>.

XVERSE-65B — мультиязычная базовая большая языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Она построена на плотной архитектуре Decoder-only Transformer и предназначена для генерации текста, включая продолжение запросов и подготовку материалов для многошагового диалога, ответов на вопросы и суммаризации. В модели 65,6 млрд параметров, контекст — до 16 384 токенов; она использует BPE-токенизатор с словарём из 100 534 токенов и распространяется в формате PyTorch. Модель обучена на 2,6 трлн токенов из веб-страниц, кода, энциклопедий, книг, научных публикаций и других источников. README указывает поддержку 41 естественного языка, включая китайский, английский, русский и испанский; наибольшие доли обучающих данных приходятся на английский и китайский. Лицензия Apache-2.0. Это базовая, а не специально настроенная для диалога модель, поэтому качество следования инструкциям и ответы в формате ассистента не гарантируются; возможны ошибки и смещения, характерные для генеративных языковых моделей.

BgGPT-Gemma-3-27B-IT — мультимодальная модель для диалогов и выполнения инструкций, адаптированная для болгарского языка институтом INSAIT на базе Google Gemma 3 27B IT. Это плотная модель семейства Gemma 3 с поддержкой текста и изображений; карточка указывает эффективный контекст до 131 тыс. токенов. Модель рассчитана на многоходовые беседы, сложные инструкции и задачи, где нужно совместно учитывать текст и изображения. Модель подходит для вопросов и ответов на болгарском языке, диалоговых помощников и анализа изображений с текстовыми запросами. Также поддерживает английский язык. В README указаны данные предобучения до мая 2025 года и дообучения по инструкциям до октября 2025 года. Репозиторий содержит веса Safetensors и использует лицензию Gemma; применение регулируется её условиями.

Blur-7b-v1.21 — объединённая языковая модель на архитектуре Mistral, созданная liminerity с помощью LazyMergekit из udkai/Turdus, decruz07/kellemar-DPO-Orca-Distilled-7B-SLERP и liminerity/Blur-7b-v1.2. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В карточке приведены результаты оценивания на Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag; опубликованные показатели показывают результаты тестирования, но не гарантируют качество в конкретных сценариях. Модель распространяется в формате safetensors по лицензии Apache-2.0.

bartowski/cognitivecomputations_Qwen3-72B-Embiggened-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-72B-Embiggened, разработанной cognitivecomputations. Квантизации подготовлены bartowski с использованием llama.cpp версии b5627 и метода imatrix. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и совместимые проекты. В набор входят варианты от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 31,76 до 77,26 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые, тогда как некоторые варианты Q3 имеют заметно более низкое качество. Отдельные файлы используют legacy-форматы или особенности, оптимизированные для ARM, AVX или Apple silicon. README не содержит сведений о точной архитектуре исходной модели, поддерживаемых языках, максимальном контексте, мультимодальности, результатах тестирования или специализированных сценариях применения. Поэтому модель можно уверенно охарактеризовать как крупную текстовую LLM для локальной генерации текста, но её конкретные возможности следует уточнять в документации исходной cognitivecomputations/Qwen3-72B-Embiggened. Распространение указано по лицензии Apache-2.0.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

MaziyarPanahi/gemma-3-27b-it-GGUF — это набор квантованных файлов модели Gemma 3 27B Instruct в формате GGUF. Исходную модель разработала Google, а конвертацию и публикацию квантованных версий выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Репозиторий содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством ответов. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами; некоторые из них поддерживают ускорение на GPU и OpenAI-совместимый сервер. Ключевые сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Ограничения зависят от выбранного уровня квантования и используемого клиента. Лицензия для опубликованных файлов в предоставленных данных не указана.

ddalcu/gemma-4-e2b-it-4bit-textonly — облегчённая сборка Google Gemma 4 E2B, подготовленная в формате MLX на основе mlx-community/gemma-4-e2b-it-4bit. Это instruction-tuned языковая модель для генерации и обработки текста, предназначенная прежде всего для текстовых чат-приложений и локального запуска на устройствах Apple, включая сценарии on-device inference. Модель использует 4-битное affine-квантизование языкового backbone и эмбеддингов, полностью сохраняя веса и качество текстовой генерации исходной модели. Из неё удалены веса vision tower и audio tower: 1 415 из 2 511 тензоров. Размер загрузки сокращён примерно с 3,55 до 2,5 ГБ, то есть приблизительно на 30%. Модель поддерживает только взаимодействие «текст на входе — текст на выходе»; изображения и аудио она не обрабатывает. Сведения о размере контекста и языках в README не указаны. Основные преимущества — меньший размер по сравнению с мультимодальной сборкой и сохранение её текстовых возможностей при работе с MLX. Ограничение — отсутствие мультимодальных входов; для обработки изображений и аудио рекомендуется исходная модель mlx-community/gemma-4-e2b-it-4bit. README указывает лицензию Gemma. Для некоторых версий mlx-vlm при загрузке может потребоваться режим strict=False из-за отсутствующих весов vision-модуля.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.