I.14Автоматизация процессов и AI-агенты

Zero-Mistral-24B — текстовая большая языковая модель, разработанная ZeroAgency.ru и дообученная на базе mistralai/Mistral-Small-3.1-24B-Instruct-2503. В отличие от базовой модели, в этой версии удалены возможности работы с изображениями. Модель рассчитана прежде всего на русский и английский языки; для обучения использовались Big Russian Dataset и собственный набор данных Shkolkovo.online. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, математические задачи и рассуждения. По данным карточки, она сохраняет контекст до 128 тысяч токенов и имеет 23,4 млрд параметров. Доступны веса Safetensors и варианты GGUF, включая BF16, F16 и квантованные версии. Для запуска описана поддержка Transformers, vLLM и llama.cpp. Лицензия — MIT. Разработчики отмечают хорошие математические навыки и некоторые способности к рассуждению; результаты тестов приведены в карточке. Карточка не содержит подробных сведений о характерных ошибках или систематических ограничениях качества.

Aya 23 35B — мультиязычная instruction-tuned языковая модель, разработанная Cohere For AI. Представлена в формате GGUF для локального запуска, а квантование выполнено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, рассуждений и решения широкого спектра общих задач, особенно в мультиязычных сценариях. Модель имеет размер 35B параметров и поддерживает арабский, китайский, чешский, нидерландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский языки. Указанные данные не содержат информации о размере контекстного окна, конкретной архитектуре базовой модели или доступных модальностях, поэтому модель следует рассматривать как текстовую. Сильная сторона Aya 23 35B — качество работы с большим числом языков, включая языки, для которых у моделей сопоставимого размера часто меньше обучающих данных. Ограничения включают возможные неточности, вредные или неподходящие ответы, характерные для генеративных моделей, а также требования к вычислительным ресурсам, обусловленные размером 35B параметров; фактические требования зависят от выбранного варианта квантования и среды запуска. Модель распространяется по лицензии CC BY-NC 4.0, допускающей некоммерческое использование при соблюдении условий лицензии.

bigstral-12b-32k-8xMoE — диалоговая языковая модель на архитектуре Mixtral с разреженной смесью экспертов (MoE), опубликованная bartowski. Она создана с помощью ветки MoE инструмента mergekit на основе Mistral-7B-Instruct-v0.2 и содержит 12,3 млрд параметров. Модель предназначена для генерации текста и ответов в диалоговом формате; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. В репозитории представлены веса Safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

Карточка модели jinreiyu/cloned-Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Falcon-H1-1.5B-Instruct — многоязычная авторегрессионная языковая модель семейства Falcon-H1, разработанная командой TII. Это дообученная для следования инструкциям версия Falcon-H1-1.5B-Base с гибридной архитектурой, сочетающей Transformer-внимание и блоки SSM/Mamba. Модель содержит 1,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений, математических задач, программирования и работы с научными знаниями. В карточке заявлена поддержка 18 языков, включая арабский, английский, хинди, японский, китайский и русский. Для запуска указаны Transformers, vLLM и llama.cpp; метаданные репозитория отмечают формат safetensors. В README указана лицензия Falcon-LLM License, тогда как метаданные Hugging Face обозначают лицензию как other. Перед использованием следует проверить условия лицензии в репозитории. Как компактная модель на 1,1 млрд параметров, она может уступать более крупным моделям на сложных задачах; заявленные в карточке результаты бенчмарков не гарантируют качество на конкретных данных.

FuseChat-7B-VaRM — диалоговая языковая модель, разработанная Fanqi Wan и коллегами из Университета Сунь Ятсена. Она объединяет знания трёх чат-моделей: NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B. В каталоге Hugging Face указаны архитектура Mistral с плотной моделью MistralForCausalLM и 7,1 млрд параметров; для инференса используется библиотека Transformers. Модель предназначена для генерации ответов в диалоге и выполнения общих текстовых инструкций, включая написание текстов, ролевые сценарии, рассуждения, математику и программирование. В README сообщается о среднем результате 8,22 на MT-Bench. Модель принимает текст и генерирует текст; заявленный контекст — 8192 токена, язык карточки — английский. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может давать ошибочные или непроверенные ответы; в предоставленных материалах отдельные дополнительные ограничения не описаны.

Granite-3.0-1B-A400M-Base — базовая языковая модель IBM Granite Team для генерации текста и решения задач преобразования текста. Это декодерный трансформер с разреженной архитектурой Mixture of Experts (MoE), обученный с нуля в два этапа на разнообразных данных; в метаданных указано 163,6 млн параметров, контекст — 4096 токенов. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы и генерации продолжений. Она также может служить базой для дообучения под специализированные сценарии. Выпущена под лицензией Apache 2.0. Это базовая модель без safety alignment: возможны предвзятые или недостоверные ответы, а небольшие модели могут воспроизводить фрагменты обучающих данных.

cyankiwi/Llama-3.1-8B-Instruct-AWQ-INT4 — это квантизированная версия инструкционной языковой модели Llama 3.1 8B Instruct. Модель основана на Meta Llama 3.1 8B Instruct, разработанной Meta, а версия в формате AWQ INT4 опубликована пользователем cyankiwi. Модель предназначена для диалоговых задач и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, а также другие сценарии применения языковых моделей. Ключевая характеристика версии — 8 миллиардов параметров и 4-битное квантование AWQ, которое может снизить требования к памяти и упростить запуск на совместимом оборудовании по сравнению с полноразмерными весами. README не содержит сведений о поддерживаемых языках, длине контекста, точной архитектуре, модальностях и результатах бенчмарков. Преимуществами являются инструкционная настройка исходной модели и более компактное представление весов. Ограничения связаны с возможной потерей качества из-за квантования, зависимостью от совместимого программного обеспечения для AWQ и отсутствием в предоставленных данных подробностей о производительности. Использование регулируется Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая требования об атрибуции, указании «Built with Llama», соблюдении Acceptable Use Policy и дополнительные коммерческие ограничения.

bunnycore/Llama-3.1-8B-TitanFusion-v3 — объединённая автором bunnycore языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом Model Stock. В состав слияния вошли несколько моделей на базе Llama 3.1 8B, включая SuperNova Lite, Hermes 3 и варианты Aspire и Heart Stolen. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и может использоваться для диалогов и выполнения инструкций на естественном языке. В карточке приведены результаты Open LLM Leaderboard: среднее значение 24,02, IFEval — 48,10 и BBH — 32,07. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

Minotaur 13B Fixed — инструктивно дообученная языковая модель OpenAccess AI Collective на базе LLaMA-13B. Версия Fixed исправляет ошибку первого выпуска, из-за которой часть обучающих наборов не попала в обучение. Модель содержит 12,9 млрд параметров, использует плотную архитектуру LLaMA и принимает текстовые запросы; указанное окно контекста — 2048 токенов. Модель рассчитана на диалог в формате USER:/ASSISTANT: и генерирует текстовые ответы. Модель предназначена для следования инструкциям, ответов на вопросы, объяснений и задач по математике и естественным наукам, краткого пересказа, ролевого диалога, сочинения текстов и кода. Для дообучения использовались открытые наборы данных, включая WizardLM, Alpaca-CoT, GPTeacher и наборы по математике, физике, химии и биологии. Лицензия — Apache-2.0. Модель не проходила выравнивание с человеческими предпочтениями методами вроде RLHF и может выдавать проблемные ответы, особенно при соответствующих запросах. Это дообученная модель, поэтому применимы также ограничения базовой LLaMA-13B.

Monstral — слитая языковая модель на архитектуре Mistral, созданная объединением частей MarsupialAI/Monstral-123B-v2 и MidoriUnko/Behemoth-v2.2-Magnum-v4-123B методом passthrough с помощью mergekit. Модель содержит 169,3 млрд параметров и предназначена для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors. Лицензия не указана в предоставленных данных, поэтому условия использования по ним определить нельзя.

OpenHermes-13B — англоязычная модель генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-13b-hf. Она обучалась следовать инструкциям на наборе из примерно 242 тысяч примеров, преимущественно созданных GPT-4 и собранных из открытых датасетов; примеры охватывают общие запросы, ролевые диалоги и программирование. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст до 4096 токенов. Модель предназначена для ответов на инструкции, диалоговой генерации и помощи с задачами на естественном языке и кодом. В опубликованном сравнении OpenHermes немного улучшила результаты Nous-Hermes на GPT4All и BigBench, но показала снижение на AGIEval, поэтому качество зависит от типа задачи. Репозиторий распространяется по лицензии MIT.

mradermacher/Qwen3.5-9B-Brainwaves-GGUF — это набор квантованных GGUF-версий модели nightmedia/Qwen3.5-9B-Brainwaves, подготовленный пользователем mradermacher. Модель относится к семейству Qwen и предназначена для запуска через совместимые инструменты, поддерживающие формат GGUF. В описании заявлены диалоговые сценарии, генерация текста, программирование, математические и STEM-задачи, исследовательская работа, рассуждения, творческое и художественное письмо, а также ролевые сценарии. Размер базовой модели составляет около 9 млрд параметров. Указаны поддерживаемые языки English, Chinese, Japanese и Spanish. Доступны дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной обработки в README не раскрыты. Также в тегах заявлен контекст до 256k или 1M токенов, но точное значение для данной сборки не уточняется. Главное преимущество репозитория — широкий выбор вариантов квантования с размером примерно от 4 до 18,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для быстрого запуска рекомендованы Q4_K_S и Q4_K_M, а Q8_0 описан как вариант с лучшим качеством среди быстрых. Ограничения включают возможное снижение качества у низкобитных квантований и отсутствие в README результатов бенчмарков, детального описания архитектуры и подтверждённых характеристик мультимодальности. Лицензия модели — Apache 2.0.

TenyxChat-8x7B-v1 — диалоговая языковая модель от Tenyx, дообученная на базе Mixtral-8x7B-Instruct-v0.1 методом Direct Preference Optimization (DPO) на датасете UltraFeedback. Модель использует архитектуру Mixture of Experts Mixtral и предназначена для генерации ответов в формате чата. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель подходит для диалоговых помощников, написания и редактирования текстов, извлечения сведений, ответов на вопросы, а также задач по программированию и STEM. В опубликованном сравнении MT-Bench она получила средний балл 8,4; это результат конкретной оценки, а не гарантия качества в каждом сценарии. Модель принимает текст и генерирует текст. Карточка и метаданные указывают английский язык. Лицензия Apache 2.0 допускает коммерческое использование. Разработчики предупреждают, что модель не настраивали специально для соблюдения предпочтений безопасности людей; при провокационных запросах она может выдавать нежелательные ответы, испытывает трудности с рассуждениями и математикой и иногда отвечает многословно.

Mungert/gemma-3n-E2B-it-GGUF — инструкционная мультимодальная модель семейства Gemma 3n, разработанная Google DeepMind и представленная в формате GGUF. Репозиторий создан с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и поддерживает обработку текста, изображений, видео и аудио с генерацией текстовых ответов. Архитектура использует MatFormer и технологию выборочной активации параметров: фактический размер модели составляет около 6 млрд параметров, но за счёт выгрузки редко используемых матриц требования к памяти сопоставимы с традиционной моделью эффективного размера 2 млрд параметров. Поддерживаются изображения с разрешением 256×256, 512×512 или 768×768, аудио одного канала, кодируемое со скоростью 6,25 токена в секунду, и общий контекст до 32 тысяч токенов. Максимальная длина вывода также составляет до 32 тысяч токенов за вычетом токенов входного запроса. Модели Gemma 3n обучались на данных более чем для 140 разговорных языков. Модель подходит для ответов на вопросы, суммаризации документов, анализа изображений, аудио и видео, а также для других инструкционных и мультимодальных сценариев. К сильным сторонам относятся сочетание нескольких модальностей и сниженные требования к ресурсам; при этом в карточке не приведены результаты тестов, точные параметры GGUF-квантизации и подробные сведения о поддерживаемых языках. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия условий лицензии.

unsloth/gemma-3n-E4B-it-GGUF — GGUF-квантизированная инструкцияная версия модели Gemma 3n E4B, разработанной Google DeepMind и распространяемой в формате GGUF сообществом Unsloth. Модель относится к семейству лёгких открытых моделей Google, созданных на основе исследований и технологий Gemini, и предназначена для эффективного запуска на устройствах с ограниченными ресурсами. Модель рассчитана на диалоговые сценарии, ответы на вопросы, обработку запросов и суммаризацию документов. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако данная карточка указывает, что для этой версии в текущей конфигурации поддерживается только текст. Максимальная длина контекста составляет 32K токенов. Указан эффективный размер 4B параметров благодаря технологии выборочной активации параметров; точная архитектура GGUF-варианта и конкретный метод квантования в карточке не уточняются. Модель обучалась на данных более чем на 140 разговорных языках, но в метаданных этой версии явно указан английский язык. К сильным сторонам относятся низкие требования к ресурсам, возможность локального запуска и поддержка тонкой настройки через инструменты Unsloth. Ограничениями являются текстовый режим данной версии, зависимость характеристик от выбранного GGUF-кванта и отсутствие в карточке подробных данных о точном размере файла, производительности и качестве по языкам. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

KAI-7B-Instruct-v0.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 от Mistral AI и KAI-7B-Instruct-v0.1 от Keynote Technology методом SLERP. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в формате диалога. Модель принимает текст и выдаёт текст; заявленный размер контекста — до 32 768 токенов. В карточке не указаны целевые языки и специализированная предметная область. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

Luciole-23B-Instruct-1.1 — инструктивная чат-модель, созданная LINAGORA и консорциумом OpenLLM-France в рамках проекта OpenLLM France. Это дообученная и выровненная версия Luciole-23B-Base: обучение включало supervised fine-tuning на инструкциях и финальное выравнивание предпочтений методом DPO. Модель построена на плотной архитектуре Nemotron и содержит 31,5 млрд параметров; метаданные указывают контекст до 131 072 токенов, хотя при постобучении использовались последовательности длиной 16 384 токена. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках, включая вопросы по общим темам, RAG-сценарии, перевод, математику, науку и программирование. Она особенно хорошо показала себя в тестах на следование инструкциям; французские результаты примечательны, несмотря на то что постобучение проводилось преимущественно на английских данных. Это первая версия постобучения семейства Luciole, и разработка продолжается. Перед применением в производственных системах модель следует проверить на целевых задачах: она может галлюцинировать, а для специализированной генерации кода и решения математических задач потребуется дополнительное обучение. Разработчики также отмечают ограниченный объём запоминаемых фактов и рекомендуют использовать RAG; контекст, задействованный при постобучении, короче заявленного контекста базовой модели. Лицензия — Apache 2.0.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

miscii-14b-0218 — плотная языковая модель семейства Qwen2, созданная sthenno-com на основе Qwen2.5-14B-Instruct и объединения нескольких чекпойнтов методом Model Stock с помощью MergeKit. Модель содержит 14 млрд параметров, рассчитана на генерацию текста и чат; её родной контекст — до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации и продолжения текста, а также подготовки структурированных ответов. В тегах карточки перечислены китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки; при этом основной язык отдельно не выделен. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Это объединённая модель на основе нескольких промежуточных SFT-чекпойнтов, поэтому поведение и качество могут отличаться от исходной Qwen2.5-14B-Instruct. README не приводит результатов сравнительной оценки или конкретных гарантий качества.

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

Qwen2.5-0.5B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это компактная версия для генерации текста и диалоговых сценариев, включая чат-ботов, следование инструкциям, работу с кодом и математическими задачами, обработку структурированных данных и генерацию структурированных ответов, в том числе JSON. Модель является каузальной трансформерной языковой моделью с архитектурой на основе RoPE, SwiGLU и RMSNorm, с GQA: 14 головами для Q и 2 для KV. Она содержит около 0,49 млрд параметров, 24 слоя и поддерживает контекст до 32 768 токенов с генерацией до 8192 токенов. Доступна в GGUF-вариантах квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский и корейский; модальность — текстовая. Сильными сторонами являются малый размер, возможность локального запуска, улучшенное следование инструкциям, поддержка длинного контекста, многоязычность и работа со структурированным выводом. Ограничения связаны с компактным масштабом: по возможностям и качеству ответов модель может уступать более крупным моделям, а квантование способно снижать точность по сравнению с исходной версией. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B-GGUF — компактная языковая модель семейства Qwen3, разработанная Alibaba Cloud и представителями команды Qwen. Это causal language model с предварительным обучением и последующей настройкой, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, а также интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для Q и 8 для KV. Длина контекста заявлена до 32 768 токенов. Представлена в формате GGUF с квантизацией q8_0, что делает её подходящей для локального запуска через llama.cpp и Ollama при ограниченных вычислительных ресурсах. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Ключевая особенность Qwen3 — переключение между режимами thinking для сложных задач и рассуждений и non-thinking для более быстрых ответов и обычного диалога. Сильными сторонами являются компактность, поддержка многоязычных сценариев, диалоговые возможности, следование инструкциям и пригодность для локального использования. Ограничения включают небольшой по современным меркам размер, возможное снижение качества на сложных задачах по сравнению с более крупными моделями, а также необходимость подбора параметров генерации; README отдельно предупреждает о повторениях при жадном декодировании в thinking mode. Модель распространяется по лицензии Apache-2.0.

Ex0bit/Qwen3.5-122B-A10B-PRISM-PRO-GGUF — мультимодальная чат-модель Ex0bit в формате GGUF, созданная на основе Qwen/Qwen3.5-122B-A10B и предназначенная для запуска через llama.cpp. По описанию автора, PRISM-PRO изменяет механизмы отказа и предвзятости; доступная Dynamic-квантизация размером 57,7 ГБ использует разные уровни точности для блоков модели, а веса внимания сохранены в Q8_0. В репозитории также указан файл mmproj для обработки изображений и видео. Модель имеет гибридную MoE-архитектуру с 122 млрд параметров, из которых активны около 10 млрд на токен, и сочетает GatedDeltaNet с полным вниманием. Заявленное окно контекста — 262 144 токена; доступны режимы рассуждения и прямого ответа. Подходит для диалога, анализа изображений и видео, работы с длинным контекстом и рассуждений. В метаданных указана поддержка множества языков, включая русский, английский и китайский. Лицензия — Apache-2.0.

parmanu-lcs2/Qwen3-5B — текстовая генеративная модель на архитектуре Qwen3, полученная сокращением Qwen/Qwen3-8B методом SNIPER и последующим дообучением. После pruning в модели 5,406,974,208 параметров; метаданные каталога указывают 7,6 млрд. параметров и контекст до 40 960 токенов. Для восстановления использованы LoRA и 2 000 примеров SlimOrca в течение одной эпохи, после чего адаптеры объединены с весами модели. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Её можно применять для ответов на вопросы, составления текстов и помощи с кодом — в пределах возможностей базовой Qwen3. README сообщает длину контекста 1 024 токена во время дообучения; это не следует путать с заявленным в метаданных родным контекстом модели. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Описание не содержит результатов оценки качества после pruning, поэтому фактическую сохранность способностей базовой модели следует проверять на целевых задачах.

Qwen3.8-Flash-Next-DERISKED-MTPLX-Optimized-Speed — локальная модель генерации текста, разработанная на основе чекпойнта Blackfrost-AI/Qwen3.8-Flash-Next-DERISKED-BF16 и адаптированная для запуска через MTPLX на компьютерах Apple Silicon. Она предназначена для чата, генерации текста и кода, локального использования, а также контролируемых исследований безопасности и red-team-оценки. Модель не является безопасным production-чекпойнтом: её поведение и поверхность отказов были изменены на уровне весов для операторских исследований. Это квантованная версия архитектуры Qwen 3.8 Flash-Next с гибридной MoE-архитектурой GDN, Qwen Sparse Attention, памятью n-gram на 51 млрд параметров и встроенной головой multi-token prediction. Основная часть экспертов и плотных матриц представлена в 4-битном формате, отдельные компоненты внимания, маршрутизации, эмбеддинги и выходная голова — в 8-битном, а ряд рекуррентных и нормализующих параметров сохраняет 16-битную точность. Модель поддерживает текстовые и визуальные веса, имеет контекстное окно 262 144 токена, адаптивную глубину MTP до трёх токенов и требует около 115,3 ГБ для загрузки. Для работы рекомендуется Apple Silicon Mac с unified memory от 96 ГБ; таблица n-gram объёмом 32 ГБ по умолчанию размещается на SSD. Сильные стороны модели — оптимизация под Apple Silicon, сохранение повышенной точности в ключевых компонентах внимания и ускорение спекулятивной генерации: на M5 Max заявлены 66,2 токена в секунду против 46,6 токена в секунду в авторегрессионном режиме. Ограничения включают высокие требования к памяти и дисковому пространству, зависимость от MTPLX и отсутствие встроенной системы авторизации или полноценной границы безопасности. Рекомендуется использовать аутентифицированные точки доступа, отдельное журналирование запросов и инструментов, минимальные привилегии, песочницы и ручное подтверждение необратимых действий. Указана лицензия qwen-community-1.0 с типом license other; ссылка ведёт на файл LICENSE. Модель наследует статус и ограничения базового DERISKED-чекпойнта Blackfrost-AI.

manjunathshiva/Qwen3.8-Flash-Next-tq4a-tq2e-g64 — это сжатая версия модели Qwen/Qwen3.8-Flash-Next, подготовленная пользователем manjunathshiva с использованием TurboQuant и MLX. Модель предназначена для генерации текста и обработки изображений на компьютерах Apple Silicon, включая локальный запуск и обслуживание через turboquant-mlx-full. В README указана поддержка английского языка. Модель основана на архитектуре mixture-of-experts qwen4_exp: 180 млрд параметров, 512 маршрутизируемых экспертов с выбором top-10, 48 слоёв и гибридная схема Gated DeltaNet и Qwen Sparse Attention. Заявлен контекст до 262 тысяч токенов. Текстовая часть занимает около 52 GiB, vision tower в формате bf16 — ещё 0,84 GiB, поэтому модель поддерживает работу как с текстом, так и с изображениями. Сборка выполнена без калибровочного набора данных и использует 4-битное квантование TurboQuant. Ключевое преимущество — возможность запуска на Mac с 64 ГБ памяти; на M4 Max заявлена скорость декодирования около 16,2–17,9 токена в секунду при отключённом thinking. Режим --ngram-offload снижает требуемую GPU-память примерно с 52 до 34 GiB при идентичном выводе, но увеличивает задержку обработки длинных промптов. Ограничения включают высокие требования к памяти, зависимость от Apple Silicon и MLX, более низкую скорость по сравнению с некоторыми альтернативными сборками, а также неполную практическую проверку на Mac с 48 ГБ памяти. Лицензия указана как qwen-community-license-1.0.

Sonar Pro — языковая модель Perplexity, предназначенная для ответов на вопросы с поиском в интернете и опорой на найденные источники. По сравнению с базовым Sonar она рассчитана на более глубокий поиск по большему числу источников и синтез подробных ответов; поддерживает сложные многоэтапные запросы. Данных о размере, архитектуре, контекстном окне и лицензии в доступных источниках нет, поэтому эти характеристики не уточняются.