I.5Создание и редактирование текста

Swift-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF — набор GGUF-квантов модели Swift-Qwen3.8-27B-Uncensored-MTP, разработанный ajgazin. В основе лежит Swift-Qwen3.8-27B от UkisAI — дообученная для эффективного рассуждения версия Qwen3.8-27B. Модель предназначена для генерации текста, диалогов и задач рассуждения, а также поддерживает обработку изображений и видео через отдельный vision projector. Вариант содержит MTP head для self-speculative decoding в llama.cpp и ориентирован на локальный запуск через llama.cpp; заявлена совместимость также с vLLM и SGLang для NVFP4-варианта. Доступны варианты от UD-Q2_K_XL размером 9,2 GiB до UD-Q8_K_XL размером 29,3 GiB, а также исходный BF16-файл размером 50,9 GiB. Разные уровни квантования позволяют запускать модель на GPU с 12, 16, 20, 24, 32 и 48 GiB памяти, при необходимости используя частичную выгрузку на CPU. Для заявленного запуска используется контекст до 32768 токенов. Более крупные варианты ближе к качеству BF16: для UD-Q8_K_XL совпадение наиболее вероятного токена составляет 98,8%, для UD-Q4_K_XL — 95,8%, а для UD-Q2_K_XL — 85,2%. Сильные стороны модели — широкий выбор размеров квантов, поддержка текста, изображений и видео, встроенный MTP head для ускорения генерации и сниженная склонность к отказам: в описании указано 15 отказов из 100 против 98 из 100 у исходной Swift-модели. Ограничения включают потерю точности при агрессивном квантовании, необходимость отдельного mmproj-BF16.gguf для мультимодального ввода и специальной сборки llama.cpp с поддержкой MTP для qwen35. Качество измерялось преимущественно на тесте wikitext-2, поэтому оно не полностью характеризует работу с кодом и диалогами. Модель распространяется по лицензии swift-open-license-1.0; в карточке также указана категория лицензии other.

Swift-Qwen3.8-27B-Uncensored-NVFP4-LocalHessian-ActivationHeadroom-NInfer — мультимодальная модель, разработанная на базе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16 и распространяемая в формате NInfer. Это квантованная сборка семейства Swift-Qwen3.8 с поддержкой текстовых и визуальных входов, рассуждений, агентских сценариев, вызова инструментов и длинного контекста. Модель позиционируется как версия с существенно сниженным количеством отказов, однако это также уменьшает встроенную фильтрацию безопасности. Архитектура использует смешанную точность: MLP-слои 0–55 работают в NVFP4 W4A4, остальные MLP-слои, проекции self-attention и linear-attention/GDN, эмбеддинги и LM head — в row-wise FP8, а GDN a/b — в BF16. Калибровка выполнена с помощью NVIDIA ModelOpt Local-Hessian, activation headroom и подбора FP8-масштабов. Размер модели — 27B параметров; точный набор поддерживаемых языков в README не указан. По заявленным измерениям на NVIDIA RTX PRO 6000 Blackwell сборка обеспечивает на 20,4–26,6% более высокую скорость декодирования, на 33,8–38,2% более высокую скорость prefill и на 15,1% меньшее потребление VRAM по сравнению с FP8. На фиксированной выборке MMLU-Pro она показала 80,36% точности при рекомендованном thinking budget 2048, но результаты зависят от оборудования и конфигурации. Рекомендуется использовать NInfer с NVIDIA Blackwell sm_120a; работа на RTX 5090 ожидается, но непосредственно автором не проверялась. Лицензия — Swift Open License 1.0.

Apertus-8B-Instruct-2509-GGUF — это набор квантизированных версий языковой модели Apertus-8B-Instruct-2509, разработанной swiss-ai и подготовленной пользователем bartowski в формате GGUF с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через LM Studio, llama.cpp и другие совместимые проекты. В набор входят варианты с точностью от BF16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 3,8 до 16,1 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Исходная модель обозначена как 8B, однако сведения об архитектуре, длине контекста, поддерживаемых языках и модальностях в представленном README не указаны; по имеющимся данным это текстовая модель. Сильная сторона набора — широкий выбор локальных конфигураций: варианты Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 подходят для большинства сценариев с ограниченными ресурсами. Более сильная квантизация может снизить качество генерации, особенно у вариантов Q3 и ниже. Формат prompt не указан, поэтому для корректного использования необходимо обратиться к странице исходной модели. Лицензия в README не указана.

SylReg-LM-7B-Instruct — англоязычная диалоговая модель генерации текста, разработанная на базе Qwen2 и дообученная из ryota-komatsu/SylReg-LM-7B. В метаданных указана архитектура Qwen2ForCausalLM с плотными весами на 7,1 млрд параметров; модель работает через Transformers и принимает контекст длиной до 131 072 токенов. Модель предназначена для диалогов и генерации текста на английском языке. В карточке также приведены сведения о статье и обучающих данных, включающих LibriSpeech, Libriheavy и Emilia-Large, однако назначение этих аудиоданных для данной текстовой модели не поясняется. Лицензия — CC BY-NC-SA 4.0, предусматривающая некоммерческое использование и распространение производных на тех же условиях.

Symbol-LLM-13B-Instruct — языковая модель семейства LLaMA, выпущенная авторами проекта Symbol-LLM. Модель содержит 12,9 млрд параметров и предназначена для генерации текста; название проекта указывает на исследование символьного интерфейса для больших языковых моделей, однако README не описывает конкретные сценарии или метод обучения версии Instruct. Модель принимает текст и генерирует текст, работает с контекстом до 2048 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В README сообщается о принятии работы на ACL 2024 и публикации моделей серии 7B и 13B.

SynthIA-7B-v1.3-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и migtissera/SynthIA-7B-v1.3 методом SLERP. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. В метаданных указана лицензия Apache-2.0. README описывает состав слияния, но не сообщает, какие языки и специализированные области модель поддерживает; качество и ограничения применения отдельно не охарактеризованы.

nlpguy/T3QM7 — это объединённая текстовая модель на архитектуре Mistral с 7,1 млрд параметров, созданная автором репозитория с помощью mergekit. В объединение вошли liminerity/M7-7b и chihoonlee10/T3Q-Mistral-Orca-Math-DPO; применён метод SLERP, веса сохранены в формате safetensors. Модель предназначена для генерации текста и диалога, включая задачи с математическим уклоном, унаследованным от одной из объединённых моделей. Она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий указывает лицензию Apache-2.0. README не приводит отдельной оценки качества объединённой модели.

T3Q-Platypus-MistralM7-7B — дообученная Chihoon Lee (chlee10) и компанией T3Q модель liminerity/M7-7b. Она предназначена для генерации текста и диалоговых сценариев. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В качестве обучающих данных указан набор Open-platypus-Commercial; язык модели — английский. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; характеристики базовой модели не следует считать отдельной оценкой этой версии.

T3Q-Platypus-SOLAR — языковая модель, разработанная Chihoon Lee и компанией T3Q и дообученная на базе upstage/SOLAR-10.7B-v1.0. Она предназначена для генерации текста и может использоваться в приложениях, которым требуется создавать связные текстовые ответы на запросы на английском языке. Модель имеет плотную архитектуру семейства Llama с 10,6 млрд параметров и принимает текст на вход, выдавая текст. Максимальная длина контекста составляет 4096 токенов. Модель дообучена на наборе данных Open-platypus-Commercial и распространяется под лицензией Apache-2.0.

panggi/t5-base-indonesian-summarization-cased — дообученная модель семейства T5 для суммаризации текстов на индонезийском языке. Разработчик дообучил T5 base summarization model на датасете IndoSum; в карточке также указана базовая модель huseinzol05/t5-base-bahasa-summarization-cased. Модель имеет архитектуру T5ForConditionalGeneration, около 123,8 млн параметров и контекст длиной до 1024 токенов; доступны веса PyTorch и Flax. Модель предназначена для создания краткого содержания индонезийских текстов, например новостных материалов из домена, представленного в IndoSum. Она принимает текст и генерирует текстовое резюме. Лицензия в предоставленных данных не указана.

vaibhavvanshu/t5-cnn-25k — дообученная модель T5-small для абстрактивного суммирования текста, созданная для приложения Text Summarizer. Она обучена на 25 тысячах примеров CNN/DailyMail и генерирует краткие пересказы документов и статей. Архитектура — T5 с 38,5 млн параметров; модель принимает текст длиной до 512 токенов и выдаёт текстовое резюме. Для длинных документов приложение применяет иерархическую обработку по фрагментам, но это функция приложения, а не отдельная возможность модели. Модель может пропускать важные сведения, ошибаться или галлюцинировать, поэтому результаты следует проверять. Распространяется по лицензии Apache-2.0.

T5Gemma 2 1B-1B — мультимодальная модель Google с открытыми весами, построенная на основе Gemma 3. Это предварительно обученная модель типа encoder-decoder: в репозитории представлены энкодер и декодер примерно по 1 млрд параметров, адаптированные с использованием UL2. Модель принимает текст и изображения и генерирует текст; заявлено окно контекста до 128 тысяч токенов и поддержка более 140 языков. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и анализ документов. Её сравнительно небольшой размер позволяет запускать её на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. В архитектуре используются общие эмбеддинги слов для энкодера и декодера, а также объединённые self-attention и cross-attention декодера. Модель может ошибаться в фактах, испытывать трудности со сложными или неоднозначными запросами и отражать предвзятость обучающих данных. Лицензия — Gemma; разработчики приложений отвечают за безопасность модели и её результатов.

google/t5gemma-s-s-ul2 — предобученная текстовая encoder-decoder-модель семейства T5Gemma от Google. Она создана на основе подхода Gemma: декодерную модель адаптировали к архитектуре encoder-decoder и обучили с использованием UL2. Вариант S-S использует малые энкодер и декодер; в репозитории указаны веса Safetensors и библиотека Transformers. Модель принимает текст и генерирует текст. Она предназначена для англоязычных задач генерации, в том числе ответов на вопросы, суммаризации и рассуждений; также энкодер можно применять в задачах классификации и понимания текста. Компактный размер семейства рассчитан на запуск на компьютерах и собственной облачной инфраструктуре, однако размер именно этого чекпойнта и длина контекста в доступных сведениях не приведены. Модель может ошибаться в фактах, испытывать трудности со сложными инструкциями, языковыми нюансами и контекстом, а результаты могут отражать смещения обучающих данных. Лицензия — Gemma; при использовании необходимо соблюдать политику допустимого использования Gemma.

Карточка модели jordimas/t5gemma-s-s-ul2 на Hugging Face совпадает с карточкой google/t5gemma-s-s-ul2, поэтому описание составлено по ней. google/t5gemma-s-s-ul2 — предобученная текстовая encoder-decoder-модель семейства T5Gemma от Google. Она создана на основе подхода Gemma: декодерную модель адаптировали к архитектуре encoder-decoder и обучили с использованием UL2. Вариант S-S использует малые энкодер и декодер; в репозитории указаны веса Safetensors и библиотека Transformers. Модель принимает текст и генерирует текст. Она предназначена для англоязычных задач генерации, в том числе ответов на вопросы, суммаризации и рассуждений; также энкодер можно применять в задачах классификации и понимания текста. Компактный размер семейства рассчитан на запуск на компьютерах и собственной облачной инфраструктуре, однако размер именно этого чекпойнта и длина контекста в доступных сведениях не приведены. Модель может ошибаться в фактах, испытывать трудности со сложными инструкциями, языковыми нюансами и контекстом, а результаты могут отражать смещения обучающих данных. Лицензия — Gemma; при использовании необходимо соблюдать политику допустимого использования Gemma.

Rocketknight1/t5-small-finetuned-xsum — дообученная версия T5-small для генерации кратких резюме в стиле датасета XSum. Модель построена на архитектуре T5 с примерно 38,5 млн параметров и принимает текст, выдавая текстовое резюме. В метаданных указан контекст до 512 токенов; веса представлены в формате TensorFlow. Карточка приводит метрики на наборе оценки: validation loss 2,3977 и ROUGE-1 28,7469, ROUGE-2 7,9005 и ROUGE-L 22,5917 для обучающего набора. Данные для дообучения названы неизвестными, а подробные сценарии применения и ограничения автор не описал. Лицензия Apache-2.0.

DesilDev/t5-small-summery — модель T5-small, дообученная на датасете XSum для краткого реферирования текстов. Она содержит 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает текст для генерации текстового резюме. Максимальная длина контекста составляет 512 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. Подходит для создания коротких резюме текстовых документов и новостных материалов. Карточка не содержит сведений о языках обучающих данных и результатах оценки качества, поэтому языковую поддержку и качество суммаризации за пределами описанного сценария установить нельзя.

Taiwan LLM 13B v2.0 base — языковая модель на архитектуре Llama, разработанная для традиционного китайского языка и языкового и культурного контекста Тайваня. В README указано, что модель дообучена методом supervised fine-tuning на текстовых источниках, связанных с Тайванем, и синтетических данных; метаданные определяют её как плотную causal language model примерно с 12,9 млрд параметров и контекстом 4096 токенов. В README также есть противоречивое указание размера: 7 млрд параметров. Модель предназначена для дальнейшей настройки под следование инструкциям и чат-приложения, а также для генерации и понимания текста на традиционном китайском. В карточке заявлены улучшенные результаты на бенчмарках, включая TC-Eval, и соответствие тайваньским языковым и культурным особенностям. Лицензия — Apache-2.0. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых инвестиционных решений; разработчики предоставляют её без гарантий, а точность ответов следует оценивать самостоятельно.

Taiwan LLM 8x7B-DPO — это языковая модель на архитектуре Mixtral MoE, разработанная для тайваньского контекста и традиционного китайского языка. Модель дообучена методом DPO на смеси общедоступных и синтетических наборов данных на основе yentinglin/Taiwan-LLM-MoE-alpha. В карточке указан размер 8×7B параметров, а метаданные каталога оценивают общее число параметров в 7,1 млрд. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговых приложений, генерации ответов и текста на традиционном китайском с учетом языковых и культурных особенностей Тайваня. Для версии DPO оценка TMMLUS+ в карточке пока не приведена. Использование регулируется лицензией Apache-2.0. Разработчики не рекомендуют применять модель для медицинской диагностики, юридических консультаций и финансовых решений; точность и пригодность ответов необходимо оценивать самостоятельно.

Это GGUF-квантизированная версия языковой модели ContextPilot-14B, разработанной Tencent и подготовленной пользователем bartowski с помощью llama.cpp. Модель относится к классу text-generation, поддерживает только текстовый ввод и содержит около 15 млрд параметров. Для квантизации использовался метод imatrix; доступны варианты от BF16 до низкобитных форматов Q2 и Q3, а также Q4–Q8. ContextPilot-14B предназначена для генерации текста, задач управления контекстом, использования инструментов и агентских сценариев. Для работы следует применять указанный шаблон промпта с ролями system, user и assistant. Спекулятивное декодирование не поддерживается. Сильная сторона семейства — широкий выбор квантизаций, позволяющий найти компромисс между качеством, размером файла и требованиями к памяти; автор рекомендует Q4_K_M как сбалансированный вариант. Более низкие квантизации экономят память, но снижают качество, а некоторые форматы отмечены как устаревшие или не рекомендуемые. Языки, размер контекстного окна и точные архитектурные характеристики в README не указаны. Распространение заявлено по лицензии other; конкретные условия лицензии в README не приведены.

Это GGUF-квантизированная версия языковой модели Hunyuan-4B-Instruct, разработанной Tencent и преобразованной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в инструкционном формате: она может применяться в диалоговых сценариях, для ответов на запросы пользователя и других задач text-generation. Модель содержит около 4 миллиардов параметров и доступна в вариантах от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 1,9 до 8,45 ГБ; варианты с более высокой точностью обычно обеспечивают лучшее качество, а варианты с меньшим размером требуют меньше оперативной памяти. Для работы предусмотрен специальный шаблон промпта Hunyuan. Модель можно запускать через LM Studio, llama.cpp и другие совместимые проекты. К сильным сторонам относятся широкий выбор квантований, возможность локального запуска и хороший баланс качества и размера у рекомендуемых вариантов Q4–Q6. Низкобитные версии экономят память, но могут заметно уступать по качеству более точным вариантам. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и лицензия, поэтому эти характеристики нельзя достоверно оценить.

Карточка модели cuong1692001/Terminal-complete_16k на Hugging Face совпадает с карточкой cuong1692001/Terminal-complete-16k, поэтому описание составлено по ней. Terminal-complete — дообученная модель Qwen/Qwen3-8B, созданная автором cuong1692001 на наборе данных qwen_data_complete. Это плотная авторегрессионная языковая модель на 7,6 млрд параметров для генерации текста и диалогового взаимодействия; контекст — до 40 960 токенов. Карточка не описывает конкретные сценарии применения, обучение или результаты оценки, поэтому возможности исходной Qwen3-8B не следует автоматически считать проверенными для этой версии. Модель распространяется в формате Safetensors; лицензия указана как other, её условия нужно уточнить перед использованием.

Карточка модели cuong1692001/Terminal-complete-8k на Hugging Face совпадает с карточкой cuong1692001/Terminal_complete_8k, поэтому описание составлено по ней. Terminal-complete8k — дообученная модель на 7,6 млрд параметров на базе Qwen/Qwen3-8B, созданная автором cuong1692001 с использованием набора данных qwen_data_complete. Это диалоговая языковая модель для генерации текста; метаданные указывают архитектуру Qwen3ForCausalLM и контекст до 40 960 токенов. Подходит для диалогов и других задач генерации текста на поддерживаемых базовой моделью языках. Карточка не описывает состав обучающих данных, результаты оценки или особые ограничения этой версии. Модель распространяется в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнить на странице репозитория.

BoldingBuilds выпустила Ternary Bonsai 2 27B Abliterated PTQ1_0 GGUF — текстовую чат-модель на основе релиза PrismML Ternary Bonsai 2 27B в формате GGUF. Веса изменены непосредственно на троичной решётке: редактированы 98 тензоров, остальные 753, включая эмбеддинги и выходной слой, побайтно совпадают с базовой версией. Модель предназначена для генерации ответов в диалогах и заметно реже отказывает, в том числе на запросы, которые исходная модель отклоняет. В опубликованном сравнении с исходной PTQ1_0-версией доля оценённых отказов на SimpleSafetyTests снизилась с 83% до 0%, а переотказов на безопасных запросах XSTest — с 1,6% до 0%. Результаты MMLU почти не изменились; на HumanEval наблюдалось снижение на 3 процентных пункта, статистически незначимое в данном тесте. Модель принимает текст и генерирует текст; мультимодальные компоненты не включены. Для запуска требуется форк llama.cpp от PrismML: стандартный llama.cpp не загружает PTQ1_0. Лицензия — Apache-2.0.

Ternary-Bonsai-2-27B-ConstantKV — дообученная модель tfwnotops на базе Ternary-Bonsai-2-27B-Crystal для генерации текста и диалогов с постоянным объёмом состояния внимания при длинном контексте. В основе — плотная гибридная архитектура семейства prism_hadamard_qwen35 с весами Qwen3.8-27B в троичном представлении; карточка описывает 16 слоёв полного внимания и механизм, сочетающий точное окно последних 1 024 токенов, свёрнутое состояние для дальнего контекста и хранилище точных ключей и значений размером до 8 192 токенов на KV-голову. Модель доступна в формате safetensors и использует библиотеку MLX. Модель рассчитана на локальную генерацию и ответы по длинным документам, а также на дополнение кода. По данным карточки, объём состояния внимания остаётся около 1,18 ГиБ независимо от длины контекста; заявлен запуск на Mac mini M4 с 16 ГБ памяти при контексте до 32 тыс. токенов. Карточка также указывает интерфейс вызова инструментов и повторное использование ранее вычисленных ответов через карту .mrail. Указанные измерения и возможности приведены авторами карточки; независимая проверка здесь не проводилась. Лицензия — Apache-2.0. Карточка не сообщает о специальной языковой или предметной специализации, поэтому модель следует считать общей текстовой моделью; конкретная поддержка языков отдельно не заявлена.

TERNARY-BONSAI-2-27B-DERISKED-GGUF — мультимодальная производная модель семейства TERNARY BONSAI, выпущенная Blackfrost AI на основе prism-ml/Ternary-Bonsai-2-27B-gguf и в конечном счёте Qwen/Qwen3.8-27B. Модель предназначена для диалоговых сценариев и работы с текстом, а при загрузке соответствующего мультимодального проектора также поддерживает входные изображения. Доступна через llama.cpp и совместимый с OpenAI API интерфейс. В релиз входят две языковые версии: высокоточная BF16 и компактная нативная тернарная PQ2_0 с групповой FP16-масштабизацией. Архитектура описана как гибридная causal language model на базе Qwen3.8, примерно на 27,36 млрд параметров и с 64 трансформерными блоками. Заявленное upstream-окно контекста составляет 262 144 токена, однако для данного релиза валидировано только 32 768 токенов; также проверена работа с одним параллельным потоком генерации. Для изображений используются отдельные проекторы BF16 или Q8_0, соответствующие языковой версии. BF16-вариант ориентирован на качество и точность, тогда как PQ2_0 существенно компактнее и демонстрирует более высокую наблюдаемую скорость декодирования в заявленной конфигурации. Обе версии прошли проверку связности оператором и HITL, а PQ2_0 указан как принятый компактный кандидат без зацикливания. При этом комплексные тесты программирования, безопасности, длинного контекста и мультимодальности ещё не опубликованы, оценка отказов находится в ожидании, а приведённые скорости не являются гарантией производительности. Процесс поведенческой модификации является проприетарным и не распространяется. Лицензия Apache-2.0 унаследована от непосредственной родительской модели.

Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели sabeshbesh/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели thoddnn/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели t-kawata/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Это MLX-представление Ternary Bonsai 27B, подготовленное inductiveML для запуска на компьютерах Apple Silicon. Модель основана на prism-ml/Ternary-Bonsai-27B-gguf и использует архитектуру Qwen3.5 с плотной авторегрессионной языковой моделью. Она предназначена для генерации текста и диалогов; чекпойнт содержит только языковую часть, без визуального модуля. Веса хранятся в упакованном троичном формате с плотностью 1,75 бита на вес и исполняются напрямую из упакованного хранилища с помощью Metal-ядер. README сообщает о побитном совпадении весов с исходным представлением, идентичном greedy-выводе и снижении используемой во время генерации памяти примерно на 22% относительно официальной 2-битной версии MLX. На M4 Max скорость генерации и обработки промпта ниже, чем у официального чекпойнта. Для запуска нужны Apple Silicon, не менее 16 ГБ объединённой памяти и mlx-lm версии 0.31.3 или новее; LM Studio не поддерживается, поскольку не исполняет код модели из репозитория. Лицензия — Apache-2.0.