I.5Создание и редактирование текста

Speechless Llama2 Hermes Orca Platypus WizardLM 13B — текстовая генеративная модель, созданная объединением NousResearch/Nous-Hermes-Llama2-13b, Open-Orca/OpenOrca-Platypus2-13B и WizardLM/WizardLM-13B-V1.2. Модель основана на архитектуре Llama 2 и содержит 12,9 млрд параметров; автор README рекомендует подавать инструкции в формате Alpaca. Контекст составляет 4096 токенов. Модель предназначена для генерации текста по инструкциям: диалоговых ответов, объяснений и помощи в решении задач. README приводит результаты lm-evaluation-harness на ARC, HellaSwag и MMLU. Доступны упоминания вариантов AWQ, GPTQ и GGUF для GPU- и CPU+GPU-инференса, тогда как файлы этого репозитория представлены в формате safetensors. Карточка указывает английский как целевой язык. Для базовой модели Llama 2 указана лицензия Meta; перед использованием весов необходимо принять условия лицензии. Как и другие LLM, модель может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением требуется проверка в целевом сценарии.

Speechless Mistral Dolphin Orca Platypus Samantha 7B — это языковая модель для генерации текста на основе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а данный репозиторий подготовлен TheBloke и содержит её квантизированные версии в формате GGUF. Модель обучалась на наборах данных Airoboros 2.2.1, OpenOrca, Open-Platypus и Samantha. Модель предназначена для текстового диалога, ответов на вопросы, следования инструкциям и других сценариев генерации текста. Также заявлена ориентация на задачи, связанные с кодом; в метаданных приведён результат pass@1 34,146% на HumanEval, однако он не подтверждён. Указан английский язык. Для взаимодействия используется шаблон ChatML с системным сообщением, запросом пользователя и ответом ассистента. GGUF-версии поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие, что делает модель пригодной для локального запуска на CPU и GPU. Доступны варианты квантизации от 2 до 8 бит: меньшая разрядность обычно снижает требования к памяти, но может ухудшать качество по сравнению с исходной моделью. Сведения о размере контекста и мультимодальных возможностях не указаны; модель предназначена для работы с текстом. Лицензия указана как Llama 2.

petals-team/StableBeluga2 — версия Stable Beluga 2 от Stability AI, подготовленная для использования в Petals. В основе лежит авторегрессионная языковая модель Llama 2 примерно на 70 млрд параметров, дообученная на внутреннем наборе данных в стиле Orca. Модель предназначена для диалогов и генерации текста по инструкциям на английском языке; заявленный контекст — 4096 токенов. В этой версии веса сохранены в bfloat16 и Safetensors, а также разделены на небольшие шарды по слоям, чтобы клиенты и серверы Petals загружали только нужные части модели. README отмечает небольшую потерю качества при переходе с float32; при использовании NF4-квантизации Petals возможна дополнительная потеря качества. Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому её следует проверять и настраивать под конкретное применение. Чекпойнт распространяется по лицензии STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT, ограничивающей коммерческое использование.

Stable LM 2 12B — базовая авторегрессионная языковая модель, разработанная Stability AI. Это плотный трансформер-декодер с 11,6 млрд параметров по метаданным (в README указано 12,1 млрд), обученный на 2 трлн токенов текстовых и программных данных. Модель предназначена для дальнейшей тонкой настройки под прикладные задачи. Модель генерирует продолжение текста по текстовому запросу. В архитектуре используются Rotary Position Embeddings, групповые запросы внимания и токенизатор Arcade100k; максимальная длина контекста — 4096 токенов. В обучающих данных есть несколько европейских языков и код, однако в README основным языком назван английский. Это базовая модель, поэтому её поведение и пригодность для конкретной задачи требуют оценки и, как правило, дообучения. Она может выдавать ненадёжный, небезопасный или нежелательный текст, включая отражение предвзятостей обучающих данных. Указана Stability AI Community License; условия коммерческого использования следует проверять по лицензии модели.

Это 4-битная конверсия модели StableLM 2 Zephyr 1.6B в формат MLX, опубликованная сообществом mlx-community. Модель основана на плотной архитектуре StableLM для авторегрессионной генерации текста и рассчитана на диалоговое использование. Число параметров — около 1,4 млрд, контекст — до 4096 токенов; в метаданных указан английский язык. Модель подходит для генерации ответов в чате, следования инструкциям и решения текстовых задач общего назначения. Она создана на основе stabilityai/stablelm-2-zephyr-1_6b и предназначена для запуска с библиотекой mlx-lm в экосистеме MLX. Репозиторий указывает лицензию other, поэтому условия использования следует сверять с лицензией исходной модели и файлами репозитория.

Это 16-битная версия StableLM-Tuned-Alpha, опубликованная vvsotnikov для ускорения работы и снижения потребления памяти. В README указано, что других изменений относительно исходной модели не вносилось. Модель на архитектуре GPT-NeoX предназначена для генерации текста в диалоговом формате и других сценариев работы с текстовыми запросами. Она рассчитана на английский язык и имеет контекстное окно 4096 токенов. В репозитории указаны веса PyTorch и 10 млрд параметров. Лицензия CC-BY-NC-SA-4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения.

StarFusion-alpha2 — объединённая языковая модель, созданная nlpguy с помощью mergekit методом Model Stock на основе openchat/openchat_3.5. В объединение также вошли FuseAI/OpenChat-3.5-7B-Mixtral, FuseAI/OpenChat-3.5-7B-Solar, berkeley-nest/Starling-LM-7B-alpha и rishiraj/smol-7b. Модель предназначена для генерации текста и диалогового общения. Она построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов. Доступна в формате safetensors; лицензия — Apache-2.0. Метаданные базовой модели указывают на диалоговые ответы на английском языке.

StarlingBeagle-dare-ties — языковая модель для генерации текста, созданная объединением моделей AI-Sweden-Models/tyr, mlabonne/NeuralBeagle14-7B и neph1/bellman-7b-mistral-instruct-v0.2 методом DARE-TIES с помощью LazyMergekit. В конфигурации также указана Nexusflow/Starling-LM-7B-beta как базовая модель слияния. Модель основана на архитектуре Mistral и содержит 7,1 млрд параметров; максимальная длина контекста — 32 768 токенов. Модель предназначена для генерации текста по запросу. В описании базовой NeuralBeagle14-7B отмечены диалоги, следование инструкциям, рассуждения и творческая генерация, однако отдельные возможности итогового слияния в README не оценены. Модель опубликована в формате safetensors. Лицензия в предоставленных данных не указана.

Starling-LM-11B-alpha — языковая модель семейства Mistral, разработанная Banghua Zhu, Evan Frick, Tianhao Wu, Hanlin Zhu и Jiantao Jiao. В карточке описана версия Starling-LM-alpha, дообученная с помощью RLHF/RLAIF на основе OpenChat 3.5; метаданные этого репозитория указывают архитектуру MistralForCausalLM и 10,6 млрд параметров. Модель предназначена для диалогов и генерации текста. В обучении использованы датасет предпочтений Nectar, reward model Starling-RM и метод оптимизации политики APA. Карточка приводит результаты бенчмарков MT-Bench, AlpacaEval и MMLU, но эти оценки не гарантируют качество в конкретных задачах. Модель поддерживает английский язык и контекст до 32 769 токенов; для диалога следует применять шаблон OpenChat 3.5. Иногда ответы могут быть чрезмерно подробными. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка README называется Starling-LM-7B-alpha и описывает 7B-вариант, тогда как идентификатор и метаданные относятся к 11B-модели; поэтому сведения о дообучении и инструкциях из README следует считать относящимися к семейству, а не подтверждёнными специфически для 11B-чекпойнта.

StarMonarch-7B — объединённая диалоговая модель на архитектуре Mistral, созданная Ppoyaa методом SLERP с помощью LazyMergekit на основе mlabonne/AlphaMonarch-7B и Nexusflow/Starling-LM-7B-beta. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и общения в формате чата; карточка приводит результаты оценки на задачах рассуждения и здравого смысла. Метаданные указывают контекст до 32 768 токенов, тогда как README заявляет окно контекста 8k. Модель принимает текст и генерирует текст, поддерживаемый язык — английский. Распространяется под лицензией Apache-2.0. Результаты бенчмарков в карточке не гарантируют качество для конкретного применения.

Jan Stealth v1.2 — диалоговая языковая модель семейства Mistral с плотной архитектурой и примерно 7,1 млрд параметров. Она предназначена для генерации текста в формате чата и может запускаться через Jan Desktop на macOS, Windows и Linux. Карточка указывает шаблон запросов ChatML; контекст модели составляет 32 768 токенов, а язык, отмеченный в метаданных, — английский. В карточке приведены результаты Open LLM Leaderboard, включая среднюю оценку 70,68, результат 66,38 на AI2 Reasoning Challenge и 86,14 на HellaSwag. Модель распространяется по лицензии Apache-2.0. Подробности обучения и практические ограничения в карточке не описаны.

Stockmark-2-100B-Instruct-beta — большая языковая модель Stockmark Inc. с архитектурой Llama, содержащая 95,1 млрд параметров и предназначенная для генерации текста и диалогового взаимодействия. Модель обучена с нуля на примерно 1,5 трлн токенов: около 60% данных на английском языке, 30% на японском и 10% кода. После предварительного обучения она прошла постобучение на синтетических японских данных для улучшения следования инструкциям; синтетические данные были созданы с помощью Qwen2.5-32B-Instruct. Модель ориентирована прежде всего на японский язык, также обучалась на английском языке и коде. Контекст составляет 4096 токенов. Выпуск обозначен как beta, поэтому модель всё ещё проходит оценку и доработку. Распространяется по лицензии MIT.

StopCarbon-10.7B-v5 — разговорная языковая модель семейства Llama от kekmodel, предназначенная для генерации текста в формате диалога. Модель имеет плотную архитектуру LlamaForCausalLM и около 10,6 млрд параметров; её контекст составляет 4096 токенов. Репозиторий содержит веса в формате Safetensors. Модель можно использовать для диалоговых ответов и генерации текста по запросу пользователя, оформляя вход по шаблону с ролями User и Assistant. В карточке указана лицензия CC BY-NC-SA 4.0, предусматривающая указание авторства, распространение производных работ на тех же условиях и ограничения на коммерческое использование.

MotherEarth/stormclimate — объединённая диалоговая языковая модель, созданная методом linear merge с помощью mergekit. В неё вошли MotherEarth/MotherEarth-Proverbs-1.0-8B, MotherEarth/storm_climate, mlabonne/Hermes-3-Llama-3.1-8B-lorablated и VAGOsolutions/Llama-3.1-SauerkrautLM-8b-Instruct; веса объединены в формате float16. Модель использует плотную архитектуру Llama с примерно 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоговом формате. Её можно применять для ведения бесед и создания ответов на текстовые запросы; карточка не описывает специализированные климатические функции, несмотря на название одного из компонентов. Среди включённых моделей есть диалоговые варианты Llama 3.1, в том числе модель VAGOsolutions для немецкого и английского языков. Лицензия в предоставленных данных не указана. Качество и поведение объединённой модели отдельно не описаны, поэтому характеристики исходных компонентов не следует считать гарантией для результата слияния.

Strangemerges_32Ogno-7B — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. Разработчик объединил Gille/StrangeMerges_32-7B-slerp и eren23/ogno-monarch-jaskier-merge-7b-OH-PREF-DPO-v2 методом DARE TIES; первой модели отведена роль базовой. Архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors, длина контекста — 32 768 токенов. Модель предназначена для генерации текста и диалогов. Карточка не приводит отдельной оценки качества или специализированных сценариев; базовая модель описана как англоязычная и дообученная методом DPO. Лицензия в предоставленных данных не указана.

StrangeMerges_47-7B-dare_ties — объединённая модель для генерации диалогового текста, созданная Gille с помощью LazyMergekit. В README указано слияние трёх моделей методом dare_ties: Gille/StrangeMerges_46-7B-dare_ties, AurelPx/Percival_01-7b-slerp и kaist-ai/mistral-orpo-beta; в конфигурации также указан kettleguts/zephyr-7b-beta_sparse05. Метаданные определяют архитектуру как плотную MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалоговой генерации текста и следования инструкциям. README приводит результаты оценки на AI2 Reasoning Challenge и HellaSwag, но не описывает отдельные специализированные сценарии или языковое покрытие. Модель опубликована в формате safetensors под лицензией Apache-2.0.

StripedHyena-Nous-7B — чат-модель для генерации текста, разработанная Together Research совместно с Nous Research. Она предназначена для диалога и ответов на инструкции в формате «Instruction/Response», а также для работы с длинными запросами. Модель содержит 8,7 млрд параметров и использует гибридную архитектуру StripedHyena: сгруппированное многоголовое внимание и управляемые свёртки в блоках Hyena. Она обучалась на последовательностях длиной до 32 тысяч токенов. Авторы заявляют о низкой задержке и высокой пропускной способности относительно Transformer-моделей сопоставимого размера. Модель работает с текстом и ориентирована на английский язык. Для запуска вне демонстрационной площадки требуются пользовательские ядра; при работе с длинными запросами или обучении компоненты poles и residues следует хранить в точности float32. Лицензия — Apache-2.0.

StructuredThinker — объединённая чат-модель на основе Qwen2.5-3B-Instruct, созданная автором Ahdoot с помощью mergekit и метода DARE TIES. В объединение вошли PowerInfer/SmallThinker-3B-Preview и prithivMLmods/QwQ-LCoT-3B-Instruct; в конфигурации указана точность bfloat16. Модель предназначена для генерации текста в диалоге и выполнения инструкций. Её можно использовать для получения структурированных ответов и пошаговых рассуждений. Архитектура — плотная Qwen2ForCausalLM, размер — 3,1 млрд параметров, контекст — до 32 768 токенов. Доступна для использования через библиотеку Transformers; интерфейс модели поддерживает чат и вызов инструментов. В карточке не указаны специальные домены и целевые языки модели. Базовая Qwen2.5-3B-Instruct описана как многоязычная, однако языки именно этой объединённой модели отдельно не перечислены. Лицензия в предоставленных данных не указана.

Карточка модели nota-ai/st-vicuna-v1.3-5.5b-ppl на Hugging Face совпадает с карточкой nota-ai/st-vicuna-v1.3-5.5b-taylor, поэтому описание составлено по ней. Nota AI разработала эту модель как укороченную версию Vicuna-v1.3 на базе LLaMA для более эффективной генерации текста. Веса получены удалением наименее значимых блоков Transformer с последующим лёгким дообучением методом LoRA; для pruning использован критерий Taylor+. Вариант уменьшен примерно с 7B до 5,5B параметров, а метаданные указывают 5,4B параметров и архитектуру LlamaForCausalLM. Модель предназначена для генерации текста и диалоговых сценариев на основе Vicuna. Максимальная длина контекста составляет 2048 токенов. Репозиторий содержит веса PyTorch и Safetensors. Лицензия ограничивает использование некоммерческими целями. Сокращение глубины предназначено для повышения эффективности по сравнению с исходной моделью, однако доступные сведения не приводят результатов бенчмарков для этой конкретной версии. Короткий контекст ограничивает работу с длинными документами; модель может наследовать ошибки и ограничения базовой Vicuna.

SuperGemma4-26B-Uncensored-Fast GGUF v2 — локальная GGUF-сборка, опубликованная пользователем Jiunsong и основанная на google/gemma-4-26B-A4B-it. Модель предназначена для диалогов, генерации текста, программирования и сценариев с использованием инструментов. Она позиционируется как менее ограниченная по сравнению со стандартными чат-релизами Gemma, но сохраняет естественное поведение в обычных запросах и не переводит их автоматически в режим программирования или вызова инструментов. Модель использует формат GGUF Q4_K_M и рассчитана на запуск через llama.cpp, в частности на компьютерах Apple Silicon. В README указано, что это MoE-модель, а экспорт выполнен из линии supergemma4-26b-uncensored-fast-v2 MLX. Заявлена поддержка английского и корейского языков; отдельно отмечена проверка на корейских запросах и задачах программирования. Размер контекста и точные параметры активной части модели не указаны. К сильным сторонам относятся компактный локальный формат, высокая скорость работы на Apple M4 Max, улучшения относительно исходной локальной базовой версии в коде, логике, браузерных сценариях и корейском языке, а также встроенный нейтральный шаблон чата, устраняющий известную проблему маршрутизации простых запросов в режим кода или вызова инструментов. Ограничения включают зависимость качества и скорости от оборудования и llama.cpp, квантизацию Q4_K_M и отсутствие в README подробных результатов независимого тестирования. Модель распространяется по лицензии Gemma.

vanillaOVO/supermario_v4 — объединённая предобученная языковая модель, созданная с помощью DARE и mergekit. Она предназначена для генерации текста и запускается через Transformers как MistralForCausalLM. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстным окном 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не описывает специализированные сценарии применения и не приводит результатов оценки качества.

Supertron2-1.7B — компактная языковая модель Surpem для генерации текста и диалогов, дообученная на Qwen/Qwen3-1.7B. Это плотный Transformer с 1,7 млрд параметров и контекстом до 40 960 токенов; модель предназначена для работы с инструкциями и поддерживает английский язык. Она подходит для пошаговых рассуждений, решения математических задач, написания и отладки кода, объяснения научных тем и повседневных диалогов. В README заявлена возможность локального запуска на потребительском оборудовании; для инференса указаны ориентиры от 5 ГБ видеопамяти в bfloat16 или от 3 ГБ при 4-битной квантизации. Модель распространяется по лицензии Apache 2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, вычислениях и коде; README не приводит независимых результатов оценки качества.

SUS-Chat-72B — диалоговая модель с инструкционной настройкой, опубликованная командой SUSTech. Она основана на плотной архитектуре Llama и предназначена для генерации текста в ответ на запросы и инструкции. Модель содержит 71 млрд параметров, использует формат PyTorch и имеет контекст длиной до 7168 токенов. Модель можно применять для чат-ботов, ответов на вопросы и генерации текста по инструкциям. Карточка README помечена как «not currently in use» и не содержит сведений о языковом охвате, данных обучения, оценках качества или ограничениях в использовании. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.

QuantFactory/suzume-llama-3-8B-multilingual-GGUF — это квантованная в формате GGUF версия мультиязычной модели lightblue/suzume-llama-3-8B-multilingual, созданная с помощью llama.cpp. Базой служит Meta-Llama-3-8B-Instruct от Meta; исходная модель дообучена примерно на 90 тысячах многоязычных диалогов. Модель предназначена для текстового общения, генерации ответов и инструкционного взаимодействия на нескольких языках. В обучении использовались датасеты с англоязычными, японскими и другими многоязычными диалогами, а оценивание проводилось на немецком, французском, японском, русском, китайском и английском языках. Ключевая особенность — расширенная поддержка неанглийских языков при сохранении возможностей Llama 3 для диалоговых задач. Размер модели — 8B параметров; архитектура унаследована от Llama 3. Модель является текстовой, поддержка изображений и других модальностей не заявлена. Размер контекста в карточке не указан. По MT-Bench модель получила оценки 7,26 на немецком, 7,66 на французском, 6,56 на японском, 8,19 на русском, 7,11 на китайском и 7,73 на английском. Эти результаты указывают на сильные мультиязычные диалоговые способности, однако русская оценка не включала задачи на код, рассуждения и математику, а подробности методики и обучающих данных должны быть дополнительно проверены. Для использования заявлена лицензия Llama 3; в карточке она обозначена как other и приведена ссылка на лицензию Meta-Llama-3-8B-Instruct. Ограничения лицензии, требования к применению и характеристики конкретных квантованных вариантов в README подробно не описаны.

Swallow-MoE-2x13B-v0.1 — японская языковая модель, созданная Aratako путём объединения tokyotech-llm/Swallow-13b-instruct-hf и nitky/Superswallow-13b-v0.2 в архитектуру Mixture of Experts с помощью mergekit. Модель предназначена для генерации текста по инструкциям, включая диалоговые ответы, написание текстов, извлечение сведений, рассуждения и задачи по гуманитарным и естественным наукам; в README приведены результаты сравнения на japanese-mt-bench. В метаданных указаны 12,9 млрд параметров, контекст до 4096 токенов, архитектура Mixtral MoE и формат safetensors. Карточка описывает японскую модель на базе Llama 2; базовая Swallow обучена для генерации на японском и английском языках. Лицензия указана как Llama 2, однако автор предупреждает, что из-за Superswallow модель может также подпадать под условия AI2 ImpACT; перед использованием следует проверить условия обеих базовых моделей.

Swallow-MS-7b-instruct-v0.1 — разговорная языковая модель TokyoTech-LLM, созданная на базе Mistral-7B-v0.1 с продолженным предобучением на данных, в основном добавлявших японский язык, и последующей настройкой на выполнение инструкций. Репозиторий также меняет chat template токенизатора базовой модели. Модель с архитектурой Mistral, 7,2 млрд параметров, рассчитана на генерацию текста в диалоговом формате; родной контекст — 4096 токенов. Модель предназначена для ответов на инструкции, написания и извлечения текста, ролевого диалога, рассуждений, задач STEM и гуманитарных вопросов на японском и английском языках. Расширенный японский словарь токенизатора позволяет эффективнее представлять японский текст. В README приведены результаты оценки на японском MT-Bench и других бенчмарках; показатели по математике сравнительно низкие. Модель разработана TokyoTech-LLM. Выпускается по лицензии Apache-2.0. Авторы предупреждают, что модель находится на ранней стадии разработки и не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Для instruct-варианта рекомендуется использовать указанный в карточке формат инструкций, иначе качество ответов может снизиться.

Swarm Sovereign 26B — мультимодальная модель для работы с текстом и изображениями, представленная в формате GGUF. Базовая модель разработана LiamVisionary, а данная квантизированная версия подготовлена mradermacher. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в приложениях, поддерживающих GGUF и vision-модели. Модель содержит около 26 миллиардов параметров, относится к семейству Gemma4 и поддерживает английский язык. README не указывает архитектуру на уровне компонентов, размер контекстного окна или точные возможности обработки изображений, однако подтверждает наличие vision-компонента и необходимость использования соответствующего mmproj-файла из статического репозитория. Доступны варианты квантизации i1-IQ1_S–i1-Q6_K размером примерно от 8,4 до 22,7 ГБ. Варианты различаются компромиссом между размером, скоростью и качеством; Q4_K_M отмечен как рекомендуемый, а Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Сильной стороной модели является выбор многочисленных GGUF-квантизаций, позволяющий запускать её на оборудовании с разным объёмом памяти, а также поддержка изображений. Ограничения включают потенциальное снижение качества у наиболее компактных вариантов и необходимость отдельного vision-проектора для мультимодальной работы. Модель распространяется по лицензии Apache-2.0.

Это квантизированная в формате NVFP4 GGUF версия Swift-Qwen3.8-27B-Genesis, подготовленная jan1k на основе весов LuffyTheFox/Swift-Qwen3.8-27B-Genesis-F16-GGUF. Модель использует архитектуру qwen35: 64 слоя, включая 48 Gated DeltaNet и 16 gated-attention, а также блок MTP для спекулятивного декодирования. Вариант v4 содержит 27 млрд параметров по названию модели и занимает около 15,76 ГБ; для совместимых мультимодальных запросов README показывает подключение отдельного mmproj-файла. Модель предназначена для генерации текста в формате чата и локального инференса через совместимые GGUF-рантаймы, включая llama.cpp и LM Studio. В README приведены настройки контекста до 131072 токенов и ускорение на видеокартах Blackwell; на Ampere используются резервные вычислительные ядра. Квантизация снижает требования к памяти, сохраняя большую часть весов в NVFP4 и отдельные чувствительные тензоры в F16 или F32. Репозиторий распространяется по лицензии Apache-2.0. Качество генерации после низкобитной квантизации может отличаться от исходного F16; для спекулятивного декодирования нужен runtime с FastMTP, а для вариантов без MTP оно не требуется. README описывает подключение проектора изображений, но отдельный vision-проектор в репозитории модели не заявлен.

Swift-Qwen3.8-27B-MIX_GGUF — набор смешанных GGUF-квантизаций модели ukisai/Swift-Qwen3.8-27b, подготовленный пользователем vmarcelo. Исходная модель является дообученной версией Qwen/Qwen3.8-27B — плотной мультимодальной модели на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также встроенной головой Multi-Token Prediction (MTP). Модель предназначена для работы с текстом и изображениями, включая мультимодальные сценарии, при наличии отдельного файла vision encoder mmproj-F16.gguf. Заявлена поддержка multilingual-задач; точный перечень языков не указан. В набор входят варианты IQ4-MIX размером 14,16 ГБ, IQ3-MIX размером 12,87 ГБ и IQ2-MIX размером 10,12 ГБ. Они рассчитаны на потребительские видеокарты с 16 ГБ VRAM, например AMD Radeon RX 9070 XT. IQ4 ориентирован на лучшее качество при умеренном контексте, IQ3 обеспечивает больший запас памяти и более длинный контекст, а IQ2 предназначен для максимального контекста примерно 131–262 тыс. токенов, но имеет экспериментальное качество и слабее подходит для программирования. Встроенная MTP-голова позволяет использовать speculative decoding без загрузки второго файла. Квантизация выполнена с помощью llama.cpp и importance matrix, при этом наиболее чувствительные компоненты сохраняются в более высокоточных форматах. Основные ограничения связаны с потерей качества из-за квантизации, особенно у IQ2; README прямо предупреждает о заметном ухудшении по сравнению с IQ3. Для обработки изображений требуется загрузка mmproj-файла, а фактическая поддерживаемая длина контекста зависит от выбранного варианта, настроек KV-кэша и доступной памяти. Модель распространяется по лицензии Swift Open License 1.0; в метаданных также указано общее обозначение лицензии other.

Swift-Qwen3.8-27b-oQ4e-fp16-mtp — плотная мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для задач, сочетающих работу с текстом и изображениями, включая генерацию и понимание текстово-визуального содержимого. Модель содержит текстовый backbone, vision encoder и один слой multi-token prediction (MTP). Текстовая часть включает 64 слоя со скрытым размером 5 120 и feed-forward-размером 17 408. В архитектуре используются 48 слоёв linear attention и 16 слоёв full attention; полный attention применяется на каждом четвёртом слое. Словарь содержит 248 320 токенов, заявленный предел контекста составляет 262 144 токена, однако фактическая доступная длина зависит от настроек runtime и объёма памяти. Vision encoder состоит из 27 слоёв со скрытым размером 1 152, 16 attention heads и обрабатывает изображения через патчи 16×16; визуальные признаки проецируются в пространство размерности 5 120. Чекпойнт использует смешанную квантизацию: по умолчанию применяются аффинные 4-битные веса с группами по 64 значения, а для 187 модулей заданы 5-битные переопределения. Часть параметров MTP, включая fusion matrix и веса нормализации, сохраняется в FP16, поэтому суффикс fp16 не означает полностью FP16-модель. Такой формат снижает требования к памяти по сравнению с полноразмерными весами, но точные характеристики производительности и совместимость зависят от MLX runtime и оборудования. Языки в README не указаны. Модель распространяется на условиях Swift Open License v1.0; преобразование не изменяет условия upstream-лицензии. Перед использованием необходимо ознакомиться с условиями лицензии и ограничениями доступа исходной модели.