II.3Рефакторинг, миграция и модернизация

Lambent/Eidolon-v3.1-14B — объединённая разговорная языковая модель, созданная разработчиком Lambent с помощью mergekit из Lambent/Eidolon-v3-14B-wyrd и Lambent/Eidolon-v3-14B-abliterated. В README указано, что слияние линейное, с равными весами; работа также проверяла восстановление словаря до дополненного размера. Модель построена на архитектуре Qwen2, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Вариант abliterated описан в каталоге как модель с уменьшенным количеством отказов. README характеризует компонент wyrd как вмешательство, связанное с направлением креативности, однако не приводит количественной оценки качества. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Etheria-55b-v0.1 — плотная языковая модель семейства Llama, созданная слиянием моделей серии Etheria и моделей Yi-34B-200K. Автор объединил варианты VerA и VerB, затем применил метод DARE TIES; в метаданных указаны 55,1 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалогового общения; в README указана совместимость с форматами запросов ChatML и Alpaca. Для контекста заявлена теоретическая длина до 200 000 токенов, однако автор рекомендует начинать с 32 000 токенов, поскольку влияние слияния на работу с длинным контекстом не проверено. README сообщает о тестировании до 32 000 токенов через exl2 и приводит результаты нескольких оценок на Open LLM Leaderboard. Модель распространяется по лицензии Apache-2.0.

Experiment28T3q_Neuralsirkrishnaexperiment26Experiment24 — объединённая модель семейства Mistral от MaziyarPanahi, созданная на основе automerger/Experiment28T3q-7B и automerger/Neuralsirkrishnaexperiment26Experiment24-7B. Она предназначена для генерации текста и может использоваться для диалогов и ответов на текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

ehristoforu/frqwen2.5-from7b-it — объединённая автором модель семейства Qwen2.5, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная языковая модель для генерации текста и диалогов; доступны интерфейс чата и интерфейс вызова инструментов. В репозитории указаны 12,7 млрд параметров, контекст до 32 768 токенов и формат safetensors; модель рассчитана на работу через Transformers. Модель подходит для диалоговых приложений, генерации ответов и текста, а также сценариев, где требуется подключение инструментов. Базовая Qwen2.5-7B-Instruct предназначена также для генерации кода и структурированных ответов, однако README этой сборки не описывает её специфические улучшения или результаты оценки. Лицензия в предоставленных данных не указана.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash, разработанная BatiAI на основе официальных весов Z.ai. Это текстовая генеративная модель для локального запуска и сценариев on-device AI, включая диалоги, генерацию текста на английском, корейском и китайском языках, а также вызов инструментов. Модель использует архитектуру glm5next и разреженную MoE-конфигурацию: около 320 млрд параметров всего, из которых примерно 18 млрд активируются для каждого токена. В составе указаны 288 экспертов с выбором 8 экспертов на токен. Доступны варианты квантизации Q4_K_M, Q3_K_M, Q2_K, IQ3_XXS и IQ2_XXS; размер файлов составляет примерно от 76,6 до 175,7 GiB. Размер контекста в README не указан. Сильными сторонами являются возможность локального запуска, поддержка нескольких языков и проверенная генерация корейского текста и вызовов инструментов на всех заявленных уровнях квантизации. Ограничения связаны с тем, что архитектура пока требует специальной сборки llama.cpp с PR #27752 и не поддерживается стандартными сборками, Ollama и LM Studio. Вызовы инструментов выдаются в собственном XML-подобном формате, поэтому OpenAI-совместимый endpoint llama.cpp может возвращать пустое поле tool_calls; требуется самостоятельный разбор содержимого и запуск с параметром --jinja. Модель распространяется по лицензии MIT.

Это квантованная версия Granite 3.0 2B Instruct — инструкционно настроенной языковой модели, разработанной IBM под именем ibm-granite/granite-3.0-2b-instruct. Репозиторий MaziyarPanahi/granite-3.0-2b-instruct-GGUF содержит файлы модели в формате GGUF, предназначенные для локального запуска и совместимые с экосистемой llama.cpp. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии текстовой обработки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов, включая решения с GPU-ускорением. Из предоставленных данных не указаны точное устройство архитектуры, размер контекстного окна, поддерживаемые языки, результаты тестирования и конкретные ограничения качества. Лицензия в README также не указана, поэтому условия использования следует уточнять в исходном репозитории базовой модели IBM и в материалах данного репозитория.

Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

InternLM2.5-7B-Chat-GGUF — это квантизированная версия диалоговой языковой модели InternLM2.5-7B-Chat, разработанной командой InternLM и опубликованной в формате GGUF для использования с llama.cpp. Квантизацию выполнил bartowski с применением imatrix и различных схем квантования, рассчитанных на баланс между качеством ответов, размером файла и требованиями к памяти. Модель предназначена для текстовой генерации и диалоговых сценариев: ведения беседы, ответа на вопросы и выполнения инструкций. Для работы используется специальный шаблон prompt с ролями system, user и assistant. Доступны варианты от Q8 до Q2 и IQ-квантов; размеры файлов в README указаны примерно от 2,58 до 8,93 ГБ. Варианты с более высокой точностью обеспечивают лучшее качество, тогда как низкобитные версии подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. К сильным сторонам относятся широкий выбор уровней квантования, совместимость с llama.cpp и возможность локального запуска. Рекомендуемыми названы варианты Q4–Q6 и некоторые IQ4, тогда как Q3 и Q2 экономят память ценой снижения качества. README не содержит достоверных сведений о языках, размере контекста, точной архитектуре исходной модели и условиях лицензирования: указано лишь, что лицензия имеет тип other. Для использования необходимо учитывать требования выбранного GGUF-файла и поддерживать соответствующий формат prompt.

JiRackUltra_14b-i1-GGUF — GGUF-квантизированная версия модели CMSManhattan/JiRackUltra_14b, подготовленная mradermacher. Это текстовая генеративная модель с заявленным размером 14 млрд параметров, связанная с архитектурами Qwen2.5 и DeepSeek и ориентированная на эффективный запуск на CPU и устройствах с ограниченной памятью. В описании также указаны технологии ternary и BitNet 1.58bit. Модель предназначена для генерации текста, работы через web-интерфейсы, маршрутизации запросов, tool calling и робототехнических сценариев. Заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Поддержка изображений или других модальностей, а также размер контекстного окна в README не указаны. Репозиторий содержит варианты квантизации IQ и Q разных размеров: примерно от 3,7 до 12,2 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, причём для ряда вариантов автор рекомендует IQ-квантизации или i1-Q4_K_M. Ограничениями являются возможное снижение качества у низкобитных вариантов и отсутствие в README результатов бенчмарков, подробного описания обучения и точных характеристик контекста. Указанная лицензия — MIT.

johnpaulbin/johnpaulbin-e2-instruct-merge-fp16 — объединённая языковая модель, созданная разработчиком johnpaulbin с помощью LazyMergekit из johnpaulbin/llama3.1-8b-e2-epoch3-merged-fp16 и meta-llama/Meta-Llama-3.1-8B-Instruct. Используется архитектура LlamaForCausalLM с плотной архитектурой и примерно 7,5 млрд параметров; веса представлены в формате safetensors. Для объединения применён метод TIES с нормализацией и int8-маской. Модель предназначена для генерации текста по текстовым запросам. Указанное базовое семейство — Meta Llama 3.1, а длина контекста составляет 131 072 токена. В метаданных нет сведений о лицензии и поддерживаемых естественных языках, поэтому условия использования и языковой охват здесь не описаны.

KRONOS 8B V4 — языковая модель семейства Llama 3.1, созданная T145 слиянием нескольких моделей методом Model Stock. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли mukaj/Llama-3.1-Hawkish-8B и три версии KRONOS 8B V1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Модель предназначена для генерации текста и диалогов, в том числе для следования инструкциям. В README автор описывает её как эксперимент со слиянием моделей, направленный на улучшение результата IFEval; приведены результаты IFEval 78,89 и BBH 30,14. Поддерживается интерфейс вызова инструментов, однако качество и надёжность выполнения таких вызовов отдельно не подтверждены. Сведения о лицензии в предоставленных данных отсутствуют.

QuantFactory/Llama-3.1-Tulu-3-8B-SFT-GGUF — квантизированная версия модели Llama-3.1-Tulu-3-8B-SFT, созданная QuantFactory с использованием llama.cpp. Исходную модель разработал Allen Institute for AI (AI2) на базе meta-llama/Llama-3.1-8B и дообучил на смеси общедоступных, синтетических и созданных людьми наборов данных, включая allenai/tulu-3-sft-mixture. Модель предназначена прежде всего для следования инструкциям, диалоговых сценариев и генерации текста на английском языке. Она ориентирована на широкий круг задач, включая общение, MATH, GSM8K и IFEval. Это текстовая авторегрессионная модель; заявленная конфигурация содержит 8 миллиардов параметров. Для запуска предусмотрен формат GGUF, подходящий для экосистемы llama.cpp и совместимых средств инференса. В README рекомендуется ограничивать максимальную длину контекста до 8192 токенов при использовании vLLM, однако точное значение контекстного окна для этой карточки не указано. К сильным сторонам относятся улучшенное instruction following и возможность локального запуска благодаря квантизации и формату GGUF. Ограничения включают преимущественную ориентацию на английский язык, отсутствие мультимодальных возможностей в описании и ограниченную безопасность: модель может генерировать проблемные ответы, поскольку не оснащена полноценной фильтрацией ответов в процессе использования. Модель распространяется по Llama 3.1 Community License Agreement; условия исходной лицензии необходимо учитывать при применении квантизированной версии.

voidful опубликовал в формате Transformers разговорную языковую модель семейства Llama 3.2 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Метаданные указывают на генерацию текста, чат и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Заявленная длина контекста составляет 131 072 токена. Карточка README называет модель «Patched LLama 3.2 8B from LLaMA 3.2 11B Model» и упоминает изменение весов, но не объясняет метод и результат патчинга. Языки и лицензия в карточке не заполнены. Перед использованием следует учитывать, что README не описывает качество, обучающие данные, ограничения и условия лицензии; оценить их по представленным сведениям нельзя.

MeliodasPercival_01_YamExperiment26 — объединённая языковая модель семейства Mistral, созданная на основе automerger/MeliodasPercival_01-7B и automerger/YamExperiment26-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текстовый контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Meta-Llama-3-11.5B-Instruct — созданная mpasila экспериментальная инструкционная языковая модель, полученная слиянием слоёв Undi95/Meta-Llama-3-8B-Instruct-hf методом passthrough с помощью mergekit. Модель предназначена для диалогов и генерации текста в ответ на инструкции; архитектура — плотная Llama с причинным языковым моделированием, объём — около 11 млрд параметров, контекст — 8192 токена. Карточка указывает английский язык и формат safetensors. Модель может подойти для чат-ботов, ответов на вопросы, написания и продолжения текстов, а также генерации кода. Доступна по лицензии llama3. Карточка описывает способ слияния, но не приводит сравнительных оценок качества; как экспериментальная Frankenmerge, она может отвечать менее стабильно, чем исходная модель.

MFANN-Llama3.1-Abliterated-SLERP-V5 — объединённая методом SLERP языковая модель, созданная разработчиком netcat420 с помощью mergekit на основе mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated и netcat420/MFANNv0.25. Это плотная причинно-авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Модель принимает текст и выдаёт текст; заявленный размер контекста — 131 072 токена. Модель рассчитана на интерактивные беседы и генерацию ответов. Базовая модель описана в каталоге как диалоговая Llama 3.1 8B Instruct с ослабленными ограничениями на ответы. Файлы представлены в формате safetensors; метаданные указывают библиотеку Transformers. Лицензия в предоставленных данных не указана.

Midnight-Miqu-103B-v1.0 — языковая модель, созданная sophosympatheia методом passthrough-слияния слоёв Midnight-Miqu-70B-v1.0 с самой собой. Это плотная авторегрессионная модель семейства Llama на 102,9 млрд параметров, распространяемая в формате safetensors для Transformers; карточка заявляет контекст до 32 тыс. токенов и возможность диалогового использования. Модель предназначена для генерации текста и ответов в чате с длинным контекстом. В карточке приведены ссылки на отдельные сторонние квантованные сборки GGUF и EXL2; сам репозиторий содержит safetensors. Лицензия указана как other, поэтому условия использования следует сверить с файлами и сведениями лицензии репозитория. README отсылает к карточке базовой Midnight-Miqu-70B-v1.0 за подробностями применения, поэтому конкретные языки, качество и ограничения здесь не уточнены.

MaziyarPanahi/Mini_DPO_test02-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и Minirecord/Mini_DPO_test02. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов; репозиторий содержит веса в формате safetensors с точностью bfloat16. Модель принимает текст и генерирует текст. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о результатах оценок качества или специализированных ограничениях, поэтому качество ответов следует оценивать на задачах конкретного применения.

ressl/MiniMax-M3-uncensored-NVFP4 — это квантизированная версия модели ressl/MiniMax-M3-uncensored, основанной на MiniMax-M3. Релиз подготовлен ressl с использованием NVIDIA ModelOpt NVFP4 и предназначен для локального запуска генерации текста и мультимодальных запросов на системах с GPU NVIDIA Blackwell. Модель имеет MoE-архитектуру с 428 млрд параметров в общей сложности и примерно 23 млрд активных параметров на токен. В модели сохранены возможности рассуждения, разбора рассуждений, вызова инструментов и обработки изображений. В карточке указаны английский и немецкий языки. Экспортированный вариант занимает около 260,4 ГБ вместо 854,2 ГБ у BF16-версии: NVFP4 применён к весам маршрутизируемых экспертов, тогда как внимание, маршрутизатор, общие эксперты, эмбеддинги, языковая голова, vision tower и проекторы сохранены в BF16. Проверенный контекст составляет 32 768 токенов; на отдельном тесте модель корректно обработала запрос длиной 20 212 токенов. Модель ориентирована на локальное инференс-обслуживание, исследование безопасности, red teaming, анализ вредоносного ПО и эксплойтов, обнаружение угроз, автоматизацию через tool calls и мультимодальные сценарии. На четырёх NVIDIA RTX PRO 6000 Blackwell 96 ГБ с SGLang зафиксирована скорость около 88,5 токена в секунду для прогретого одиночного запроса, однако это не результат полного академического бенчмарка. Для запуска требуется конфигурация из четырёх GPU Blackwell и SGLang с указанными в README настройками; совместимость с vLLM не подтверждена. Модель намеренно uncensored и может отвечать на запросы, которые стандартная версия отклоняет, поэтому её применение требует соблюдения законодательства и мер безопасности. Лицензия указана как other.

Mistral-7B-Instruct-demi-merge-v0.3-7B — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из mistralai/Mistral-7B-v0.3 и mistralai/Mistral-7B-Instruct-v0.3. Модель сочетает базовую и инструктивную версии и предназначена для дальнейшего дообучения или объединения, а также для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия Apache-2.0. В метаданных и README не приведены отдельные сведения о языковом охвате и ограничениях качества.

akjindal53244/Mistral-7B-v0.1-Open-Platypus — инструкционно дообученная языковая модель на архитектуре Mistral, созданная на основе набора данных Open-Platypus. Она предназначена для генерации текста и ответов на инструкции и вопросы. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая ARC и HellaSwag. Модель распространяется в формате PyTorch по лицензии Apache-2.0. README не уточняет поддерживаемые языки и ограничения качества; результаты оценки не гарантируют точность ответов в конкретных сценариях.

Mistral_solar-slerp — диалоговая языковая модель, созданная автором Pierre-obi слиянием NousResearch/Nous-Hermes-2-SOLAR-10.7B и mistralai/Mistral-7B-Instruct-v0.2 методом slerp с помощью LazyMergekit. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; заявленная длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста. Публичные сведения не дают отдельных результатов оценки качества или подробных ограничений, поэтому производительность в конкретных сценариях следует проверять самостоятельно.

Notus-TheTop-7b-Slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit методом SLERP из argilla/notus-7b-v1 и MaziyarPanahi/TheTop-5x7B-Instruct-S3-v0.1. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ведение диалога; заявленная длина контекста составляет 32 768 токенов. Модель может использоваться для ответов на вопросы, инструктивного диалога и генерации текста. В карточке указаны формат Safetensors и тип точности bfloat16. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-mxfp4 — языковая модель для генерации текста, разработанная NVIDIA и преобразованная сообществом mlx-community в формат MLX на основе модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16. Конвертация выполнена с использованием mlx-lm 0.31.3; применяется квантование MXFP4 с размером группы 32. Модель предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm. Это гибридная Mixture-of-Experts-архитектура, объединяющая Mamba-2 и attention. Она содержит около 31 млрд параметров, из которых примерно 3 млрд активируются для каждого токена. В карточке заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Сильными сторонами являются разреженная активация параметров и оптимизированный для MLX формат, однако конкретные характеристики контекстного окна, результаты тестов, точность и ограничения квантования не указаны. Модель распространяется по лицензии OpenMDW 1.1.

NVIDIA-Nemotron-Nano-9B-v2-FP8-dynamic — это квантизированная FP8-версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, опубликованная Red Hat на базе модели NVIDIA. Модель предназначена для генерации и преобразования текста, включая работу через совместимый с OpenAI API сервер vLLM и развёртывание в Red Hat AI Inference Server или Red Hat OpenShift AI. Модель использует архитектуру NemotronHForCausalLM, принимает текст на вход и генерирует текст. Квантизация FP8 применяется к весам и активациям линейных операторов в блоках Transformer; это уменьшает число битов на параметр с 16 до 8 и примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Заявлены языки English, Spanish, French, German, Italian и Japanese. Размер исходной модели составляет 9B параметров; длина контекста в README не указана. Сильные стороны модели — сниженные требования к хранению и GPU-памяти при сохранении текстовых возможностей базовой модели, а также проверенная совместимость с vLLM 0.10.1.1, RHOAI 2.25 и RHAIIS 3.2.2. Ограничения включают отсутствие в README результатов бенчмарков и подробностей о качестве после квантизации, а также отсутствие поддержки иных модальностей: указаны только текстовые входы и выходы. Модель распространяется по NVIDIA Open Model License; лицензия обозначена как other, а её условия приведены по ссылке NVIDIA.

OpenBuddy Mistral 7B v13.1 — это языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Данный репозиторий подготовлен TheBloke и содержит квантизированные версии модели в формате GGUF, предназначенные для запуска через llama.cpp и совместимые приложения и библиотеки, включая LM Studio, KoboldCpp, text-generation-webui и llama-cpp-python. Модель имеет около 7 миллиардов параметров и ориентирована на задачи ассистирования, ответов на вопросы, рассуждений и многоязычного общения. В метаданных заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Информация о размере контекстного окна и мультимодальных возможностях не указана; модель предназначена для работы с текстом. К сильным сторонам относятся относительно компактный размер, широкий выбор уровней квантизации и возможность локального запуска на разнообразном оборудовании. Ограничения включают потенциальное снижение качества в квантизированных вариантах, отсутствие заявленных мультимодальных возможностей и неизвестный размер контекста. Модель распространяется по лицензии Apache 2.0.

pankajmathur выпустил Orca Mini v8.0 — дообученную диалоговую модель на архитектуре Llama 3.3 с 69,5 млрд параметров. Она предназначена для генерации текста и ответов в формате беседы; карточка показывает пример системного промпта для AI-ассистента. Модель работает через Transformers, веса представлены в формате Safetensors, а максимальный контекст составляет 131 072 токена. Модель подходит для создания диалоговых ассистентов, ответов на вопросы и других сценариев генерации текста. Базовая Llama 3.3 поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский; качество дообученной версии отдельно не описано. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или нежелательные ответы, поэтому перед применением требуется проверка безопасности для конкретного сценария. Лицензия — Llama 3.3.

bleysg/Qwen3.5-122B-A10B-int4-fp8-hybrid — гибридный квантованный чекпойнт модели Qwen3.5-122B-A10B, созданный на основе весов Intel/Qwen3.5-122B-A10B-int4-AutoRound и официального Qwen/Qwen3.5-122B-A10B-FP8. Модель предназначена для генерации текста и оптимизирована для запуска на NVIDIA DGX Spark с GB10, SM121 и 128 ГБ унифицированной памяти через vLLM, прежде всего для эффективного декодирования с ограниченной пропускной способностью памяти и поддержки speculative decoding. Маршрутизируемые эксперты и attention представлены в формате INT4 GPTQ/AutoRound, а 144 слоя общих экспертов, постоянно используемых при обработке каждого токена, преобразованы из BF16 в FP8 E4M3 с размером блока 128. Embeddings, norms и выходная голова сохранены от INT4-базы. По данным README, такая компоновка повышает скорость базового декодирования без speculative decoding на GB10 с 28,2 до 36,0 токена в секунду, или примерно на 28%, однако преимущество уменьшается при высокой доле принятых спекулятивных токенов. Для работы требуется специализированный проект qwen3.5-122B-A10B-on-spark, профиль dense и патч vLLM 0.23 с поддержкой смешанной схемы INT4/FP8; стандартная версия vLLM не умеет корректно загружать этот чекпойнт. В README не указаны языки, длина контекста и поддерживаемые модальности, поэтому модель следует рассматривать как текстовую. Производная работа наследует условия лицензирования исходной Qwen3.5-122B-A10B и Intel AutoRound; конкретные условия определяются лицензиями upstream-моделей.

Qwen3.5-2B-OptiQ-4bit — это локальная MLX-квантизация базовой модели Qwen/Qwen3.5-2B, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq. Модель предназначена для запуска генерации текста на устройствах Apple Silicon без PyTorch и облачной инфраструктуры; её можно использовать через mlx-lm, а для расширенных сценариев — через mlx-optiq. Модель имеет преимущественно 4-битную смешанную точность: 130 слоёв используют 4-bit, а 56 чувствительных слоёв — 8-bit; всего квантизировано 186 слоёв, размер группы — 64. Распределение точности выбрано по результатам анализа чувствительности на калибровочной выборке из шести доменов: проза, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. Размер на диске составляет около 1,4 ГБ. В комплект входит MTP-голова для спекулятивного декодирования, обеспечивающая примерно 1,4-кратное ускорение генерации при поддержке mlx-optiq. Модель подходит для общего текстового общения, рассуждений, следования инструкциям, генерации кода, вызова инструментов и локальных агентских рабочих процессов. По указанным тестам она показывает 58,9% на MMLU, 55,6% на GSM8K, 59,7% на IFEval, 77,0% на BFCL и 51,2% на HumanEval; средний Capability Score составляет 50,41. Сильными сторонами являются компактность, адаптация к Apple Silicon и улучшенные по сравнению с равномерной 4-битной квантизацией результаты в большинстве метрик, особенно в HumanEval и BFCL. Ограничения включают зависимость от MLX и экосистемы Apple Silicon, потери качества из-за квантизации и нулевой результат в заявленном тесте длинноконтекстного поиска HashHop. Размер контекста, поддерживаемые языки и точные характеристики исходной Qwen3.5-2B в README не указаны. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая fine-tune-модель на базе DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Она создана в рамках совместной работы DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием многоэтапного дообучения и слияния моделей, включая датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы. Лицензия — Apache-2.0. Модель предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, работы с историями и ролевыми сценариями. В README заявлены улучшенные общие интеллектуальные способности, reasoning и instruction following, а также vision, однако подробности о поддерживаемых визуальных форматах и способах запуска не приведены. Указаны английский и китайский языки. Размер базовой модели — 27B параметров; точный размер контекста в представленных данных не указан. Распространяются обычные и MTP-варианты в формате GGUF, включая квантизации NEO IMATRIX, ориентированные на запуск на пользовательском оборудовании. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуют использовать обычную квантизацию. По утверждению авторов, модель превосходит базовую Qwen3.6-27B в большинстве приведённых ими бенчмарков и сохраняет высокое качество на низких квантизациях, но эти результаты являются заявками из README и требуют независимой проверки. Ограничения включают отсутствие подробных сведений о контекстном окне, системных требованиях и фактическом качестве мультимодальной обработки; обозначение uncensored также указывает на возможное отсутствие стандартных ограничений на содержание.