II.3Рефакторинг, миграция и модернизация

CortexLM/Teutonic-1-Chat-Preview — экспериментальная чат-модель, разработанная CortexLM на базе текстовой линии Qwen3.5-9B. Модель предназначена для диалогов с поддержкой рассуждений, решения проверяемых математических и программных задач, работы с инструментами и обработки длинного контекста. Это предварительный снимок в процессе обучения, поэтому он не рекомендуется для production-сценариев. Модель использует гибридную архитектуру с linear attention и softmax attention, относится к классу примерно 9B параметров и поставляется с весами FP8 block-scaled e4m3 и конфигурацией квантования в стиле Qwen. Поддерживается текстовая модальность и английский язык. Заявлена вместимость контекста до 256 тысяч входных токенов благодаря RoPE с max_position_embeddings 262144. Шаблон чата поддерживает опциональные блоки рассуждений <think>…</think> и разметку вызова инструментов. Сильные стороны текущего checkpoint — извлечение информации из длинного контекста, включая внутренние тесты с одним ключевым фрагментом на 128k и 256k токенах, а также математические задачи и сохранение качества чата. Ограничения связаны с экспериментальным статусом: обучение продолжается, стабильная генерация ответов длиной 64k ещё не завершена, более сложные многоключевые и многошаговые задачи длинного контекста требуют доработки, а мультимодальность запланирована на будущее. Модель распространяется по лицензии Apache-2.0.

ThinkingCap-Qwen3.6-27B-int4-AutoRound-v1 — это общественная INT4-квантизация модели ThinkingCap-Qwen3.6-27B, исходно выпущенной BottleCap AI. Квантизацию выполнил Josef Prusa с использованием Intel AutoRound 0.14.0. Модель предназначена для локального инференса и агентных сценариев с длинным контекстом, включая работу с инструментами, вызов функций, оркестрацию задач и обслуживание через vLLM. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и использует текстовую генерацию. Применена весовая схема W4A16 с 4-битными весами, group size 128 и симметричной квантизацией; размер файлов составляет около 20 ГБ. Тензоры Multi-Token Prediction сохранены в BF16 для поддержки speculative decoding. В рекомендуемой конфигурации vLLM заявлен максимальный контекст до 262 144 токенов, а KV-кэш может дополнительно квантизироваться в 4-битный формат. Поддерживаются режимы рассуждений, tool calling и соответствующие парсеры Qwen3. Сильные стороны модели — уменьшенное потребление памяти, высокая скорость локального инференса, возможность размещения на видеокарте класса RTX 5090 с 32 ГБ памяти и сохранение поведения исходной ThinkingCap в задачах рассуждений и работы с инструментами. По локальным предварительным тестам модель показала результаты 81 в Hermes Agent, 90 в наборе tool-call-style, 89 в instructfollow-15, 73 в bugfind-15 и 65 в cli-40. Эти показатели получены на локальных тестах и не являются полной независимой оценкой качества. Ограничения связаны с потерями качества, возможными для 4-битной квантизации, а также с тем, что приведённые оценки и показатели производительности являются предварительными измерениями на одной конфигурации. Параметр group size 128 выбран в пользу скорости, меньшего потребления VRAM и запаса для длинного KV-кэша; меньшие группы могут повысить качество, но требуют больше памяти. Лицензия в представленном README не указана.

Yi-1.5-9B-Chat-GGUF — это квантизированная в формате GGUF языковая модель для генерации текста и диалогового взаимодействия. Исходную модель Yi-1.5-9B-Chat разработала компания 01-ai, а квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального использования, в том числе через LM Studio, и распространяется под лицензией Apache 2.0. Модель содержит около 9 миллиардов параметров и относится к семейству Yi, построенному на архитектуре, совместимой с Llama. Она была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров. Заявленные сценарии включают программирование, математику, рассуждения, выполнение инструкций, понимание языка, здравый смысл и чтение с пониманием. Для общения рекомендуется использовать шаблон ChatML. Сведения о поддерживаемых языках, размере контекста, точной архитектуре и других технических характеристиках в README не приведены. К сильным сторонам относятся универсальность, возможности диалогового режима и пригодность для запуска на локальном оборудовании благодаря квантизации. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов; результат зависит от выбранного варианта квантизации и настроек запуска.

Bagel 7B v0.1 — созданная jondurbin до DPO-этапа версия Mistral-7B, дообученная на смеси инструкционных диалогов и обычного текста. Модель предназначена для генерации ответов в чате и выполнения широкого круга инструкций: от вопросов и ответов, математики и программирования до SQL, пересказа и ролевых диалогов. В обучении использованы данные из нескольких источников, включая LMSYS Chat, Natural Instructions, MathInstruct, Apps и Cinematika. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает, что обучение остановили примерно на половине запланированного объёма из-за ограничений бюджета; в сравнении с вариантом после DPO эта SFT-версия менее склонна к правдивым ответам и может быть предпочтительнее для ролевых сценариев. Модель распространяется под лицензией Apache-2.0.

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

Bagel DPO 7B v0.1 — диалоговая языковая модель, разработанная jondurbin и дообученная методом прямой оптимизации предпочтений (DPO) на базе семейства Llama. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы. Для общения применяются форматы Vicuna, Llama 2, Alpaca и ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, математики, написания кода и творческих текстов. В описании приведены результаты оценок на наборах ARC, BoolQ, GSM8K, MMLU и других, а также MT-Bench. Обучающие данные включают англоязычные и многоязычные источники, в том числе Belebele; карточка не уточняет полный перечень поддерживаемых языков. Автор предупреждает, что эта DPO-версия может чаще отказывать в ответах, чем недистиллированная от предпочтений версия. В данных обучения присутствует токсичный контент. Модель распространяется под лицензией Apache-2.0.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

Карточка модели jinreiyu/cloned-Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Dans-PersonalityEngine-V1.1.0-12b-GGUF — квантизированная GGUF-версия языковой модели Dans-PersonalityEngine V1.1.0 с 12 млрд параметров. Исходную модель разработала PocketDoc, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, работы с кодом, математикой, логикой, химией, биологией, климатическими и операционными сценариями, а также для задач с инструментами и функциями. Указан английский язык; поддерживается текстовая модальность и формат диалоговых сообщений ChatML. Модель дообучалась на наборах данных для ассистентских диалогов, персонажей, прозы, программирования, математических и логических задач, научных тем, следования инструкциям, вызова инструментов и работы с командами оболочки. В репозитории доступны варианты от F16 до различных уровней квантования Q4–Q8; это позволяет выбирать между качеством генерации и требованиями к памяти. README не содержит сведений об архитектуре базовой модели, размере контекстного окна, подтвержденных результатах оценки или точных ограничениях применения. Модель выпускается по лицензии Apache-2.0. К основным ограничениям относятся отсутствие заявленных количественных бенчмарков, неполная информация о поддерживаемых языках и контекстной длине, а также возможное снижение качества при использовании более сильного квантования. Для запуска рекомендуется совместимое программное обеспечение, например llama.cpp или LM Studio.

Карточка модели bcoding/deepseek-R1-0528-Qwen3-8b-llvm-sft-trained-16bit-epoch-2-merged на Hugging Face совпадает с карточкой bcoding/deepseek-R1-0528-Qwen3-8b-base-16-llvm-sft-trained-16bit-epoch-2-merged, поэтому описание составлено по ней. Модель bcoding — дообученная версия unsloth/DeepSeek-R1-0528-Qwen3-8B на архитектуре Qwen3 с причинным языковым моделированием. Она предназначена для диалогов и генерации текста; каталог также указывает интерфейс вызова инструментов. Размер модели — 7,6 млрд параметров, контекст — до 131 072 токенов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель может применяться для диалоговых ответов, рассуждений, решения задач по математике и логике, а также помощи с программированием — эти сценарии указаны для базовой модели в описании каталога. Поддерживаемый язык карточки — английский. Репозиторий распространяется в формате Safetensors по лицензии Apache 2.0.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.

L3.1-Moe-4x8B-v0.1 — языковая модель с архитектурой Mixture of Experts, собранная разработчиком moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1, предназначенные для диалогов, творческого письма, работы с кодом и математикой. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; файлы опубликованы в формате safetensors. Для работы используется библиотека Transformers. Модель предназначена для генерации текста и диалогового общения, включая ролевые сценарии, а также для задач с кодом и математикой. В README приведены результаты оценки на Open LLM Leaderboard, в том числе средняя оценка 19,15 и результат IFEval 43,47. Модель распространяется по лицензии Llama 3.1; следует соблюдать её условия.

Llamaverse-3.1-8B-Instruct — плотная языковая модель семейства Llama 3.1, созданная объединением MathCoder2-Llama-3-8B и десяти специализированных моделей методом Model Stock. Она предназначена для диалоговой генерации текста и сочетает заявленные в карточке навыки математических рассуждений, программирования, биомедицинских тем, извлечения информации, повествования и ролевого общения. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст; заявленная длина контекста — 8192 токена. Модель можно применять для решения математических задач, написания и объяснения кода, создания историй и ответов на общие вопросы. Карточка также заявляет возможности в биомедицинских темах, однако предупреждает, что в важных медицинских и иных высокорисковых сценариях необходим контроль специалиста. Среди ограничений — возможные смещения и ненадёжность ответов; независимые показатели качества в карточке не приведены. Модель выпущена по лицензии Llama 3.1 Community License.

Meta-Llama-3-70B-Instruct-GGUF — квантизированная GGUF-версия инструкционной языковой модели Meta-Llama-3-70B-Instruct, разработанной Meta. Квантизацию и публикацию сборок выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона llama-3-chat, включая ответы на пользовательские запросы и работу с системными инструкциями. Модель относится к семейству Llama и имеет размер 70B параметров. В README указана поддержка английского языка, текстовая модальность и контекстное окно до 8192 токенов. Доступны варианты GGUF с точностью от 2 до 8 бит, а также f16; размеры файлов зависят от варианта и составляют примерно от 26,4 до 50 ГБ для основных квантизированных сборок. Варианты Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря балансу между качеством и размером. Сильной стороной модели является большой размер и возможность локального запуска через совместимые инструменты, включая LlamaEdge. Ограничения связаны с высокими требованиями к дисковому пространству и вычислительным ресурсам, а низкобитные варианты могут заметно терять в качестве; README не рекомендует некоторые из них для большинства задач. Лицензия указана как llama3 с типом other; перед использованием необходимо учитывать условия лицензии Meta Llama 3.

Карточка модели theship87/mistral-7b-fork на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.3, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.3 — языковая модель Mistral AI, дообученная следовать инструкциям на основе Mistral-7B-v0.3. Она предназначена для диалогов, генерации и продолжения текста, а также сценариев с вызовом функций и инструментов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров; контекст — до 32 768 токенов. В версии v0.3 расширен словарь до 32 768 токенов, добавлена поддержка токенизатора v3 и вызова функций. Модель принимает текст и генерирует текст, подходит для чат-ботов, выполнения инструкций и интеграции с инструментами. Карточка не перечисляет поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. По заявлению авторов, это демонстрационная модель, показывающая возможности дообучения базовой версии. У модели нет механизмов модерации, поэтому её ответы требуют соответствующей проверки при использовании. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3 — плотная языковая модель Mistral AI на 7,1 млрд параметров, дообученная следовать инструкциям на базе Mistral-7B-v0.3. Она предназначена для диалогов, генерации текста по запросам и вызова функций. Модель поддерживает контекст до 32 768 токенов, использует токенизатор v3 и расширенный словарь из 32 768 токенов; для работы доступны веса в формате safetensors. Модель подходит для чат-ботов, ответов на вопросы и выполнения инструкций в приложениях, использующих генерацию текста. Карточка не указывает конкретные языки обучения или поддержки. В README отмечено, что у модели нет встроенных механизмов модерации, а сам чекпойнт предоставлен «как есть» и может быть неактуальным. Лицензия — Apache-2.0.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

ehristoforu/mllama-3.1-8b-instruct — языковая модель, созданная объединением нескольких моделей семейства Llama 3.1 с помощью mergekit и метода TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct, а в объединение вошли Hermes 3, Skywork-o1, Dolphin, LLaMA-O1 и SuperNova Lite. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; в метаданных также заявлен интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений и генерации кода, однако README не приводит отдельных оценок качества или рекомендаций по использованию. Карточка указывает формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

OpenChat-3.6-8B-20240522 — диалоговая языковая модель команды OpenChat, созданная дообучением Meta-Llama-3-8B с использованием смешанных по качеству данных и метода C-RLFT. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 7,5 млрд параметров и контекст до 8192 токенов; веса доступны в формате safetensors, для работы используется библиотека Transformers. Модель предназначена для чата, генерации текста и кода, а также общих задач по умолчанию. Авторы рекомендуют использовать шаблон диалога OpenChat и предлагают сервер с совместимым с OpenAI ChatCompletion API интерфейсом; в README заявлена возможность запуска на потребительском GPU с 24 ГБ памяти. Карточка сообщает о сравнении с Llama-3-8B-Instruct и другими открытыми моделями, но не приводит здесь независимой оценки качества. Лицензия — Llama 3; применяются её условия использования.

Qemma-Q1.7B — гибридная языковая модель от Convergent Intelligence LLC: Research Division, созданная слиянием весов Gemma 3 1B и Qwen3-1.7B, а затем дообученная на следование инструкциям и пошаговые рассуждения. Для слияния использованы тело и MLP Gemma 3, а также компоненты внимания и голова Qwen; README также указывает на выравнивание эмбеддингов и Yarn-масштабирование RoPE. Модель имеет плотную архитектуру Gemma3ForCausalLM и около 1 млрд параметров. Модель предназначена для диалогов, генерации текста, анализа, помощи с кодом и дальнейшего дообучения. Заявлена длина контекста 262144 токена. Карточка указывает английский язык; метаданные связывают обучение с UltraChat 200k и MathInstruct. Модель работает через Transformers и распространяется в формате safetensors по лицензии OSL-3.0. Ответы могут содержать фактические ошибки. Разработчик не рекомендует использовать модель для решений в сферах медицины, права и финансов, а также в других критически важных сценариях.

TheCluster/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp8 — квантизированная MLX-версия модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive, основанной на Qwen3.5-9B. Модель конвертирована в формат MLX командой TheCluster; исходная базовая модель разработана HauhauCS на основе Qwen. Лицензия — Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, включая диалоговые приложения, анализ контента, программирование и задачи рассуждения. Это плотная модель с 9 млрд параметров и 32 слоями, использующая гибридную архитектуру Gated DeltaNet с линейным вниманием и полноразмерным softmax-вниманием в соотношении 3:1. Она поддерживает Multi-Token Prediction, контекст до 262 тысяч токенов с возможностью расширения до 1 млн с помощью YaRN, словарь на 248 тысяч токенов и 201 язык. Ключевая особенность варианта — усиленное удаление отказов от выполнения запросов; в README заявлены отсутствие отказов в тесте из 465 запросов и отсутствие потери возможностей, однако независимые результаты не приведены. Агрессивная настройка может быть нежелательной для сценариев, требующих строгих защитных ограничений. Квантизация mxfp8 с размером группы 32 и показателем 8,626 bpw снижает требования к памяти, но потенциально может влиять на точность по сравнению с исходной моделью. Для режима рассуждения рекомендованы temperature 0.6, top_p 0.95 и top_k 20, для нережима рассуждения — temperature 0.7, top_p 0.8 и top_k 20.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF-etheroi — это квантизированная GGUF-версия модели на базе DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1. Модель создана с применением метода COLD FUSION, объединяющего GAIN и инструменты Unsloth. В разработке и тестировании участвовали автор настройки, Nightmedia и TeichAI; репозиторий опубликован пользователем developerjeremylive. Заявлены поддержка английского и китайского языков, а также мультимодальность с обработкой изображений. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй, ролевого взаимодействия и работы с различными жанрами. Она поддерживает три режима рассуждений — xhigh, medium и low — и ориентирована на сокращение объёма внутренних рассуждений без существенного снижения детализации ответа. Заявлены улучшенные интеллект, способность к решению задач, следование инструкциям и скорость генерации, включая режим MTP (multi-token prediction). Точные сведения о размере контекста и конфигурации архитектуры в README не указаны; из названия и описания следует, что это модель класса 27B с GGUF-квантизацией и MTP-тензорами. Используются NEO IMATRIX-квантизации, заявляющие повышение точности и качества работы в длинном контексте, а выходной тензор сохранён в 16-битной точности. Для MTP рекомендуется температура не выше 1 и отключённый repetition penalty. Ключевое ограничение — существенная модификация механизма рассуждений, поэтому модель необходимо отдельно тестировать под конкретный сценарий. Лицензия Apache-2.0.

Kaoeiri/Qwenwify2.5-32B-v3.98 — языковая модель семейства Qwen2, созданная разработчиком Kaoeiri путём объединения предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована Qwen/QwQ-32B-Preview; в объединение также вошли Sao10K/32B-Qwen2.5-Kunou-v1, Kaoeiri/Qwenwify-32B-v3 и Dans-DiscountModels/Qwen2.5-32B-ChatML. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации диалоговых ответов. Заявленная длина контекста — 32 768 токенов. Метаданные отмечают поддержку интерфейса вызова инструментов. Модель может быть полезна для математических рассуждений и программирования благодаря свойствам базовых моделей, однако отдельные результаты оценки для этого объединения не приведены. Лицензия — CC BY-NC-ND 4.0, с ограничениями на коммерческое использование и создание производных распространённых версий; тег карточки предупреждает, что модель подходит не для всех аудиторий.

Карточка модели Jackrong/Qwopus-GLM-18B-Healed на Hugging Face совпадает с карточкой KyleHessling1/Qwopus-GLM-18B-Healed, поэтому описание составлено по ней. Qwopus-GLM-18B-Healed — плотная языковая модель примерно на 18 млрд параметров, собранная Kyle Hessling как 64-слойное слияние двух дообученных моделей Qwen3.5-9B от Jackrong. Первые 32 слоя взяты из Jackrong/Qwopus3.5-9B-v3.5, остальные — из Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1; границу между частями сгладили 1000 шагами QLoRA-дообучения. В репозитории размещены исходные веса BF16 в формате safetensors для дальнейшей квантизации или дообучения. Модель предназначена для генерации текста в диалоге, рассуждений, вызова инструментов и агентных сценариев. Автор сообщает о результатах на собственной серии из 44 тестов, включая проверки вызова инструментов и агентных задач; это заявление автора, а не независимая оценка. Метаданные указывают поддержку английского, китайского, корейского, японского, французского, немецкого и испанского языков. Лицензия — Apache-2.0. Для запуска и квантизации требуются подходящие вычислительные ресурсы; готовая квантизированная версия размещена отдельно.

Rombos-LLM-V2.5-Qwen-7b — диалоговая языковая модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная Rombodawg на основе Qwen2.5-7B-Instruct. В README автор описывает непрерывное дообучение и слияние инструктивной и базовой моделей методом TIES; в метаданных базовой моделью указана Qwen/Qwen2.5-7B-Instruct, а формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и код. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. README заявляет о повышении производительности относительно исходных instruct- и base-моделей, но не приводит результатов бенчмарков. Модель распространяется по лицензии Apache-2.0.

Speechless Instruct Mistral 7B v0.2 GGUF — это квантизированная версия инструкционной языковой модели speechless-instruct-mistral-7b-v0.2, опубликованная в формате GGUF пользователем bartowski. Исходная модель размещена uukuguy. Модель предназначена для генерации текста по инструкциям, включая задачи программирования и выполнения общих текстовых запросов. Модель основана на архитектуре Mistral и содержит 7 миллиардов параметров. Она работает с текстом, заявлена для английского языка и поддерживает сценарии text-generation через llama.cpp и совместимые инструменты. В README указан формат промптов в стиле [INST] с системным сообщением, однако отмечено, что официальная chat template не задана и приведённый формат может быть неточным. Доступны варианты квантизации Q2–Q8 и IQ, различающиеся размером файла и компромиссом между качеством и потреблением памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и варианты Q4. Обучение или дообучение исходной модели связано с наборами jondurbin/airoboros-2.2, Open-Orca/OpenOrca, Open-Platypus, WizardLM/WizardLM_evol_instruct_V2_196k и TokenBender/python_eval_instruct_51k. В качестве сильных сторон указаны поддержка инструкций, задач программирования и широкий выбор квантизаций для запуска на устройствах с разным объёмом памяти. Ограничения включают снижение качества на низких уровнях квантизации, отсутствие подтверждённого значения pass@1 для HumanEval и неопределённость с шаблоном чата. Лицензия — Apache-2.0.

Agents-A1-4B-Fable-Preview-heretic-GGUF — это GGUF-квантизированная vision-language модель, разработанная hotdogs на основе Agents-A1-4B от InternScience. Модель предназначена для диалогов, понимания изображений, агентских сценариев, пошагового рассуждения, вызова инструментов и function calling, а также выполнения задач с кодом и shell-командами. Поддерживаются английский и тайский языки, формат ChatML и инференс через llama.cpp с использованием vision-проектора mmproj. Модель содержит около 4,29 млрд параметров и использует гибридную архитектуру Qwen3.5 с линейным и полным вниманием. Для обработки изображений применяется 24-слойный ViT-энкодер, контекст поддерживает до 128K токенов. Обучение включало 3 500 примеров Fable-style reasoning traces в течение трёх эпох; заявлена поддержка многошаговых агентских траекторий и блоков рассуждений <think>. Доступны варианты GGUF с разными уровнями квантизации, включая рекомендуемый IQ4_NL размером около 2,61 ГБ. К сильным сторонам относятся мультимодальность, поддержка инструментов, двуязычность, большой контекст и возможность запуска на видеокартах с ограниченной памятью. Abliteration с использованием heretic снизила заявленный уровень отказов примерно до 11%, однако модель может генерировать вредный, оскорбительный или неподходящий контент, поэтому требует осторожного применения. Лицензия — AGPL-3.0.

airoboros-l2-13b-3.0 — экспериментальная языковая модель jondurbin на архитектуре Llama 2 с 12,9 млрд параметров. Она дообучена на преимущественно синтетическом наборе airoboros-3.0, продолжающем airoboros-2.2.1; в данных также есть созданные человеком многоходовые диалоги для ролевого общения. Модель предназначена для генерации текста и выполнения инструкций, особенно для ответов на вопросы по заданному контексту, суммаризации, программирования и подготовки структурированных ответов. Модель поддерживает диалоговый шаблон Llama 2 Chat и контекст до 4096 токенов. Для математических запросов она может формулировать решения в формате MathJSON, которые затем вычисляются внешним инструментом. В README отмечено, что ответы по контексту следует явно оформлять специальными разделителями, а для MathJSON рекомендуется низкая температура генерации. Указанная лицензия — Llama 2; модель не следует считать надёжным средством вычислений, а генерацию MathJSON нужно проверять внешним вычислителем.

airoboros-l2-7b-2.2 — экспериментальная текстовая языковая модель на архитектуре LLaMA, разработанная jondurbin и дообученная преимущественно на синтетических данных набора airoboros-2.2. Она предназначена для ответов на инструкции и вопросы, генерации текста и кода, ответов по заданному контексту, а также формирования планов и структурированных аргументов для вызова функций. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, а её нативный контекст составляет 4096 токенов. Карточка описывает шаблон диалога с метками USER и ASSISTANT и рекомендации по остановке генерации; для ответов по предоставленным источникам предусмотрен формат с явными разделителями контекста. Модель в основном ориентирована на выполнение инструкций, а не на свободный чат или ролевую игру. В README отмечены частичное выравнивание для обычного использования и возможность переопределения этого поведения системным промптом. Ответы по контексту могут галлюцинировать, поэтому автор советует явно просить не придумывать неизвестные ответы. Модель распространяется под лицензией Llama 2; опубликована в формате PyTorch.