II.9Статистика, эксперименты и причинный анализ

ZYH-LLM-Qwen2.5-14B-V5 — диалоговая языковая модель YOYO-AI, созданная слиянием моделей на базе Qwen2.5-14B. В README описаны этапы объединения инструкционных, кодовых и рассуждающих моделей; среди них есть варианты Qwen2.5, Cogito, DeepCoder и другие. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров, опубликованная в формате safetensors. Модель предназначена для генерации текста в диалоге, выполнения инструкций, помощи с кодом и задач, требующих рассуждений. Метаданные указывают контекст до 1 010 000 токенов, а в карточке заявлена поддержка английского и китайского языков. Модель распространяется по лицензии Apache-2.0. README не приводит результаты сравнительных оценок или подробные рекомендации по развёртыванию. Заявленная длина контекста сама по себе не подтверждает качество ответов на всём этом диапазоне; фактическую производительность следует проверять на целевых задачах.

Bagel DPO 7B v0.1 — диалоговая языковая модель, разработанная jondurbin и дообученная методом прямой оптимизации предпочтений (DPO) на базе семейства Llama. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы. Для общения применяются форматы Vicuna, Llama 2, Alpaca и ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, математики, написания кода и творческих текстов. В описании приведены результаты оценок на наборах ARC, BoolQ, GSM8K, MMLU и других, а также MT-Bench. Обучающие данные включают англоязычные и многоязычные источники, в том числе Belebele; карточка не уточняет полный перечень поддерживаемых языков. Автор предупреждает, что эта DPO-версия может чаще отказывать в ответах, чем недистиллированная от предпочтений версия. В данных обучения присутствует токсичный контент. Модель распространяется под лицензией Apache-2.0.

AbuYahya2/deepseek-marsad — объединённая текстовая модель, созданная автором репозитория с помощью mergekit и метода TIES на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B с включением NousResearch/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная архитектура LlamaForCausalLM примерно на 7,5 млрд параметров; файлы представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для диалоговой генерации текста и поддерживает контекст до 131 072 токенов. Модель подходит для чат-ответов, математических задач, программирования и многошаговых рассуждений — эти возможности связаны с базовой моделью DeepSeek-R1-Distill-Llama-8B. В метаданных также отмечен интерфейс вызова инструментов. README описывает способ слияния, но не приводит оценки качества или отдельные результаты тестирования именно этой объединённой версии. Условия использования определяются лицензиями базовых моделей; сведения о лицензии в предоставленных данных отсутствуют.

huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated — версия DeepSeek-R1-Distill-Qwen-32B, созданная разработчиком huihui-ai методом abliteration для удаления отказов модели. Это плотная языковая модель семейства Qwen2, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования с меньшим числом отказов на запросы. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; для работы указана библиотека Transformers и формат Safetensors. В README разработчик называет реализацию грубой проверкой концепции. Удаление отказов не гарантирует корректности или безопасности ответов. Базовая модель — DeepSeek-R1-Distill-Qwen-32B. Условия лицензии в предоставленных материалах не описаны.

AtomicChat/DeepSeek-V4-Flash-0731-GGUF — это квантизированная GGUF-версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и упакованной и квантизированной AtomicChat. Модель предназначена для генерации текста, диалоговых сценариев и conversational-приложений, включая локальный запуск через llama.cpp. Заявлены поддерживаемые языки английский и китайский. Модель построена на архитектуре mixture-of-experts и содержит 284 млрд параметров, из которых 13 млрд активируются для каждого токена. Она включает 43 слоя, 256 маршрутизируемых экспертов, 6 активных экспертов и одного общего эксперта. Контекстное окно составляет 1 млн токенов, размер словаря — 129 280. Исходная модель обучалась с учетом квантизации: маршрутизируемые эксперты хранятся в MXFP4, остальные компоненты — в FP8 или BF16. В репозитории доступны варианты от AD-BF16 и AD-MXFP4 до низкобитных AD-IQ1 и AD-IQ2, позволяющие выбирать компромисс между качеством и объёмом памяти. Главные преимущества — большое контекстное окно, высокая ёмкость MoE-архитектуры и варианты размещения с разным размером файлов. При этом для запуска требуются значительные объёмы оперативной или видеопамяти: размеры вариантов составляют примерно от 70 до 162 ГБ. Квантизация ниже исходного уровня 4,25 бит может заметно ухудшать качество, особенно в вариантах с 1–3 битами. Встроенный chat template устарел и может терять рассуждения в агентских циклах и игнорировать reasoning_effort; для корректной работы рекомендуется использовать отдельный исправленный шаблон из репозитория. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-MLX-Serve-mixed-2-3-8bit — это квантованная MLX-конверсия модели DeepSeek-V4-Flash-0731, опубликованная ddalcu и предназначенная для запуска через mlx-serve на Apple Silicon. Модель рассчитана на генерацию текста, включая диалоги, программирование, задачи coding agent и сценарии с вызовом инструментов. Она совместима с OpenAI, Anthropic и Ollama HTTP API, поэтому может использоваться с существующими клиентами и интерфейсами. В основе лежит полная модель размером 284B параметров с конфигурацией A13B. Сборка занимает 115,4 ГБ и использует смешанную точность: основные routed experts в слоях 0–38 имеют 2- и 3-битное квантование с калибровкой по матрице важности, последние четыре слоя — 4-битное, а attention, shared experts, embeddings, LM head и ряд чувствительных компонентов — 8-битную или более высокую точность. Архитектура включает MQA, сжатую историю внимания, hash-routed MoE, Sinkhorn hyper-connections, DSML-формат вызова инструментов и DSpark speculative decoding. Поддерживаются текстовые входы и выходы; в README не указаны дополнительные модальности и языковой охват. Для работы требуется Mac на Apple Silicon с не менее чем 128 ГБ unified memory, macOS 26.2 или новее и mlx-serve. Ожидаемый объём занятой памяти составляет около 98 ГБ, либо примерно 109 ГБ при использовании DSpark; заявлена скорость около 53 токенов в секунду на M-series Mac с 128 ГБ памяти и включённым DSpark. Сильными сторонами являются запуск полной 284B-A13B модели на одном совместимом Mac, native MLX-реализация без Python и калиброванное квантование, направленное на сохранение качества в агентских сценариях. Ограничениями остаются очень высокие требования к памяти и совместимость только с Apple Silicon и mlx-serve. Лицензия — MIT.

Deepthink-Reasoning-7B — дообученная PrithivMLmods языковая модель на базе Qwen2.5-7B-Instruct с 7,1 млрд параметров. Она предназначена для диалоговой генерации текста с упором на рассуждения, решение логических задач, математику и программирование; также подходит для творческого письма, следования инструкциям и формирования структурированных ответов, включая JSON. Модель использует архитектуру Qwen2 и принимает текстовые запросы, выдавая текст. В метаданных указан контекст до 32 768 токенов, тогда как README заявляет поддержку до 128 тысяч токенов и генерацию до 8 тысяч; это расхождение стоит учитывать при настройке. Карточка заявляет поддержку более 29 языков, включая русский и английский, но метаданные подтверждают английский. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления README об улучшениях в математике, коде, следовании инструкциям и длинном контексте не сопровождаются результатами оценивания, поэтому фактическое качество на конкретных задачах следует проверять отдельно.

DistilabelCerberus-7B-slerp — слитая модель для генерации текста на основе Mistral, созданная с помощью mergekit из DistilabelBeagle14-7B и OpenHermes-2.5-Mistral-7B. В конфигурации применён метод слияния slerp с разными весами для слоёв self-attention и MLP; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. В карточке приведены результаты оценивания на наборах задач рассуждения, понимания здравого смысла и математики. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель генерации текста, созданная слиянием Mistral-7B-Instruct-v0.1 и dolphin-2.6-mistral-7b методом SLERP. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров; она принимает инструкции и диалоговые запросы и генерирует текстовые ответы. Указанное в метаданных окно контекста — 32 768 токенов. Модель ориентирована на общие диалоговые задачи и ответы на инструкции; теги карточки также указывают англоязычные данные и наборы для задач программирования. Модель распространяется в формате safetensors и имеет лицензию Apache-2.0. Качество и поведение зависят от формулировки запроса и данных слияния; конкретные результаты на бенчмарках в карточке не приведены.

QuantFactory/dolphin-2.8-mistral-7b-v02-GGUF — это GGUF-квантизированная версия модели Dolphin 2.8 Mistral 7B v0.2, созданная с использованием llama.cpp на основе cognitivecomputations/dolphin-2.8-mistral-7b-v02. Модель основана на Mistral-7B-v0.2 и предназначена для генерации текста, диалогового взаимодействия, выполнения инструкций и решения задач программирования. Заявленный язык — английский. Базовая модель поддерживает контекст до 32 000 токенов, а дообучение выполнялось на последовательностях длиной до 16 000 токенов. Квантизация в формате GGUF ориентирована на использование с совместимыми инструментами локального запуска, однако конкретный вариант квантизации в README не указан. К сильным сторонам относятся conversational-, instruction- и coding-навыки, а также возможность коммерческого использования по лицензии Apache 2.0. Модель описывается как uncensored и не содержит встроенных ограничений безопасности и выравнивания, поэтому может быть чрезмерно послушной, включая потенциально вредные или неэтичные запросы. Перед предоставлением модели как сервиса рекомендуется реализовать собственный уровень фильтрации и выравнивания; ответственность за создаваемый контент возлагается на пользователя. В README также указано, что при обучении использовались данные, сгенерированные GPT-4 и другими моделями.

theo77186/dolphin-2.9.1-mistral-22b — преобразованная в формат Mistral версия Dolphin 2.9.1 Mixtral 1x22B, созданной Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Это плотная авторегрессионная языковая модель на 22 млрд параметров с контекстом до 65 536 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и выполнения инструкций, включая задачи по программированию. В карточке также заявлены начальные агентные возможности и поддержка вызова функций. Для исходной модели указано полное дообучение всех слоёв с длиной последовательности 16 000 токенов; она основана на Dolphin-2.9-Mixtral-8x22B и извлечённом объединённом эксперте. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Автор README отмечает, что шаблон ChatML работает некорректно и что формат Alpaca при этом работает. Модель описана как uncensored и может следовать запросам, в том числе небезопасным; перед предоставлением сервиса рекомендуется добавить собственный слой выравнивания. Языки обучения и точные показатели качества в карточке не раскрыты.

Это 4-битная версия Dolphin 2.9.3 на базе Mistral Nemo, преобразованная mlx-community из cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b в формат MLX с помощью mlx-lm 0.16.1. Модель представляет собой плотную причинную языковую модель Mistral с 12,1 млрд параметров и предназначена для генерации текста в диалоговом формате; среди возможных сценариев — ответы на вопросы, помощь с кодом, математические задачи и вызов инструментов, на которые указывают обучающие наборы данных и возможности базовой Dolphin-модели. Модель дообучена на Mistral-Nemo-Base-2407, а данный репозиторий содержит её MLX-представление для запуска на устройствах Apple с MLX. Метаданные указывают контекст до 1 024 000 токенов и лицензию Apache-2.0. В README не описаны отдельные ограничения качества; применимость столь длинного контекста и заявленные сценарии зависят от конкретной конфигурации запуска.

Dolphin 3.0 Qwen 2.5 3B — инструктивно настроенная языковая модель от Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations, созданная на базе Qwen/Qwen2.5-3B. Это плотная авторегрессионная модель с 3,1 млрд параметров, контекстом до 32 768 токенов и шаблоном диалога ChatML. Репозиторий содержит веса в формате safetensors. Модель предназначена для локального применения в качестве универсального помощника: она генерирует текст, помогает с программированием и математикой, поддерживает сценарии работы с агентами и вызова функций. Поведение можно настраивать системным промптом, включая тон и правила ответа. В обучающих данных использованы наборы для программирования, математики, инструкций, диалогов и вызова функций; в метаданных указан английский язык. Модель рассчитана на владельцев приложений, которым нужны локальный запуск и контроль над системным промптом и данными. Для запуска можно использовать Transformers, Ollama, LM Studio, vLLM, SGLang или TGI. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице модели. Карточка не содержит результатов оценивания качества, поэтому пригодность для конкретных задач нужно проверять отдельно.

FuseChat-Gemma-2-9B-Instruct — диалоговая модель FuseAI на архитектуре Gemma 2 с 9 млрд параметров. Это вариант FuseChat-3.0, созданный на базе Gemma-2-9B-It с помощью дообучения и неявного объединения знаний: после supervised fine-tuning модель оптимизировали методом Direct Preference Optimization на предпочтениях, собранных по ответам нескольких крупных языковых моделей. Модель предназначена для диалогов и выполнения инструкций, включая общие вопросы, математику, программирование и задачи на китайском языке. Контекст составляет 8192 токена. В README заявлены улучшения на бенчмарках для серии FuseChat-3.0, но приведённые численные результаты относятся к варианту с Llama-3.1-8B-Instruct в качестве целевой модели и не подтверждают такие же показатели для этой версии Gemma. Модель принимает текст и генерирует текст. Она распространяется в формате safetensors; лицензия в предоставленных данных не указана.

FuseChat-Llama-3.1-8B-SFT — чат-модель FuseAI на архитектуре Llama 3.1 с плотной причинной языковой моделью примерно на 7,5 млрд параметров. Это SFT-этап FuseChat-3.0: модель Llama-3.1-8B-Instruct дообучена в рамках подхода неявного объединения возможностей нескольких более крупных языковых моделей. В метаданных указан контекст до 131 072 токенов и поддержка чата. Модель предназначена для диалога и выполнения инструкций, а также для общих задач, математики, программирования и китайского языка. В README описано, что итоговый подход FuseChat-3.0 сочетает SFT и оптимизацию предпочтений DPO; при этом данная карточка относится именно к варианту SFT. Модель опубликована в формате safetensors и создана на основе датасета FuseAI/FuseChat-3.0-SFT-Data. Лицензия в предоставленных данных не указана.

Это GGUF-сборка Gemma-4-26B-A4B-it, подготовленная ironbcc для запуска через llama.cpp и LM Studio. Комплект включает основную 26-миллиардную MoE-модель Gemma-4 и вспомогательную модель-драфтер gemma-4-26B-A4B-it-assistant от Google для speculative decoding. Основная модель использует 128 экспертов; доступны варианты драфтера с квантованием Q2_K, Q4_K_M, Q8_0 и F16. Указан английский язык, а модель предназначена для генерации текста, диалогов, рассуждений и программного использования через совместимые серверы и клиенты. Максимальный контекст Gemma-4 заявлен как 256K токенов, однако конкретные возможности зависят от runtime и настроек. Ключевое преимущество сборки — ускорение генерации за счёт Multi-Token Prediction и speculative decoding: в приведённом тесте на Apple M5 Max скорость достигала примерно 1,55 раза относительно режима без MTP, а при отключении reasoning — до 143,2 токена в секунду. Q2_K-драфтер рекомендован как наиболее быстрый и показал наивысшую долю принятых токенов в тесте. Ограничения включают необходимость специальной ветки llama.cpp с поддержкой Gemma-4 MTP; на момент подготовки README эта функциональность ещё не была включена в основную ветку, а LM Studio требовал соответствующего runtime. Включение thinking повышает качество рассуждений, но снижает скорость. Основной файл имеет размер около 26 ГБ, поэтому запуск требует значительного объёма памяти; для полного контекста 256K README указывает примерно 31 ГБ RSS при старте с дальнейшим ростом потребления. Распространение заявлено по лицензии Apache-2.0, при этом для доступа к Gemma на Hugging Face необходимо принять условия использования Google.

Карточка модели ANGELOSEGRETO/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Карточка модели LiveUK/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Карточка модели Scrappy-Doo/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Huihui-NeoHorse-1-4B-abliterated — экспериментальная версия TokenRhythm/NeoHorse-1-4B от Huihui AI с ослабленными отказами, созданная методом abliteration. Это плотная текстовая авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров; она предназначена для диалога, следования инструкциям, рассуждений, программирования и агентных сценариев с вызовом инструментов. Модель работает через библиотеку Transformers и поддерживает контекст до 262 144 токенов. Автор описывает изменение как грубую проверку концепции: аблированы слои 5–17. README также упоминает извлечённые из исходной Qwen3.5-4B компоненты MTP и Vision, которые можно отдельно добавить в каталог модели; доступность этих компонентов в основном наборе весов не подтверждена. Снижение защитных ограничений повышает вероятность чувствительных, спорных или неподходящих ответов, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

InternLM2.5-7B — плотная авторегрессионная языковая модель семейства InternLM2.5, разработанная командой InternLM. Она содержит 7,4 млрд параметров и предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и работу с длинными документами. Модель сохраняет архитектуру InternLM2 и использует синтетические данные в итеративном развитии семейства. Разработчики сообщают о повышении результатов рассуждения на 20% относительно InternLM2 и сильных результатах на MMLU, CMMLU и BBH. Метаданные указывают контекстное окно 262 144 токена; README также описывает результаты тестирования на контексте до 1 млн токенов. Модель работает с текстом и поддерживает диалог. README не перечисляет поддерживаемые естественные языки явно, хотя результаты приведены для англоязычного MMLU и китайского CMMLU. Возможны предвзятые, дискриминационные и другие вредные ответы. Код распространяется по Apache-2.0; для весов заявлен доступ для академических исследований и возможность подать заявку на бесплатное коммерческое разрешение.

Jett-w26-abliterated — объединённая модель для генерации текста, опубликованная giannisan. Она построена на архитектуре Mistral и создана методом DARE TIES с помощью mergekit; в качестве основы использована yam-peleg/Experiment26-7B, а также объединены модели для диалогов, математики, программирования и следования инструкциям. Модель содержит 7,1 млрд параметров, работает с текстом и имеет контекстное окно до 32 768 токенов. Автор описывает её как uncensored-версию Jett-w26. Она предназначена для генерации ответов и свободного диалога; состав объединённых моделей также ориентирует её на математические задачи и помощь с кодом. Доступны веса в формате safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

NoesisLab/Kai-3B-Instruct — это инструктивно дообученная языковая модель NoesisLab с 3,1 млрд параметров на архитектуре SmolLM3ForCausalLM. Она предназначена для диалоговых ответов, рассуждений, решения математических задач и генерации кода. В карточке описана техника Adaptive Dual-Search Distillation (ADS): адаптивная функция потерь для дистилляции, которая не меняет архитектуру модели. Заявлена длина контекста 65 536 токенов; модель принимает текст и генерирует текст. В README приведены результаты отдельных бенчмарков, включая 39,27% на GSM8K в режиме 0-shot, однако методика и сравнительные результаты в карточке описаны не полностью. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0.

Ling-lite-1.5-2506 — обновлённая разговорная языковая модель от inclusionAI для рассуждений, решения сложных задач, программирования и отладки кода. Она построена на архитектуре Bailing MoE и поддерживает генерацию текста в формате чата. В README указаны 16,8 млрд параметров, из которых активируются 2,75 млрд; метаданные Hugging Face указывают 794,8 млн параметров. В карточке также заявлена длина контекста 128K, тогда как метаданные сообщают 32 768 токенов. README описывает улучшения относительно Ling-lite-1.5 и приводит результаты на GPQA Diamond и LiveCodeBench 2408–2501. Модель принимает текст и генерирует текст. Опубликованные веса доступны в формате safetensors, библиотека для работы — Transformers. Лицензия — MIT. Языки в доступных сведениях не перечислены.

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.

MANGO1.5-Qwen3.5-9B — двуязычная текстовая модель CMKL University, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель семейства Qwen3.5 с 9 млрд параметров; опубликованный чекпойнт содержит LoRA-адаптер, объединённый с базовыми весами, и распространяется в формате Safetensors. Модель обучена методом supervised fine-tuning на корпусе из 5 млн англо- и тайскоязычных инструкций; это первый этап постобучения. Модель предназначена для диалога и выполнения инструкций на тайском и английском языках, включая ответы на вопросы, рассуждения, краткое изложение, перевод, математику, программирование и творческие задачи. Она принимает и генерирует текст. Хотя базовая архитектура поддерживает мультимодальный ввод, эта версия обучалась только на текстовых данных, поэтому улучшенную работу с изображениями предполагать не следует. Авторы отмечают, что модель не прошла отдельный этап DPO или RLHF и не сертифицирована для безопасного применения в производстве. Оценка охватывает ограниченное число моделей; возможны галлюцинации и чувствительность к формулировкам запросов, а качество по отдельным предметным областям и перенос между языками проверены неравномерно. Лицензия — Apache 2.0, унаследованная от базовой модели.

MaziyarPanahi/Meta-Llama-3.1-405B-Instruct-GGUF — это набор файлов модели в формате GGUF для Meta-Llama-3.1-405B-Instruct, разработанной Meta (meta-llama) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в локальных приложениях на базе llama.cpp и совместимых библиотек и интерфейсов. Модель имеет размер 405 миллиардов параметров, относится к текстовым моделям и поддерживает языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. В репозитории представлены варианты квантизации с разрядностью 2 и 3 бита; конкретные характеристики зависят от выбранного файла. В примере указано контекстное окно до 131 072 токенов. Формат GGUF упрощает локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами. Сильными сторонами являются большой размер исходной модели, поддержка нескольких языков, инструкционное обучение, длинный контекст и возможность локального использования с квантизированными файлами. Ограничениями остаются очень высокие требования к вычислительным ресурсам, возможные потери качества из-за агрессивной квантизации и отсутствие в README подробных данных о точности, производительности и рекомендуемом оборудовании. Модель распространяется по лицензии Llama 3.1.

MiniCPM5-2B-heretic — децензурированная версия языковой модели openbmb/MiniCPM5-2B, созданная пользователем RACER IS OP с применением Heretic v1.4.0. Модель относится к классу примерно 2B параметров и предназначена для генерации текста, диалогов, локальных агентных систем, вызова инструментов, написания кода и задач с длинным контекстом. Она поддерживает режимы Think и No-Think, а также может работать на пользовательских GPU, CPU и устройствах Apple Silicon через GGUF-квантизации. Изменения выполнены методом directional ablation («abliteration»): целевые направления отказа подавляются редактированием весов в attention output и MLP down-projections без дообучения. По данным README, это позволило снизить число отказов с 99 до 4 на 100 тестовых запросов при KL divergence 0,0646 относительно исходной модели, сохранив её знания, следование инструкциям, возможности работы с инструментами, кодом и рассуждениями. Заявлены английский и китайский языки; архитектура MiniCPM5 совместима с llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang, причём для вызова функций рекомендован SGLang. Главное преимущество модели — малый размер и широкий выбор GGUF-квантизаций, что упрощает локальный запуск на потребительском оборудовании. Ограничение заключается в намеренном подавлении защитных отказов: модель может отвечать на запросы, от которых исходная версия отказывалась, поэтому её применение требует самостоятельных мер безопасности и контроля. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Mistral-Small-3.2-24B-Instruct-2506-NVFP4 — квантизированная FP4-версия инструкционной текстовой модели unsloth/Mistral-Small-3.2-24B-Instruct-2506, разработанная RedHatAI. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых сценариев, выполнения инструкций и задач общего назначения, включая объяснение понятий и программирование. Указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 с группировкой 16; для квантизации использовался LLM Compressor и калибровочные данные UltraChat. По сравнению с 16-битным представлением это примерно на 75% уменьшает размер модели на диске и требования к GPU-памяти, что делает модель подходящей для более эффективного инференса. Для запуска заявлена совместимость с vLLM версии 0.9.1 и выше. Ключевое преимущество модели — снижение потребления памяти и размера при сохранении назначения базовой инструкционной модели; качество оценивалось на бенчмарках OpenLLM v1, OpenLLM v2 и HumanEval_64, но подробные результаты в представленном README не приведены. Ограничения включают возможные потери качества из-за агрессивной 4-битной квантизации, отсутствие данных о размере контекстного окна и мультимодальности, а также заявленное ограничение использования английским языком. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.