II.4Отладка, тестирование и качество ПО

RedHatAI/Qwen3.5-4B-quantized.w8a8 — мультимодальная модель, разработанная RedHatAI на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, анализа изображений, ответов на вопросы, следования инструкциям и задач, требующих рассуждений. Модель оптимизирована для инференса через vLLM. В модели применена квантизация весов и активаций линейных операторов в трансформерных блоках до INT8 по схеме W8A8. Визуальный энкодер, токеновые эмбеддинги и слои linear attention сохранены в BF16. Размер модели на диске составляет около 6,1 ГБ против 8,8 ГБ у версии BF16, что уменьшает требования к памяти примерно на 31%. Для мультимодального и текстового режимов заявлена поддержка контекста до 262 144 токенов при запуске через vLLM. К сильным сторонам относятся значительное сокращение размера и требований к памяти при близких к исходной модели результатах на представленных тестах, а также поддержка текстовых и визуальных входов. Ограничения связаны с частичной, а не полной квантизацией и необходимостью совместимой инфраструктуры vLLM; конкретные поддерживаемые языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Final-NVFP4-GGUF — квантизированная в формате NVFP4 GGUF версия модели LuffyTheFox. NVFP4-квантизацию и интеграцию MTP выполнил jan1k; базовая модель разработана HauhauCS. Модель распространяется по лицензии Apache-2.0. Это мультимодальная модель для генерации текста и работы с изображениями, ориентированная на диалоговые сценарии, программирование, точные задачи, творческое взаимодействие и roleplay. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется дополнительный файл mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf. Модель предназначена для запуска через llama.cpp и поддерживает контекст до 128K токенов. Архитектура — Mixture of Experts: около 35 млрд общих параметров, примерно 3 млрд активных на токен, 8 маршрутизируемых экспертов и 1 общий эксперт. Доступен вариант с MTP для speculative decoding, способный ускорять генерацию. К сильным сторонам относятся сравнительно низкая вычислительная нагрузка на токен, поддержка reasoning и мультимодальности, а также оптимизация для GPU NVIDIA Ampere, Ada Lovelace и Blackwell. Ограничения включают зависимость от совместимого программного обеспечения и оборудования, необходимость отдельного vision-проектора для изображений и отсутствие в карточке независимых бенчмарков качества.

BenevolenceMessiah/QwQ-32B-Preview-abliterated-Self-instruct-3x-TIES-v1.0 — языковая модель на 32 млрд параметров, созданная BenevolenceMessiah слиянием предобученных моделей через TIES с помощью mergekit. В качестве базовой использована huihui-ai/QwQ-32B-Preview-abliterated; в слияние также вошли EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2, rombodawg/Rombos-Coder-V2.5-Qwen-32b и rombodawg/Rombos-LLM-V2.5-Qwen-32b. Модель построена на плотной архитектуре Qwen2 и предназначена для генерации текста и диалогов. Поддерживает контекст до 32 768 токенов, распространяется в формате safetensors и работает через Transformers. В каталоге также отмечен интерфейс вызова инструментов. Состав моделей предполагает применение для общих диалогов, работы с кодом и написания историй, однако отдельные языки и качество на конкретных задачах не подтверждены предоставленными данными. Условия лицензирования в предоставленных источниках не приведены, поэтому перед использованием следует проверить лицензию репозитория и условия базовых моделей. Модель создана слиянием и может наследовать особенности и ограничения включённых чекпойнтов.

Smaug-Llama-3-70B-Instruct — чат-модель Abacus.AI, полученная дообучением meta-llama/Meta-Llama-3-70B-Instruct по рецепту Smaug для повышения качества многошаговых диалогов. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации ответов и ведения диалога; она использует формат запросов Llama 3 Instruct и контекст до 8192 токенов. Модель рассчитана на многошаговые беседы и широкий круг текстовых запросов. В карточке приведены результаты MT-Bench и Arena-Hard, где авторы сообщают о высоком качестве ответов; также указаны результаты нескольких тестов знаний и рассуждений. Это заявления из карточки, а не гарантия результатов в конкретных задачах. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Trinas_Nectar-8B-model_stock — объединённая автором DreadPoor с помощью mergekit языковая модель на архитектуре Llama 3.1. Она предназначена для диалоговой генерации текста и выполнения инструкций; в состав слияния вошли Configurable-Llama-3.1-8B-Instruct, Dolphin 2.9.4, Hermes 3, Lumimaid v0.2 и ScaduTorrent, с базовой моделью Sao10K/L3-8B-Stheno-v3.2. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекст до 8192 токенов. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 27,27, IFEval — 72,59, BBH — 31,98. Модель представлена в формате safetensors и рассчитана на использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Typhoon2-Qwen2.5-7B-Instruct — инструктивная языковая модель, разработанная командой Typhoon AI и дообученная на базе Qwen2.5-7B. Это плотная авторегрессионная модель архитектуры Qwen2 с 7,1 млрд параметров, предназначенная для диалога и выполнения инструкций на тайском и английском языках. Метаданные указывают контекст до 32 768 токенов; для более длинных текстов README описывает расширение контекста с помощью YaRN. Модель подходит для диалоговых помощников, вызова функций, решения математических задач, программирования и работы с длинными текстами. В приведённых разработчиками оценках она показывает результаты на тайском и английском языках, включая задачи следования инструкциям и переключения между языками. Модель принимает текст и генерирует текст. Это развивающаяся модель: ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать применительно к конкретному сценарию. Расширение контекста YaRN может ухудшить качество на коротких запросах при статическом масштабировании. Распространяется по лицензии Apache-2.0.

Virtuoso-Small — компактная генеративная языковая модель Arcee.ai с 14 млрд параметров, созданная на базе Qwen2.5-14B. Она предназначена для выполнения инструкций, рассуждений и бизнес-задач, включая поддержку клиентов, создание контента и техническую помощь. Модель использует плотную архитектуру Qwen2 и поддерживает контекст до 131 072 токенов, а также интерфейс чата и вызова инструментов. Доступны локальное развертывание и доступ через API; в карточке также указана возможность получить версию GGUF. Модель распространяется по лицензии Apache-2.0.

airoboros-3b-3p11 — экспериментальная языковая модель jondurbin для генерации текста и диалогов по инструкциям. Она основана на архитектуре StableLM Epoch и содержит 2,7 млрд параметров; модель обучена на наборе airoboros-3.1 с преимущественно синтетическими данными. Контекст составляет до 4096 токенов, для диалогов используется формат Llama 2 Chat. Модель рассчитана на следование инструкциям, ответы на вопросы по предоставленному контексту, суммаризацию и помощь с кодом. Среди специализированных примеров обучения — структурированное представление математических решений в MathJSON, извлечение полей из журналов, обезличивание текста и генерация аргументов функций в JSON или YAML. Для этих сценариев в README рекомендуются явно заданный формат запроса и низкая температура генерации. Это общая экспериментальная модель, ориентированная на выполнение инструкций, а не на непринуждённое общение или ролевые диалоги. Карточка указывает на ограничения качества отдельных инструментов обработки MathJSON. Лицензия — CC BY-SA 4.0.

airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.

BAAI_AREX-Turbo-GGUF — это квантизированная версия модели AREX-Turbo, разработанной BAAI и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2/Q3/IQ-квантизаций. Размер файлов составляет примерно от 2,2 до 8,4 ГБ в зависимости от варианта. Модель предназначена для сценариев агентного использования, глубокого исследования, рассуждений и работы с инструментами. В карточке она также отмечена как long-context и dense; pipeline обозначен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах, архитектуре, числе параметров и максимальной длине контекста не приведены. Указан английский язык. Для работы предлагается шаблон промпта в стиле Qwen с отдельным блоком рассуждений. Сильной стороной модели является широкий выбор квантизаций: варианты Q6_K и Q6_K_L позиционируются как близкие к исходному качеству, Q4_K_M — как сбалансированный вариант для большинства сценариев, а компактные версии подходят для систем с ограниченной оперативной памятью. При этом снижение разрядности может ухудшать качество ответов, особенно у низкобитных вариантов. Модель распространяется по лицензии Apache-2.0 и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты.

Citaman/command-r-10-layer — языковая модель генерации текста, созданная с помощью mergekit из двух перекрывающихся срезов слоёв модели Citaman/command-r-11-layer, объединённых методом SLERP. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель построена на плотной архитектуре CohereForCausalLM и содержит 10,3 млрд параметров. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Веса опубликованы в формате safetensors и типе bfloat16. Метаданные не называют поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

DeepSeek-R1-Distill-Qwen-32B-3MPER0RR-abliterated — экспериментально модифицированная версия модели DeepSeek-R1-Distill-Qwen-32B от 3MPER0RR. Это плотная авторегрессионная языковая модель семейства Qwen2 для генерации текста и диалогового взаимодействия. В метаданных указаны 32 млрд параметров и контекст до 131 072 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации ответов и ведения диалога. Автор сообщает, что модель модифицирована методом «abliteration», протестирована и сохранена; подробности метода, тестирования и измерений качества в карточке не раскрыты. Основа — DeepSeek-R1-Distill-Qwen-32B, дистиллированная модель на базе Qwen2.5, ориентированная на рассуждения, математику и программирование. Лицензия — MIT.

Falcon3-MoE-2x7B-Instruct — инструктивная языковая модель с архитектурой Mixture of Experts, созданная объединением двух моделей Falcon3-7B-Instruct. В README заявлено 13,4 млрд параметров и формат BF16; метаданные указывают 7,1 млрд параметров. Модель основана на Falcon3-7B-Instruct от TII, а репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и генерации ответов по инструкциям. Базовая Falcon3-7B-Instruct рассчитана на задачи понимания языка, следования инструкциям, рассуждений, программирования и математики; контекст составляет до 32 768 токенов. В карточке для базовой модели перечислены английский, французский, испанский и португальский языки. Метаданные также отмечают интерфейс для вызова инструментов. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в репозитории. Описание не содержит отдельных оценок качества или ограничений для MoE-версии; заявленные возможности базовой модели не следует считать подтверждёнными сравнительными результатами этой сборки.

Fx-Work — мультимодальная языковая модель класса 35B для профессиональных задач в средах с файлами и инструментами. Она разработана командой Endless Frontier на базе Qwen3.6-35B-A3B и дообучена на 20 тысячах траекторий взаимодействия с инструментами. Модель интерпретирует рабочие материалы разных типов, учитывает операционные ограничения, при необходимости формирует вызовы инструментов и создаёт результаты по заданным требованиям. Модель рассчитана на агентные рабочие сценарии: анализ документов и других материалов, выполнение последовательных задач и подготовку профессиональных результатов. Поддерживает изображения и видео вместе с текстом; карточка указывает английский язык. В README для запуска приведён контекст до 262 144 токенов. Заявленные результаты сравнительных оценок относятся к конкретным бенчмаркам и не гарантируют такого же качества в других задачах. Для работы с инструментами требуется окружающая агентная инфраструктура; сервер модели выдаёт текст и, при настройке, ответы с вызовами инструментов. Модель распространяется по лицензии Apache-2.0.

GLM-4.7-heretic — версия GLM-4.7 от Z.ai, обработанная методом abliteration с помощью Heretic v1.1.0. По данным карточки, изменение снижает частоту отказов, сохраняя качество исходной модели; в выбранном испытании зафиксировано 4 отказа из 100, а KL-дивергенция составила 0,0181. Модель предназначена для генерации текста и диалогов, а базовая GLM-4.7 рассчитана на программирование, агентные задачи и рассуждения. Это модель семейства GLM-4 MoE с 23,4 млрд параметров и контекстом до 202 752 токенов; метаданные указывают английский и китайский языки. Доступны веса в формате Safetensors и интерфейс чата. Лицензия — MIT.

Hermes-2-Pro-Mistral-7B-GGUF — это GGUF-квантизации языковой модели Hermes-2-Pro-Mistral-7B, разработанной NousResearch на базе Mistral-7B-v0.1. Квантизации подготовлены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи инструкционного общения, чат-сценарии, генерацию структурированного JSON и вызов функций. Модель представляет собой текстовую instruct-модель примерно на 7 млрд параметров, обученную с применением DPO и RLHF на данных, связанных с OpenHermes-2.5, включая синтетические данные и дистилляцию от GPT-4. Она ориентирована на английский язык и использует формат взаимодействия ChatML. Сведения о поддерживаемой длине контекста в README не указаны. Основное преимущество представленной версии — возможность локального запуска с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый и обеспечивает высокое качество при размере около 5,94 ГБ; более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству, особенно Q2_K и Q3_K. К ограничениям относятся ориентация на английский язык, текстовая модальность и возможные потери качества при агрессивной квантизации. Указанная лицензия — Apache-2.0.

Hermes-3-Llama-3.1-70B-GGUF — это квантизированная в формате GGUF версия языковой модели Hermes-3-Llama-3.1-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи ассистирования, ролевого общения, работу с синтетическими данными и дистилляцией, вызов функций и формирование структурированных ответов в JSON. Модель основана на Llama 3.1 с 70 млрд параметров и ориентирована на англоязычные сценарии. Она поддерживает инструкционный формат общения ChatML, режим JSON и function calling; в README приведён специальный шаблон промпта с системными, пользовательскими и ассистентскими сообщениями. Доступно множество вариантов квантизации с разным соотношением качества, размера и требований к памяти: от Q8_0 размером около 75 ГБ до крайне компактных IQ1_M и IQ2-вариантов. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M и варианты Q4. Сильной стороной модели является высокое качество старших вариантов квантизации и поддержка расширенных сценариев инструкционного использования, включая структурированный вывод и вызов функций. Ограничения связаны с большим размером 70-миллиардной модели, значительными требованиями к оперативной или видеопамяти и неизбежной потерей качества у низкобитных вариантов. Сведения о длине контекста и мультимодальных возможностях в README не указаны. Лицензия обозначена как llama3.

Это GGUF-сборка Huihui-Nex-N2-mini-abliterated, подготовленная LocalAI с использованием APEX — смешанной MoE-квантизации с учётом роли и слоя тензоров. Модель основана на гибридной архитектуре Qwen3.5 с 40 слоями, 256 экспертами (8 активны одновременно), линейным вниманием SSM и полным вниманием; всего около 35,1 млрд параметров, из которых активно около 3 млрд. В сборках MTP сохранена встроенная черновая голова предсказания следующего токена для спекулятивного декодирования. Модель предназначена для диалогов и задач с изображениями. Вариант APEX I-Quality калиброван на разнообразных примерах чата, кода, рассуждений и вызова инструментов. MTP-варианты могут ускорять генерацию, но требуют свежей сборки llama.cpp с поддержкой встроенного MTP; вариант без MTP совместим с более широким диапазоном сборок. Репозиторий содержит несколько вариантов GGUF-квантования примерно по 22,8–24,5 ГБ. Это uncensored-производная: удаление направления отказов может приводить к ответам на запросы, от которых исходная модель отказалась бы. Лицензия — Apache-2.0.

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX. Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM. Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский. Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

Liberated-Qwen1.5-14B — языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-14B. Это плотная авторегрессионная модель семейства Qwen, содержащая 13,4 млрд параметров. Она предназначена для диалогов и следования системным инструкциям, в том числе в длинных многоходовых беседах и при необычных или механических инструкциях. Модель обучалась на открытых наборах данных, включая SystemChat, OpenHermes-2.5 и наборы Code-Feedback; используется формат диалога ChatML. Базовая модель поддерживает контекст до 32 768 токенов, однако при дообучении использовались входные последовательности длиной 8 000 токенов, поэтому качество на более длинном контексте может варьироваться. В карточке указана лицензия other, а README сообщает, что модель подчиняется лицензии tongyi-qianwen. В обучающих данных не добавлялись ограничения или цензурирование; перед предоставлением модели пользователям автор рекомендует самостоятельно настроить слой выравнивания. Результаты оценивания в карточке не приведены.

Ling-3.0-tiny-MLX-4bit — MLX-конверсия модели inclusionAI/Ling-3.0-tiny, опубликованная rapid-mlx. Это языковая модель для генерации текста, рассуждений и вызова инструментов, рассчитанная на локальный запуск на компьютерах Apple Silicon через MLX и rapid-mlx. Модель использует разреженную MoE-архитектуру: всего 7,9 млрд параметров, из которых 1,3 млрд активируются для каждого токена; применяются 128 экспертов с выбором top-8 и одним общим экспертом. В архитектуре используется гибридный стек внимания KDA и MLA, контекст поддерживает до 131 072 токенов. Квантование выполнено в 4 битах с размером группы 64, размер файла составляет около 4,2 ГБ, поэтому модель помещается и работает на Mac с 8 ГБ unified memory. Языки и специализированные модальности в README не указаны; модель предназначена для работы с текстом. Сильными сторонами являются большое контекстное окно, низкое число активных параметров при сохранении общей ёмкости 7,9 млрд параметров, поддержка рассуждений и нативного разбора вызовов инструментов. Ограничения связаны с зависимостью от MLX и Apple Silicon, а также с необходимостью использовать rapid-mlx, поскольку архитектура bailing_hybrid пока не входит в upstream mlx-lm. 4-битное квантование может снижать точность по сравнению с полной версией, однако в README приведены результаты проверки соответствия реализации официальному коду. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Llama-3.1-8B-Magpie-Align-SFT-v0.2 — диалоговая языковая модель семейства Llama 3.1, разработанная Magpie-Align. Это дообученная версия Meta Llama 3.1 8B, обученная на наборах Magpie-Llama-3.1-Pro-500K-Filtered и Magpie-Reasoning-150K. Модель предназначена для диалогов, выполнения инструкций и рассуждений в текстовом формате; для лучшего результата следует использовать официальный шаблон чата Llama 3. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README сообщается о результатах, сопоставимых с Llama 3.1 8B Instruct при обучении только методом SFT, включая оценки AlpacaEval 2 и Arena Hard. Модель принимает текст и генерирует текст. README не перечисляет поддерживаемые естественные языки, поэтому язык в описание не добавлен. Использование регулируется лицензией Meta Llama 3.1 Community License.

Модель thebbg/Ma7ee7_Qwen3.8_4B_Distilled — дообученная версия Qwen3, опубликованная разработчиком thebbg. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. В карточке указано, что обучение проводилось с Unsloth. Модель принимает текст и выдаёт текст. Для неё заявлено контекстное окно до 262 144 токенов, а в метаданных указан английский язык. Базовая модель описана как подходящая для рассуждений, программирования и диалоговых задач; отдельные специализированные возможности этой версии не описаны. Лицензия — Apache-2.0.

NeuralHermes 2.5 - Mistral 7B — это диалоговая модель для генерации текста и следования инструкциям, разработанная Mlabonne на основе teknium/OpenHermes-2.5-Mistral-7B. Модель дополнительно обучена методом Direct Preference Optimization (DPO) на наборе диалогов mlabonne/chatml_dpo_pairs с шаблоном ChatML; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции, генерации текста и помощи с кодом. В README сообщается об улучшении результатов на нескольких бенчмарках относительно исходной модели, однако приведённые данные не гарантируют качество для конкретных задач. Доступна лицензия Apache-2.0; запуск возможен через LM Studio и другие интерфейсы.

Olmo Hybrid 7B — открытая авторегрессионная языковая модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Модель содержит около 6,3 млрд параметров и использует гибридную архитектуру: 75% слоёв основаны на gated DeltaNet, остальные — на многоголовом внимании. Она рассчитана на генерацию текста и поддерживает контекст до 65 536 токенов. Модель предназначена для продолжения текста, ответов на вопросы, рассуждений и генерации кода. По заявлению разработчиков, она эффективнее использует данные при предобучении, показывает улучшения на длинном контексте и снижает затраты памяти и повышает пропускную способность при инференсе на длинных последовательностях. Основной язык — английский. Модель предобучена на Dolma 3 и относится к базовым моделям OLMo Hybrid; карточка также описывает отдельные версии Think и Instruct, но этот репозиторий обозначен как Olmo Hybrid 7B. Веса доступны в формате safetensors и поддерживаются Transformers версии 5.3.0 или выше. Лицензия — Apache 2.0; разработчики рекомендуют учитывать правила ответственного использования Ai2. Модель может выдавать фактические ошибки и предвзятые или вредоносные ответы, поэтому результаты следует проверять.

Open-Instruct Self-Instruct 13B — языковая модель Allen Institute for AI (AI2), созданная дообучением LLaMA с 12,9 млрд параметров на датасете Self-Instruct. Это causal language model для генерации текста по инструкциям; для лучшего качества вход следует оформлять в специальном формате модели с переводами строк. Модель предназначена для выполнения разнообразных текстовых инструкций, ответов на вопросы, решения задач и генерации кода. Она поддерживает английский язык, имеет контекстное окно 2048 токенов и распространяется в формате PyTorch. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и генерации кода. Это diff дообучения, а не самостоятельный полный набор весов: для использования требуется исходная модель LLaMA в формате Hugging Face. Применяются лицензия модели из LICENSE.txt и исходная лицензия LLaMA; конкретные условия следует сверять с этими файлами.

Ornith-1.0-35B-GGUF-llamacpp-tp1 — это GGUF-версия языковой модели Ornith-1.0-35B, разработанной deepreinforce-ai, подготовленная для запуска через llama.cpp на одной GPU. Модель предназначена для генерации текста и кода, а также для сценариев локального сервинга с различными требованиями к скорости, объёму памяти и точности. В комплект входят варианты квантования Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также вариант IQ4_XS-MTP с интегрированной головой multi-token prediction для ускорения спекулятивной генерации при низкой конкуренции. Размер исходной модели составляет 35B параметров. Доступны артефакты объёмом примерно от 15,61 до 34,37 GiB на диске, с требованиями к загруженной VRAM примерно от 17,27 до 34,77 GiB в зависимости от квантования. Вариант Q4_K_M позиционируется как сбалансированный по скорости и памяти, Q6_K и Q8_0 обеспечивают наиболее высокую точность, а Q3_K_M предназначен для минимального потребления памяти. Для MTP-варианта заявлено ускорение однопоточной генерации примерно в 1,3 раза; при этом длинные детерминированные последовательности не являются побитно идентичными режиму без MTP. Сильными сторонами являются широкий выбор квантований, высокая скорость инференса через llama.cpp и возможность локального запуска на одной GPU. Ограничениями выступают требование режима tp=1, отсутствие поддержки multi-GPU tensor parallel serving в этой версии и неизбежная потеря точности у более компактных квантований. Лицензия — MIT.

Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED-FP8-vLLM — это FP8-квантизированная версия модели DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED, созданная kanocz для инференса в vLLM. Модель основана на архитектуре Qwen3.5 и представляет собой результат последовательной дообученной линейки с базой Qwen/Qwen3.5-9B, uncensored fine-tune и дистилляцией рассуждений в стиле Claude 4.6. Формат распространения — Apache 2.0. Модель предназначена для генерации текста, задач с рассуждениями и поддерживает режим thinking с парсером qwen3, вызов инструментов и мультимодальную работу с изображениями. Заявлена поддержка контекста до 262 144 токенов. README не указывает перечень поддерживаемых языков, поэтому языковые возможности отдельно не уточняются. Используется блочная динамическая квантизация FP8 E4M3 с размером блока 128×128; квантизировано 200 слоёв, а 560 компонентов, включая embeddings, norms, vision encoder, lm_head и специфичные для DeltaNet слои, сохранены в исходной точности. Размер весов составляет около 11,3 ГБ против примерно 19 ГБ в BF16. На RTX 3090 заявлена работа через Marlin kernel, а на Ada/Hopper — с native FP8; совместимость с vLLM протестирована. FP8 KV cache позволяет дополнительно экономить память. Ограничения включают зависимость от vLLM для проверенного сценария, отсутствие поддержки llama.cpp и отсутствие валидации в SGLang; для полной конфигурации на RTX 3090 требуется около 22,5 ГБ из 24 ГБ видеопамяти.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — языковая мультимодальная модель на базе Qwen3.5-9B, опубликованная trinityomnis. В README указано, что это результат многоэтапного дообучения и слияния нескольких моделей, выполненного автором совместно с Nightmedia; среди использованных базовых моделей названа DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Модель ориентирована на английский и китайский языки, а лицензия указана как Apache-2.0. Модель предназначена для общих задач, следования инструкциям, рассуждений, программирования, творческого письма, художественной литературы и ролевых сценариев. Она поддерживает режимы thinking/reasoning и instruct, заявлена как полностью uncensored и рассчитана на контекст до 256k токенов. Включена обработка изображений, но для работы с vision требуется отдельно загрузить совместимый файл mmproj и разместить его рядом с GGUF-файлом. Доступны обычные GGUF-квантизации и варианты MTP с multi-token prediction. Все варианты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; MTP-варианты дополнительно используют Q8_0 для MTP-тензоров и могут обеспечивать более высокую скорость при достаточном уровне token acceptance. В README приведены результаты на ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, где модель превосходит указанную базовую Qwen3.5-9B и в отдельных показателях сопоставима с более крупными моделями. При этом заявленные бенчмарки не гарантируют превосходство в любых задачах, а производительность MTP зависит от температуры, параметров генерации, приложения и оборудования; при низком token acceptance обычная квантизация может быть быстрее.