II.3Рефакторинг, миграция и модернизация

unsloth/Qwen3-4B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-4B-Base, подготовленная Unsloth и основанная на модели Qwen от команды Qwen. Это каузальная языковая модель на стадии предобучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, логического рассуждения и работы с многоязычными данными. Поскольку модель является базовой, она не заявлена как специально обученная для диалогов или следования инструкциям. Модель содержит около 4,0 млрд параметров, из них 3,6 млрд без учёта embedding-слоёв, имеет 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. Семейство Qwen3 предварительно обучалось на 36 трлн токенов на 119 языках с использованием данных для кодирования, STEM, рассуждений, книг, многоязычных и синтетических источников. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; при этом квантование может ограничивать точность по сравнению с полной или менее агрессивно квантованной версией. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3.

sudo-0x2a/Qwen3.6-27B-NVFP4-GPTQ — квантованная версия базовой модели Qwen/Qwen3.6-27B, подготовленная автором репозитория sudo-0x2a. Это текстогенерационная модель с поддержкой визуальных компонентов, предназначенная прежде всего для локального запуска и инференса на высокопроизводительном потребительском оборудовании. Тестирование проводилось на одной NVIDIA RTX 5090 с использованием vLLM и FP8 для KV-кэша. Модель использует смешанную точность: слои внимания, линейного внимания и MLP квантованы в NVFP4, а vision-компоненты, MTP, lm head и embeddings сохранены в BF16. При квантовании применялись SmoothQuant и GPTQ, калибровка выполнена на 512 образцах с длиной последовательности 8192. По приведённым локальным оценкам модель показывает 85,0 на подмножестве MMLU-Pro и GPQA Diamond, 57,0 на SWE-bench Verified Easy и 84,0 на подмножестве MMMU Pro; результаты напрямую сопоставимы с BF16-оценками ограниченно, поскольку получены в разных средах. Главное преимущество — существенное снижение требований к памяти при сохранении широких возможностей базовой модели, включая работу с текстом, кодом и визуальными задачами. При этом надёжность работы с длинным контекстом не гарантируется: из-за сильного квантования чувствительных linear attention layers возможна деградация на больших длинах последовательности. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Qwable-Holo3-Qwopus — экспериментальная мультимодальная модель, созданная автором nightmedia слиянием NuSLERP нескольких моделей на базе Qwen3.6-35B-A3B, включая Holo3, Qwopus и Qwable. В метаданных указана архитектура семейства Qwen3.5 MoE и класс Qwen3_5MoeForConditionalGeneration; репозиторий содержит веса safetensors. Базовая модель имеет 35 млрд параметров, но в карточке нет отдельного подтверждения размера итоговой сборки или длины её контекста. Модель предназначена для диалога и следования инструкциям, работы с изображениями, рассуждений, программирования, математики и творческого письма. В README описано переключение режимов быстрого ответа и глубокого рассуждения с помощью шаблона чата. Метаданные указывают поддержку английского, китайского, японского и испанского языков. Автор приводит сравнительные результаты нескольких вариантов квантования и показатели perplexity, памяти и скорости токенов. Модель распространяется по лицензии AGPL-3.0. Автор отмечает, что использованный шаблон чата — ранняя версия и модель не проверялась с его актуальной версией; поэтому поведение переключателей рассуждения может зависеть от шаблона и конфигурации.

Это квантованная публикация модели Qwen3.8-27B-Brainwaves-WFH-BF16 в формате GGUF от mradermacher. В репозитории приведены варианты квантования и дополнительные файлы mmproj для мультимодального использования; метаданные указывают размер формата BF16 и поддержку чата и следования инструкциям. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Метаданные также описывают её как многоязычную и отмечают задачи программирования, математики, рассуждений и творческого письма. Для GGUF указана лицензия Apache-2.0. README не содержит сведений о точном контекстном окне или конкретных ограничениях качества.

Qwen3.8-Flash-Next-IQ4_XS-GGUF — это квантизированная версия базовой модели Qwen/Qwen3.8-Flash-Next-FP8 в формате GGUF. Исходная модель разработана командой Qwen, а данный вариант подготовлен пользователем julianmb с использованием ROCmFPX и проверенного конвейера преобразования. Модель предназначена для генерации текста, включая повседневный диалог, программирование и работу с длинным контекстом. В репозитории представлены варианты квантизации IQ4_XS, включая статический файл размером около 116 GiB, imatrix-квантизацию M2 размером около 115 GiB и облегчённый PLE-вариант размером около 91 GiB. Для M2 заявлены 5,56 бит на вес и лучшее измеренное значение perplexity среди представленных вариантов; PLE-вариант уменьшает размер за счёт квантизации 51-миллиардной n-gram lookup table до iq4_nl. Также доступен отдельный MTP-файл Q8_0 размером около 3,9 GiB для ускоренной генерации в совместимых движках. Модель ориентирована на запуск на системах с 128 GiB унифицированной памяти, в частности на Strix Halo, через совместимые сборки llama.cpp и Vulkan. Заявлена работа с контекстом до 256k токенов при использовании SSD-PLE и специальных параметров запуска. Производительность зависит от варианта файла, глубины контекста, MTP и конкретного движка. Важное ограничение — PLE-вариант несовместим с некоторыми форками движков, которые не выполняют требуемую деквантизацию; в таких случаях рекомендуется статический вариант IQ4_XS или M2. Сведения о поддерживаемых языках и точной архитектуре в README не указаны. Лицензия обозначена как qwen-community-license-1.0.

Signal 3.8 27B — дообученная AgentionAI мультимодальная модель на архитектуре Qwen3.5 с 27 млрд параметров, предназначенная для более краткой и быстрой генерации ответов. По данным разработчика, при сохранении качества на их проверочных наборах модель сокращала число токенов в ответах и рассуждениях; после обновления весов 13 сентября 2026 года эти показатели ещё не были повторно измерены. Изменена только матрица выходного слоя lm_head, остальные веса, включая vision encoder, проектор и MTP draft head, совпадают с Qwen/Qwen3.8-27B. Модель поддерживает диалог, анализ изображений и интерфейс вызова инструментов. Её можно использовать для лаконичных ответов на вопросы, программирования, рассуждений и задач с изображениями; автор приводит настройки запуска с контекстом до 65 536 токенов. Для стабильной краткой генерации рекомендуются параметры семплирования и кэширования, указанные в карточке модели. Модель распространяется в формате BF16 через Transformers и совместима с vLLM, SGLang и конвейерами квантизации. Лицензия — Apache-2.0. Приведённые сравнения качества и скорости относятся к конкретным тестам разработчика; измерения токеновой экономии для обновлённых весов ещё не завершены.

Yosegi-2 — объединённая языковая модель от Local-Novel-LLM-project, созданная с помощью mergekit и метода TIES. Она предназначена для генерации текста и диалоговых сценариев; при объединении использованы Mistral-7B-v0.3, MetaMath-Mistral-7B, speechless-zephyr-code-functionary-7b и локальная LoRA-адаптация Ninja-v1-RP-expressive-v2. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Карточка модели PS4Research/4wvQl2UniBkYhlEJ на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

TheBloke опубликовал модель Jon Durbin Airoboros 33B GPT4 1.4 в формате PyTorch fp16, объединив её с SuperHOT 8K от Kaio Ken. Это плотная авторегрессионная модель семейства LLaMA примерно с 32,3 млрд параметров и контекстом до 8192 токенов. В README указано, что для поддержки расширенного контекста при инференсе требуется trust_remote_code=True или соответствующий monkey patch. Модель предназначена для диалогов и ответов на инструкции, включая вопросы по предоставленному контексту, генерацию текстов, ролевые сценарии, загадки и примеры кода. Обучающие данные Airoboros были синтетически созданы с помощью GPT-4; в карточке также отмечены примеры кода на десяти языках программирования. Для полного качества ответы на закрытые вопросы по контексту рекомендуется задавать в специальном формате, описанном в README. Веса доступны в формате PyTorch fp16 для GPU-инференса и дальнейшей конвертации. README помечает исходную версию Airoboros как ещё не протестированную; модель требует совместимого окружения и настройки расширенного контекста. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с файлами репозитория.

Axeron Forge — объединённая модель генерации текста, созданная TuralBayev с помощью инструмента forgelm. В основе лежит Qwen/Qwen2.5-3B; методом Task Arithmetic объединены веса Qwen2.5-Coder-3B-Instruct и Qwen2.5-3B-Instruct с базовой моделью. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций; наличие компонентов Instruct и Coder позволяет использовать её для вопросов и ответов, помощи с кодом и структурированных ответов. Метаданные отмечают интерфейс вызова инструментов, однако карточка не содержит оценок качества или примеров, подтверждающих надёжность этой возможности. Лицензия в предоставленных данных не указана.

DeepSeek-R1-Distill-Qwen-32B-3MPER0RR-abliterated — экспериментально модифицированная версия модели DeepSeek-R1-Distill-Qwen-32B от 3MPER0RR. Это плотная авторегрессионная языковая модель семейства Qwen2 для генерации текста и диалогового взаимодействия. В метаданных указаны 32 млрд параметров и контекст до 131 072 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации ответов и ведения диалога. Автор сообщает, что модель модифицирована методом «abliteration», протестирована и сохранена; подробности метода, тестирования и измерений качества в карточке не раскрыты. Основа — DeepSeek-R1-Distill-Qwen-32B, дистиллированная модель на базе Qwen2.5, ориентированная на рассуждения, математику и программирование. Лицензия — MIT.

mlx-community/dolphin3.0-llama3.2-3B-4Bit — 4-битная версия языковой модели Dolphin3.0-Llama3.2-3B, разработанной cognitivecomputations и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.21.1. Модель предназначена для локального запуска через библиотеку mlx-lm и генерации ответов в диалоговом формате с применением chat template, если он поддерживается токенизатором. Модель основана на архитектуре семейства Llama 3.2 и содержит около 3 миллиардов параметров; используется 4-битное квантование, уменьшающее требования к памяти по сравнению с полноформатной версией. В README указано, что основной язык — английский. Обучение или дообучение опиралось на наборы данных для программирования, математики, инструкций, function calling, агентных сценариев и диалогов, поэтому модель ориентирована на ответы по этим типам задач. Сильными сторонами являются компактный размер и готовность к запуску в экосистеме MLX, а ограничениями — возможное снижение точности из-за 4-битного квантования, неизвестные параметры контекстного окна и отсутствие в README подробных результатов оценки качества. Лицензия указана как llama3.2.

Dolphin Mistral 24B Venice Edition — языковая модель для генерации текста, разработанная Dolphin в сотрудничестве с Venice.ai на базе Mistral-Small-24B-Instruct-2501 от Mistral AI. Модель предназначена для общего назначения: диалоговых систем, ассистентов и встраивания в приложения, где владельцу нужен контроль над системным промптом, настройками выравнивания и данными. Она позиционируется как максимально неограниченная версия Mistral 24B и используется в экосистеме Venice, где представлена под названием Venice Uncensored. Модель относится к классу text-generation и совместима с Transformers, vLLM, Ollama, LM Studio, SGLang и TGI. Указан формат FP8; размер базовой модели — 24B параметров. Сохраняется стандартный chat template Mistral. Для инференса рекомендуется низкая температура, например 0,15; в примере для vLLM заявлена поддержка контекста до 131 072 токенов, вызова инструментов и изображений, однако архитектура мультимодальности и точный набор поддерживаемых языков в README не описаны. Сильная сторона модели — управляемость: системный владелец самостоятельно задаёт тон, правила поведения и ограничения, а также может разворачивать модель локально или в собственной инфраструктуре. Ограничение заключается в намеренно минимальном уровне встроенных этических и безопасностных ограничений, поэтому результаты требуют внешнего контроля и настройки политик применения. Модель распространяется по лицензии Apache-2.0.

G9v3-3B-Heretic-Abliterated-GGUF — плотная каузальная языковая модель с 3 млрд параметров, разработанная командой AI9Stars. Это GGUF-сборка базовой модели Vortecks/G9v3-3B-Heretic-Abliterated, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Модель относится к задачам генерации текста и рассчитана на повседневное использование в роли ассистента, программирование, сценарии с вызовом инструментов и задачи, требующие рассуждений. Заявлена поддержка английского и китайского языков, а также сценариев с длинным контекстом, однако точный размер контекстного окна в README не указан. Сборка представляет собой вариант heretic abliterated: из активационного пространства удалены направления, связанные с отказами, поэтому модель позиционируется как uncensored и обычно отвечает на более широкий круг запросов, чем исходная instruction-tuned версия. Это одновременно является ограничением: у варианта отсутствуют обычные защитные механизмы safety-alignment, поэтому его ответы требуют дополнительной фильтрации и контроля. Доступны варианты GGUF с точностью от F32, F16 и BF16 до различных квантов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 1,4 до 12 ГБ. Квантизации созданы с помощью llama.cpp, а низкобитные варианты IQ1_*–IQ3_XXS — с использованием importance matrix. Модель распространяется по лицензии Apache-2.0. Для запуска и выбора компромисса между качеством, скоростью и потреблением памяти рекомендуется использовать совместимые с llama.cpp GGUF-квантизации; в README отдельно отмечены Q6_K, Q5_K_M, Q5_K_S и Q4_K_M.

Gemma 4 26B A4B IT Heretic (FP8 Static) — офлайн-статически квантованная версия модели coder3101/gemma-4-26B-A4B-it-heretic, опубликованная в репозитории cloud19. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку текста и изображений, а также для высокопроизводительного инференса на оборудовании NVIDIA с FP8 tensor cores, например архитектур Hopper и Blackwell. Модель основана на архитектуре Gemma 4 с MoE-компонентами; заявленный размер — 26B параметров при конфигурации A4B. Квантование выполнено с помощью AutoFP8 в формате FP8 W8A8 со статическим масштабированием активаций. Для калибровки использовано 512 примеров из набора mgoin/ultrachat_2k. Визуальные слои и маршрутизаторы MoE сохранены в исходной точности bfloat16, чтобы сохранить мультимодальность и совместимость с vLLM. Указан контекст до 131072 токенов и поддержка развёртывания через vLLM версии 0.19.0 или новее. Сильные стороны модели — повышенная скорость инференса и эффективность использования NVIDIA-оборудования при сохранении разговорных возможностей, а также поддержка мультимодальности и автоматического выбора инструментов. Ограничения связаны с зависимостью от совместимого FP8-оборудования и актуальной версии vLLM; README не содержит подробных результатов оценки качества, перечня поддерживаемых языков и точных требований к видеопамяти. Модель распространяется по лицензии Apache-2.0.

google/gemma-4-31B-it-assistant — вариант Gemma 4 от Google DeepMind с инструкционной настройкой и поддержкой Multi-Token Prediction (MTP). В спекулятивном декодировании небольшой черновой модуль предлагает несколько следующих токенов, которые основная модель проверяет параллельно; карточка заявляет ускорение генерации до 3 раз при сохранении того же качества, что и при обычной генерации. Архитектура плотная, веса опубликованы в формате safetensors, библиотека — Transformers. Модель предназначена для ускорения генерации текста с низкой задержкой, в том числе при локальном развёртывании. Семейство Gemma 4 поддерживает работу с текстом и изображениями, а также генерацию кода, рассуждения и вызов инструментов; у модели заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка. Карточка семейства также описывает видео и аудио, но аудио поддерживается только вариантами E2B, E4B и 12B, а не 31B. Лицензия — Apache 2.0. Ускорение зависит от использования в совместимом конвейере спекулятивного декодирования; MTP-черновик не является самостоятельной заменой целевой модели. В карточке не приведены отдельные сведения об оценках и ограничениях именно этого чекпойнта.

Gemma-4-E2B-it-qat-MXFP4-CRACK — мультимодальная модель dealignai на базе Google Gemma 4 E2B Instruct. Она предназначена для диалогов, ответов на вопросы, многошаговых рассуждений и генерации кода, а также принимает изображения и аудио. В карточке заявлены сохранённые возможности работы с изображениями и аудио, поддержка нескольких языков и архитектура Gemma 4 с плотной сетью и гибридным скользящим и глобальным вниманием. Модель представлена в формате MXFP4 с 4-битной квантизацией и рассчитана на запуск через vMLX на компьютерах Apple Silicon с достаточной объединённой памятью. Автор сообщает о сохранении результатов MMLU почти на уровне базовой модели и об удалении отказов на HarmBench; эти оценки приведены в README и не являются независимой проверкой. Для запуска требуется vMLX с поддержкой Gemma 4; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки. Модель опубликована под лицензией Gemma. Автор указывает исследовательское назначение и возлагает на пользователей ответственность за соблюдение применимых законов и правил.

Hercules-3.0-Mistral-7B — языковая модель на архитектуре Mistral, дообученная Locutusque на базе Mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с весами используется Transformers, файлы представлены в формате safetensors. Модель предназначена для диалогов и следования сложным инструкциям в научных и технических областях, включая биологию, химию, физику, математику, медицину и информатику. Она также рассчитана на вызов функций и помощь с кодом, в том числе в сценариях, где функции используются для исполнения кода. Обучение проводилось на Hercules-v3.0 и наборе разнообразных диалоговых, инструкционных, медицинских, математических и кодовых данных. Модель может выдавать токсичные ответы, ошибаться и галлюцинировать, особенно в специализированных темах; вызов функций также может быть использован небезопасно. В README рекомендуется предпочесть Hercules-2.5 до выхода Hercules-3.1 из-за ухудшения качества, связанного с одним из наборов обучения. Лицензия — Apache-2.0.

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX. Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM. Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский. Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

Карточка модели AgentPublic/llama3-instruct-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Mellum2 Instruct (SFT) — промежуточная модель с инструкционной настройкой, выпущенная JetBrains. Это контрольная точка этапа supervised fine-tuning в конвейере обучения Mellum2 Instruct, предназначенная для изучения этого этапа, экспериментов с последующей настройкой предпочтений или RLVR и сравнения с итоговой RL-настроенной версией. Модель использует архитектуру Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. В ней сочетаются слои скользящего окна и полное внимание; контекст — до 131 072 токенов. Метаданные указывают 1,9 млрд параметров. Модель принимает текст и генерирует текст; карточка сообщает об обучении на смешанных данных для кода, агентных сценариев, вызова инструментов, следования инструкциям, общего диалога, идентичности и безопасности. Контрольная точка получена после трёх эпох SFT от JetBrains/Mellum2-12B-A2.5B-Base. Авторы рекомендуют для качественного следования инструкциям в производственных сценариях итоговую версию Instruct. Модель доступна по лицензии Apache-2.0.

NeoHorse-1-4B-onw — TokenRhythm/NeoHorse-1-4B для запуска через движок onw на Intel NPU. Текстовая плотная авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров и контекстом до 262 144 токенов. В README описана структура из 32 слоёв: 24 слоя Gated DeltaNet и 8 слоёв с gated attention. Веса преобразованы для движка onw и квантованы: группы весов используют INT4, выходной слой — INT8, эмбеддинги — INT4. Модель предназначена для диалогов, следования инструкциям, вызова инструментов и агентных сценариев, а также задач программирования и рассуждений. Поддерживает японский и английский языки, интерфейс вызова инструментов, совместимый с OpenAI API, включая параллельные вызовы. README приводит результаты измерений скорости и совпадения ответов на конкретном тестовом устройстве; эти показатели не гарантированы на другом оборудовании. Для работы нужны движок onw и совместимый Intel Core Ultra с NPU. Лицензия — Apache 2.0.

TheBloke разместил эту модель в формате PyTorch fp16: это Nous-Hermes-13B от Nous Research, объединённая с адаптером SuperHOT 8K от Kaio Ken. Модель основана на плотной архитектуре LlamaForCausalLM и содержит около 12,9 млрд параметров. При настройке инференса с поддержкой remote code она рассчитана на контекст до 8192 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая творческие ответы, ролевые сценарии и задачи по программированию. Она обучена на более чем 300 тысячах инструкций, преимущественно на синтетических данных; README отмечает склонность к длинным ответам и заявляет низкий уровень галлюцинаций. Используется формат запросов Alpaca. Веса представлены в fp16 для GPU-инференса и дальнейшей конвертации. Лицензия указана как other, поэтому конкретные условия использования следует проверять в файлах репозитория. Модель создана в 2023 году; заявленные свойства и результаты бенчмарков приведены авторами карточки и не являются независимой оценкой.

Occiglot-7B-FR-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер MistralForCausalLM с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель настроена для диалогового взаимодействия по шаблону ChatML и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и выполнения инструкций на французском и английском языках, включая задачи с кодом. Обучающие данные были поровну распределены между французским и английским; в README приведены предварительные результаты оценивания, причём результаты для французского следует трактовать осторожно из-за частично машинного перевода тестов и англоязычных запросов. Это ранний выпуск исследовательского проекта. Модель не проходила выравнивание по безопасности и может выдавать проблематичные ответы. Лицензия — Apache 2.0.

VMware/open-llama-7b-v2-open-instruct — инструктивно дообученная версия OpenLLaMA 7B v2 от VMware на наборе Open-instruct. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов, предназначенная для генерации текста и ответов на инструкции. В карточке отмечено улучшение результатов на задачах программирования относительно первой версии OpenLLaMA; для инструктивного дообучения использован шаблон Alpaca. Основной язык карточки — английский. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, объяснения понятий и генерации примеров кода. Она распространяется в форматах PyTorch и safetensors по лицензии CC BY-SA 3.0. Для корректной токенизации в README рекомендуется отключить быстрый токенизатор, поскольку он может кодировать текст неверно.

plato-9b — диалоговая языковая модель на 9 млрд параметров, разработанная DeepVK дообучением google/gemma-2-9b-it. Она предназначена прежде всего для генерации ответов на русском языке и общения в формате диалога. Модель обучали с supervised fine-tuning и оптимизацией предпочтений на инструкционных данных, включавших диалоги, математику, биологию, химию, код и общие знания. Архитектура — плотная Gemma 2 для причинной генерации текста; контекст — до 8192 токенов. Метаданные указывают поддержку русского и английского языков. В карточке приведены оценки на русскоязычных наборах arena-general-ru и arena-hard-ru с оцениванием LLM-as-a-judge. Эти результаты характеризуют конкретные тесты и не гарантируют качество для каждой задачи. Модель принимает текст и генерирует текст. Распространяется по лицензии Apache-2.0.

SirSahOl подготовил конверсию инструктивной языковой модели Qwen2.5-7B-Instruct для запуска через MLX на устройствах Apple Silicon. Это плотная авторегрессионная модель Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Репозиторий содержит веса в формате safetensors с точностью 16 бит; модель поддерживает контекст до 32 768 токенов. Она предназначена для диалогов, генерации текста, кода и структурированных ответов, а также для локальной оценки и сравнения результатов на совместимых устройствах Apple. Модель подходит для разработки и тестирования чат-приложений, помощи с кодом и ответов на инструкции. Для запуска требуется около 15,2 ГБ объединённой памяти по оценке README; фактическая скорость зависит от устройства и длины контекста. Конверсия оптимизирована для GPU Apple Silicon и не предназначена для обычного запуска в других средах MLX. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Разработка выполнена в сотрудничестве DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель распространяется в формате GGUF, включая обычные варианты и варианты с multi-token prediction (MTP). Доступны квантизации с использованием NEO IMATRIX, а выходной тензор в описании заявлен как частично сохранённый в 16-битной точности. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и других универсальных применений. Заявлена поддержка текста и изображений, а также английского и китайского языков. Размер модели — 27B параметров; конкретный максимальный размер контекста в README не указан. Дообучение ориентировано на повышение общего интеллекта, способности к рассуждению и качеству следования инструкциям, без намеренного изменения базовых возможностей Qwen. Модель позиционируется как uncensored и heretic. К сильным сторонам относятся наличие нескольких вариантов квантизации для запуска на потребительском оборудовании, улучшенная точность GGUF благодаря NEO IMATRIX и заявленные автором высокие результаты на ряде бенчмарков. При этом приведённые показатели и превосходство над другими моделями являются утверждениями README и требуют независимой проверки. Возможны ограничения, связанные с качеством конкретной квантизации, требованиями к памяти и производительности оборудования, а также с отсутствием точных данных о контекстном окне и детальных условиях работы с изображениями. Лицензия модели — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели с Nightmedia, TeichAI, armand0e и trohrbaugh. Это многоэтапная дообученная и объединённая модель, созданная с использованием Unsloth и рассчитанная на запуск на потребительском оборудовании. В README заявлена поддержка английского и китайского языков, а также vision, однако подробности о визуальной архитектуре и максимальном размере контекста не указаны. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, художественной генерации, ролевых сценариев и универсального диалога. Среди заявленных характеристик — улучшенные instruction following, интеллект, problem solving и thinking/reasoning. Доступны regular и MTP GGUF-квантизации, включая 4-битные и 8-битные варианты; все кванты используют NEO IMATRIX, а часть выходного тензора переведена в 16-битную точность. MTP-варианты поддерживают multi-token prediction. К сильным сторонам относятся заявленные улучшения относительно базовой Qwen3.6-27B, высокое качество низкоразрядных квантов, работа с текстом и изображениями, а также широкий спектр сценариев применения. Ограничения включают отсутствие в README точных результатов независимого тестирования, детальных требований к памяти и производительности, размера контекста и описания формата vision-входов. Модель распространяется по лицензии Apache-2.0.