II.7DevOps, облако и эксплуатация IT-систем

Qwen3.8-27B-nvfp4full-dflash2-NInfer — мультимодальная conversational-модель на базе Qwen3.8-27B, подготовленная в формате артефакта NInfer. В README разработчик базовой модели явно не указан; указаны исходные проекты Qwen/Qwen3.8-27B и unsloth/Qwen3.8-27B-NVFP4. Артефакт дополнен модулем DFlash2 для speculative decoding и предназначен прежде всего для запуска через форк gpillon/ninfer. Модель рассчитана на генерацию текста, диалоговые сценарии, обработку изображений и задачи coding-agent, особенно при большом числе параллельных запросов с общим системным промптом и схемами инструментов. Форк движка поддерживает повторное использование префиксов, двухуровневое хранение KV-кэша, защиту длительных сессий от вытеснения, streaming и разбор tool calls. Для общих префиксов заявлено повторное использование примерно 99% предварительного вычисления, однако эти показатели относятся к исходному форку движка, а не являются универсальной характеристикой модели. Размер модели — 27B параметров. Используется профиль весов NVFP4-full, включая 281 NVFP4-тензор и 9 BF16-тензоров-исключений; размер файла артефакта составляет около 18,07 GiB. Модуль DFlash2 представляет собой пятислойный sliding-window drafter с окном 2048 и скрытой размерностью 5120. Поддержка языков, точное максимальное контекстное окно базовой модели и фактические характеристики качества в README не указаны; упомянут 1M-context envelope движка NInfer. Главные ограничения — артефакт совместим только с NInfer и не является checkpoint для Transformers, Safetensors или GGUF. Для использования требуется форк gpillon/ninfer с поддержкой DFlash2. Указана лицензия Apache 2.0.

dippitydoodle/Qwen3-8B-heretic — декензурированная версия Qwen3-8B, созданная с помощью Heretic v1.4.0. Это плотная авторегрессионная языковая модель на 7,6 млрд параметров с архитектурой Qwen3ForCausalLM; веса представлены в формате safetensors. Модель предназначена для диалоговой генерации текста и задач, в которых требуется меньше отказов на запросы: в карточке указано 15 отказов из 100 против 100 из 100 у исходной модели. Модель унаследовала от Qwen3 поддержку диалога, рассуждений, следования инструкциям, программирования, перевода и более чем 100 языков и диалектов. Метаданные указывают контекст до 40 960 токенов. README сообщает о KL-дивергенции 0,0577 относительно оригинала; это показывает, что изменение поведения сопровождается некоторым отклонением от исходной модели. Лицензия — Apache-2.0.

Kaoeiri/Qwenwify2.5-32B-v3.98 — языковая модель семейства Qwen2, созданная разработчиком Kaoeiri путём объединения предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована Qwen/QwQ-32B-Preview; в объединение также вошли Sao10K/32B-Qwen2.5-Kunou-v1, Kaoeiri/Qwenwify-32B-v3 и Dans-DiscountModels/Qwen2.5-32B-ChatML. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации диалоговых ответов. Заявленная длина контекста — 32 768 токенов. Метаданные отмечают поддержку интерфейса вызова инструментов. Модель может быть полезна для математических рассуждений и программирования благодаря свойствам базовых моделей, однако отдельные результаты оценки для этого объединения не приведены. Лицензия — CC BY-NC-ND 4.0, с ограничениями на коммерческое использование и создание производных распространённых версий; тег карточки предупреждает, что модель подходит не для всех аудиторий.

QWQ-Rombos-ties-TEST2 — экспериментальное объединение двух предварительно обученных языковых моделей, созданное сообществом mergekit-community. Модель использует плотную архитектуру Qwen2ForCausalLM и объединена методом SLERP из Qwen/QwQ-32B-Preview и rombodawg/Rombos-LLM-V2.5-Qwen-32b. Модель содержит 32 млрд параметров, принимает текст и предназначена для генерации диалоговых ответов, математических рассуждений и программирования. Поддерживает контекст до 32 768 токенов; в метаданных также отмечен интерфейс для вызова инструментов. Языковая поддержка отдельно не перечислена. Веса доступны в формате safetensors, библиотека для работы — Transformers. Это экспериментальная сборка слияния, поэтому её качество и поведение могут отличаться от исходных моделей. Лицензия в предоставленных данных не указана.

SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.

Trinity Nano Preview — экспериментальная чат-модель семейства Trinity от Arcee AI, созданная дообучением Trinity-Nano-Base. В README она описана как разреженная MoE-модель с архитектурой AfmoeForCausalLM, 6 млрд параметров и примерно 1 млрд активных параметров; метаданные указывают 880,3 млн параметров. Поддерживает контекст до 131 072 токенов и работает с текстом на нескольких языках. Модель предназначена для диалогов и генерации текста. Разработчики описывают её как открытую по весам модель для предприятий и энтузиастов, обученную на 10 трлн токенов с дополнительным акцентом на математике и коде. README предупреждает, что в этой предварительной экспериментальной версии возможна нестабильность в отдельных сценариях. Указанная в README лицензия — OpenMDW-1.1; метаданные Hugging Face обозначают её как other.

Trismal-NeurAmoclion-7B-Base-Ties — объединённая модель на основе Mistral, созданная JoPmt с помощью LazyMergekit. Она объединяет JoPmt/Trismal-HyperAmocles-7B-Base-Ties и Locutusque/NeuralHyperion-2.0-Mistral-7B методом TIES. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста. Описание базовой модели указывает на поддержку сложных вопросов, научных рассуждений, генерации кода и диалогов; README не уточняет, насколько эти возможности сохраняются после слияния. Доступные сведения не описывают лицензию или языки модели.

Masterjp123/XOrcaSlimWin-13B — объединённая SLERP-модель на основе Xwin-Lm-13B, Xwin-math-13B, XwinCoder-13B и SlimOrca-13B. Она предназначена для генерации текста и сочетает возможности диалоговой модели, решения математических задач и работы с кодом. Модель построена на архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README предупреждает о возможных проблемах при использовании формата Alpaca. Метаданные указывают лицензию Llama 2. README также упоминает GGUF-квантизацию, хотя в доступных метаданных формат файлов указан как safetensors.

airoboros-13b-gpt4-1.3 — диалоговая модель jondurbin, дообученная методом QLoRA на базе LLaMA с использованием синтетических инструкций, созданных GPT-4. Это версия с 12,9 млрд параметров для генерации текста и ответов на запросы в формате чата; в обучающие данные добавлены задания на рассуждение в стиле Orca, инструкции по программированию и примеры многостороннего диалога. Модель рассчитана на текстовый ввод и выдачу текста. Для работы используется шаблон диалога на основе Vicuna; нативный контекст составляет 2048 токенов. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Автор предупреждает, что в этой версии есть проблемы и рекомендует дождаться версии 1.4. Ответы могут быть неточными; модель не следует считать надёжным источником без проверки.

Darwin-28B-Opus — языковая модель для рассуждений, созданная командой Darwin путем эволюционного слияния Qwen/Qwen3.6-27B и модели rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled. Она сохраняет плотную архитектуру Qwen3.6 с гибридным линейным и полным вниманием и наследует стиль рассуждений, полученный дистилляцией поведения Claude Opus. Модель содержит 27,6 млрд параметров, представлена в формате BF16 и рассчитана на генерацию текста в режиме диалога и многошаговые рассуждения. Модель предназначена для решения сложных научных и математических задач, генерации и отладки кода, а также ответов на вопросы, требующие последовательного анализа. В README приведен результат 88,89% на GPQA Diamond при трехэтапной адаптивной оценке; он зависит от описанного протокола сэмплирования и уточнения ответов. Основной язык — английский; также заявлена поддержка корейского, китайского и японского языков. Полный вывод требует около 55 ГБ видеопамяти. Лицензия — Apache 2.0.

Карточка модели LUTingYu/DeepSeek-R1-0528-Qwen3-8B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-0528-Qwen3-8B, поэтому описание составлено по ней. DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.

Это текстовая диалоговая модель Richard Young на базе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. В исходной модели цепочки рассуждений DeepSeek-R1-0528 были дистиллированы в Qwen3-8B; затем с помощью Heretic выполнена абляция направления отказа без повторного обучения. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и принимает контекст до 131 072 токенов. Модель предназначена для генерации ответов с рассуждениями, в том числе при решении математических и логических задач, программировании, творческом письме и учебных сценариях. Карточка сообщает, что абляция заметно снижает частоту отказов и что модель сохраняет близкое к исходной поведение по измеренной KL-дивергенции; эти оценки приведены автором модели. Поддерживаются диалоговый режим и интерфейс вызова инструментов. Модель работает с текстом и распространяется в формате safetensors. Лицензия — MIT. Из-за уменьшения числа отказов модель может отвечать на запросы, которые исходная версия отклоняет; следует учитывать это при выборе сценария применения. Результаты и поведение модели могут отличаться от приведённых в карточке оценок.

Dolphin-2.6-mistral-7b-dpo-laser-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Модель относится к семейству Mistral и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В метаданных указан размер 7B, текстовая модальность и поддержка английского языка. Обучение исходной модели связано с наборами данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; также указано DPO дообучение в названии модели. Главная особенность этой версии — поставка в GGUF с вариантами квантования от 2 до 8 бит, что позволяет запускать модель локально с различными компромиссами между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp и совместимыми приложениями и библиотеками для локального запуска. К ограничениям относятся возможная потеря качества при низкобитном квантовании, отсутствие заявленных характеристик контекстного окна и подробных результатов оценки, а также отсутствие подтверждения поддержки других языков помимо английского. Модель распространяется по лицензии Apache 2.0.

Gemma-4-E2B-it-qat-MXFP4-CRACK — мультимодальная модель dealignai на базе Google Gemma 4 E2B Instruct. Она предназначена для диалогов, ответов на вопросы, многошаговых рассуждений и генерации кода, а также принимает изображения и аудио. В карточке заявлены сохранённые возможности работы с изображениями и аудио, поддержка нескольких языков и архитектура Gemma 4 с плотной сетью и гибридным скользящим и глобальным вниманием. Модель представлена в формате MXFP4 с 4-битной квантизацией и рассчитана на запуск через vMLX на компьютерах Apple Silicon с достаточной объединённой памятью. Автор сообщает о сохранении результатов MMLU почти на уровне базовой модели и об удалении отказов на HarmBench; эти оценки приведены в README и не являются независимой проверкой. Для запуска требуется vMLX с поддержкой Gemma 4; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки. Модель опубликована под лицензией Gemma. Автор указывает исследовательское назначение и возлагает на пользователей ответственность за соблюдение применимых законов и правил.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

Hermes-3-Llama-3.1-8B-lorablated — диалоговая модель на архитектуре Llama 3.1, опубликованная mlabonne. Это версия NousResearch/Hermes-3-Llama-3.1-8B, изменённая методом abliteration: к ней применили LoRA-адаптер, полученный сравнением вариантов Llama 3.1, а затем объединили веса методом task arithmetic. Модель содержит 7,5 млрд параметров, принимает текст и предназначена для генерации ответов в диалоге; заявленный контекст — до 131 072 токенов. Вариант lorablated рассчитан на ответы на запросы, от которых исходная Hermes 3 могла отказаться, включая допустимые запросы, которые она ошибочно отклоняет. Как и базовая модель, она подходит для инструкций, рассуждений и генерации кода. README называет модель uncensored, поэтому её ответы могут включать контент, который базовая модель отфильтровала бы. Лицензия в предоставленных данных не указана.

ClaudioItaly/Intelligence-R1-Distill-7B — слитая модель генерации текста на архитектуре Qwen2, созданная автором репозитория с помощью mergekit и метода SLERP из DeepSeek-R1-Distill-Qwen-7B и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 7,1 млрд параметров и рассчитана на диалоговую генерацию текста; в карточке указано контекстное окно 32 768 токенов. Слияние объединяет возможности двух исходных моделей, одна из которых — дистилляция DeepSeek R1 на Qwen. Карточка не описывает отдельные гарантированные преимущества или результаты оценки именно этой слитой версии. Модель распространяется в формате safetensors; лицензия в предоставленных данных не указана.

WhiskyAKM публикует NVFP4-квантизированную GGUF-версию K2-Horizon-3.7B, модели семейства IFM. Это плотная авторегрессионная модель-декодер с 3,7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки. Модель поддерживает диалоговую генерацию текста, а карточка указывает английский язык. Версия NVFP4 использует 4-битный формат и ориентирована на совместимое оборудование NVIDIA Blackwell. В README приведены результаты исходной модели на математических, кодовых и других тестах, однако они не характеризуют отдельно качество этой квантизированной сборки. Базовая модель описана как предназначенная для генерации текста, программирования и рассуждений. Лицензия — Apache-2.0.

Liberated-Qwen1.5-14B — языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-14B. Это плотная авторегрессионная модель семейства Qwen, содержащая 13,4 млрд параметров. Она предназначена для диалогов и следования системным инструкциям, в том числе в длинных многоходовых беседах и при необычных или механических инструкциях. Модель обучалась на открытых наборах данных, включая SystemChat, OpenHermes-2.5 и наборы Code-Feedback; используется формат диалога ChatML. Базовая модель поддерживает контекст до 32 768 токенов, однако при дообучении использовались входные последовательности длиной 8 000 токенов, поэтому качество на более длинном контексте может варьироваться. В карточке указана лицензия other, а README сообщает, что модель подчиняется лицензии tongyi-qianwen. В обучающих данных не добавлялись ограничения или цензурирование; перед предоставлением модели пользователям автор рекомендует самостоятельно настроить слой выравнивания. Результаты оценивания в карточке не приведены.

LLaDA2.0-mini-CAP — языковая модель компании InclusionAI, основанная на диффузионной архитектуре Mixture-of-Experts и обученная с применением Confidence-Aware Parallel (CAP). Она предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений, математических задач и программирования. CAP повышает эффективность параллельного декодирования: в README заявлено ускорение генерации в 1,46 раза относительно LLaDA2.0-mini при снижении среднего результата на указанных тестах с 70,15 до 67,32. Модель содержит 1,2 млрд параметров по метаданным; README описывает базовую архитектуру как 16B-A1B MoE, 20 слоёв и 16 голов внимания. Длина контекста — 32 768 токенов. Для инференса предназначен формат safetensors и библиотека Transformers; доступны чат и интерфейс вызова инструментов. README рекомендует температуру 0, block_length 32 и steps 32, предупреждая, что повышенная температура может вызывать смешение языков и немного снижать качество. Лицензия — Apache-2.0.

LumenX1-Sept26-Release — текстовая авторегрессионная модель семейства Lumen Dense, опубликованная dusersad12 на Hugging Face. Она предназначена для диалогов и генерации ответов, особенно для сложных задач на рассуждение, математику, программирование и общую логику. В карточке заявлены улучшенные рассуждения, снижение числа галлюцинаций и поддержка вызова функций; для ответа на вопрос AIME 2026 указано в среднем 31 тыс. токенов рассуждения. Модель использует архитектуру LumenDenseForCausalLM и распространяется в формате PyTorch для Transformers. Репозиторий выпущен под лицензией MIT. Карточка не сообщает размер модели, длину контекста и поддерживаемые естественные языки. Заявления о качестве приведены в README, но детали бенчмарков описаны частично.

MasherAI-7B-v5 — языковая модель для генерации текста и диалогов, собранная разработчиком mahiatlinux с помощью LazyMergekit. Это слияние методом slerp моделей mahiatlinux/MasherAI-7B-v4 и teknium/OpenHermes-2.5-Mistral-7B; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и предназначена для чат-сценариев и генерации текста. Модель может быть полезна для ведения диалогов, ответов на вопросы и помощи с кодом — эти возможности связаны с базовой моделью OpenHermes-2.5-Mistral-7B. В карточке MasherAI-7B-v5 отдельные языки, специальные области применения и подробные ограничения не описаны. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

Это объединённая языковая модель на базе семейства Llama 3.2, созданная методом TIES с помощью mergekit. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли модели для рассуждений, программирования и математики, соблюдения инструкций и ответов на медицинские вопросы. Модель предназначена для диалоговой генерации текста, включая ответы на вопросы, рассуждения и помощь с кодом. Она содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 131 072 токена. В метаданных указана библиотека Transformers и формат весов safetensors. Лицензия и отдельные результаты оценки качества в предоставленных данных не указаны. Поскольку объединены модели с разными специализациями, пригодность для конкретных задач следует проверять на собственных примерах.

Карточка модели median-group/Meta-Llama-3-8B-logits на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MiniCPM5-1B-heretic — модифицированная версия MiniCPM5-1B, разработанная автором RACER IS OP на основе модели openbmb. С помощью Heretic v1.4.0 к модели применена направленная абляция: целевые изменения весов в выходных проекциях attention и down-projection MLP подавляют поведение, связанное с отказами, без дообучения. Заявлено, что при этом в основном сохраняются знания, следование инструкциям, генерация кода, рассуждения и использование инструментов. Модель предназначена для диалоговых приложений, локальных агентов, генерации кода, function calling, ролевых сценариев и исследований механизмов alignment и отказов. Это текстовая causal language model примерно на 1,1 млрд параметров с поддержкой английского и китайского языков, контекста до 128K токенов и режимов Think/No-Think. Доступны форматы Transformers и GGUF, запуск возможен через llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang; модель ориентирована на потребительские GPU, CPU, Apple Silicon и edge-устройства. Ключевое заявленное преимущество — существенное снижение отказов: 2 из 100 против 96 из 100 у исходной MiniCPM5-1B в описанном тесте, при низком KL-divergence 0,0381. Ограничения включают небольшой для сложных задач размер модели, возможное снижение качества на низких уровнях квантования и отсутствие защитных ограничений, поэтому результаты и безопасность применения требуют дополнительной проверки. Указана лицензия Apache-2.0.

Карточка модели Openintelligent123/MiniCPM5-2B-CRACK-JANG_8M на Hugging Face совпадает с карточкой dealignai/MiniCPM5-2B-CRACK-JANG_8M, поэтому описание составлено по ней. dealignai выпустила MiniCPM5-2B-CRACK-JANG_8M — дообученную версию openbmb/MiniCPM5-2B в формате MLX для запуска на Apple Silicon через vMLX. Это плотная Llama-совместимая языковая модель с 2,2 млрд параметров и контекстом до 131 072 токенов; модель принимает и генерирует текст, поддерживает английский и китайский языки, режим рассуждения с включением и выключением, а также вызов инструментов через XML. Модель предназначена для диалогов, программирования, рассуждений и тестирования поведения при удалённом отказе от ответов: README сообщает, что механизм отказов удалён на уровне весов. В карточке приведены результаты MMLU и HarmBench для этой сборки. Модель поставляется в 8-битном MLX-бандле JANG8M и заявлена как бесплатная для macOS; лицензия — Apache-2.0. Это текстовая модель без поддержки изображений. Поскольку поведение отказов удалено, модель может выдавать ответы на опасные запросы; применяйте её с учётом этого ограничения.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.

Nemotron-Research-Reasoning-Qwen-1.5B — языковая модель NVIDIA с открытыми весами, дообученная методом ProRL на базе deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Это плотная модель семейства Qwen2 с 1,5 млрд параметров и контекстом до 131 072 токенов, предназначенная для генерации текста и решения задач, требующих многошаговых рассуждений: математических задач, программирования, научных вопросов, логических головоломок и следования инструкциям. По данным карточки, она улучшила результаты базовой модели на ряде математических, кодовых и логических тестов. Модель работает с текстом; в метаданных указана поддержка английского языка. Карточка описывает её как модель для исследований и разработок. Распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческое использование.

NeuralHermes-2.5-Mistral-7B-laser — экспериментальная версия разговорной модели NeuralHermes от mlabonne, основанная на teknium/OpenHermes-2.5-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она дообучена на парах предпочтений ChatML методом Direct Preference Optimization (DPO), а затем оптимизирована методом LASER на основе выборочного снижения ранга слоёв и теории случайных матриц. Модель предназначена для диалогов и выполнения инструкций, генерации текста, ответов на вопросы и помощи с кодом. В карточке приведены результаты нескольких тестовых наборов; они близки к показателям исходной NeuralHermes-2.5-Mistral-7B. Для запуска указаны LM Studio и другие пользовательские интерфейсы. Модель принимает текст и генерирует текст. Карточка указывает английский язык и лицензию Apache-2.0. Версия обозначена автором как экспериментальная, поэтому результаты оценки не гарантируют качество в конкретных сценариях; возможны обычные для языковых моделей ошибки и неточные ответы.

Это 8-битная версия модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio Community с помощью mlx_lm для Apple Silicon. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 от NVIDIA; MLX-квантизация уменьшает точность весов для запуска на компьютерах Apple с кремниевыми чипами. По метаданным, модель предназначена для генерации текста и диалогов и поддерживает интерфейс вызова инструментов. Модель подходит для ответов на вопросы, помощи с программированием и математическими задачами, а также для агентных приложений, использующих инструменты. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Лицензия репозитория обозначена как other, поэтому перед использованием следует проверить её условия. Как и другие генеративные модели, она может выдавать неточные или неподходящие ответы; README также предупреждает об отсутствии гарантий качества.