II.3Рефакторинг, миграция и модернизация

Карточка модели ddriscoll/stingray-dense-LoRA на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

T3qm7xNeuralsirkrishna_YamExperiment24 — объединённая модель на архитектуре Mistral с 7,1 млрд параметров, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/YamExperiment24-7B. Она предназначена для генерации текста и ведения диалогов; модель принимает текст и выдаёт текст, поддерживая контекст до 32 768 токенов. Веса доступны в формате Safetensors, лицензия — Apache 2.0.

xdg-llama-3-8B — языковая модель на архитектуре Llama 3, опубликованная xiaodongguaAIGC. Модель содержит около 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Она дообучена с использованием SFT, DPO и RLHF, включая обучение reward model и PPO, на смешанных инструкционных данных; среди датасетов указаны набор разработчика alpaca_en_zh_ruozhiba и наборы для безопасности PKU-SafeRLHF и CValues_DPO. Модель предназначена для генерации ответов на инструкции и вопросы, в том числе на китайском и английском языках; автор также заявляет возможности в программировании, рассуждениях и безопасном отказе. README приводит результаты MMLU, C-EVAL и C-MMLU, которые ниже указанных там результатов базовой Llama-3-8B и Llama-3-8B-Instruct. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

CausalLM 14B — разработанная авторами репозитория разговорная языковая модель на архитектуре LLaMA с 13,4 млрд параметров. Авторы сообщают, что при обучении использовали веса Qwen, а LLaMA 2 — для расчёта начальных весов; модель загружается через Transformers как LLaMA-совместимый причинный языковой моделировщик. Контекст составляет 8192 токена, основной формат весов — PyTorch. Модель предназначена для генерации текста в диалогах, ответов на вопросы, рассуждений и решения задач, включая математику. Для обучения применялась выборка синтетических инструкционных данных объёмом 1,3 млрд токенов, собранных и подготовленных авторами на основе открытых наборов. В карточке приведены результаты тестов на английском, китайском и японском языках; метаданные также указывают английский и китайский. Авторы заявляют о высоких результатах в сравнительных тестах, однако модель может галлюцинировать и выдавать ненадёжные ответы. В карточке отмечено, что данные не были отфильтрованы от нежелательного содержимого, а RLHF и специальное обучение отказам не проводились; поэтому ответы требуют проверки и фильтрации. Указана лицензия WTFPL, но авторы также предупреждают, что в зависимости от применения могут действовать ограничения коммерческого использования базовых Qwen и LLaMA 2.

Badger/δ Llama 3 Instruct 32k — чат-модель семейства Llama 3, созданная автором maldv путём рекурсивной интерполяции и объединения нескольких моделей. В репозитории указано, что для неё настроен масштаб RoPE 4; автор сообщает, что ответы сохраняют связность при контексте 16–32 тыс. токенов. Метаданные указывают 7,5 млрд параметров, архитектуру LlamaForCausalLM, формат safetensors и нативный контекст 8192 токена. Модель предназначена для диалоговой генерации текста и инструктивных запросов. В README приведены результаты оценки на Open LLM Leaderboard, включая средний балл 69,49, но этих результатов недостаточно, чтобы судить о качестве во всех задачах. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование; перед применением следует соблюдать её условия.

BreezePipe-7B-merge — объединённая языковая модель, собранная автором Heng666 из MediaTek-Research/Breeze-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b с помощью LazyMergekit. В конфигурации используется метод passthrough: слои 0–31 взяты из Breeze, а слои 24–31 — из blossom-v4-mistral-7b. Модель основана на архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для генерации текста; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Solshine/Brimful-12B-merged-replete — языковая модель для генерации текста, созданная с помощью mergekit на основе Replete-AI/Replete-LLM-V2.5-Qwen-7b. В README указан метод слияния passthrough; модель построена на архитектуре Qwen2 и содержит 11,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Размер контекста составляет 32 768 токенов. Модель может использоваться для диалогов и генерации ответов, а также в сценариях, где приложению требуется передавать вызовы инструментов через соответствующий интерфейс. README предупреждает, что merge пока не тестировался, поэтому качество и надёжность результатов не подтверждены. Репозиторий содержит веса safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Citaman/command-r-25-layer — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Cohere для генерации текста и диалогов. В README указано объединение двух диапазонов слоёв одной модели Citaman/command-r-26-layer; метаданные также связывают её с этой базовой моделью. Модель содержит 22,6 млрд параметров, работает с текстом и имеет контекстное окно 8192 токена. Метаданные отмечают поддержку чата и интерфейса вызова инструментов. Модель подойдёт для диалоговых приложений и генерации текста. В README не приведены оценки качества или результаты тестирования. Репозиторий содержит веса в формате Safetensors; лицензия в предоставленных данных не указана.

arcee-ai/DeepSeek-V3-0324-bf16 — конверсия модели DeepSeek V3 от Arcee AI в формат BF16. По метаданным это плотная авторегрессионная языковая модель архитектуры DeepseekV3ForCausalLM с 37,6 млрд параметров и контекстом до 163 840 токенов. Предназначена для генерации текста в диалогах и сценариях с интерфейсом вызова инструментов. Модель принимает текст и выдаёт текст. В карточке указана лицензия MIT. README сообщает о преобразовании весов из FP8 в BF16, но не даёт подробностей об обучении или результатах оценки.

Espresso-AI/Espresso-AI — языковая модель, разработанная Espresso-AI и дообученная на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Модель сохраняется в формате safetensors и распространяется по лицензии Apache-2.0. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Данных о конкретной специализации или дополнительных ограничениях в доступных источниках нет.

Experiment28M7_Experiment26Alloyingotneoy — объединённая модель семейства Mistral, созданная из automerger/Experiment28M7-7B и automerger/Experiment26Alloyingotneoy-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Карточка модели OpenSite/forge на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Gemma-4-26B-A4B-it-NVFP4 — это версия Google Gemma 4, подготовленная FusenAI в формате modelopt и оптимизированная для запуска через vLLM на GPU NVIDIA Blackwell (SM120). Модель предназначена для генерации текста и использует архитектуру MoE. Она подходит для локального и серверного инференса, включая сценарии с высокой параллельной нагрузкой. Модель применяет квантизацию NVFP4 с размером группы 16 к экспертам MoE и MLP-слоям, тогда как self-attention, router, vision tower и lm_head сохранены в BF16. Размер весов составляет около 17,2 GiB, размер на диске — около 17 GB. README не указывает полный набор поддерживаемых языков, точное число параметров активной части или максимальный контекст; в примерах используется длина контекста 4096 токенов. Модель поддерживает текстовую генерацию, а наличие vision tower указывает на мультимодальные компоненты, однако их сценарии использования в README не описаны. К сильным сторонам относятся сниженное потребление памяти, сохранение attention-слоёв в BF16 для уменьшения потерь качества и высокая производительность на RTX 5090 при использовании CUDA Graphs. Ограничения включают необходимость совместимого оборудования NVIDIA Blackwell или новее, vLLM 0.19.x с параметром modelopt и соответствующими исправлениями, а также зависимость производительности от конфигурации KV-кэша: FP8 увеличивает его ёмкость, но снижает скорость обработки отдельных запросов. Модель распространяется по лицензии Apache 2.0 и наследует лицензионные условия Gemma 4 от Google.

mkurman/GLM-4.7-Flash-SynthLabs — дообученная и объединённая с базовой моделью версия GLM-4.7-Flash, опубликованная mkurman. Модель семейства glm4_moe_lite предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Она содержит 4,1 млрд параметров, поддерживает контекст до 202 752 токенов и распространяется в формате Safetensors. Карточка сообщает, что модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Указанная в метаданных лицензия — MIT; README при этом указывает Apache-2.0, поэтому условия лицензирования требуют уточнения. Язык карточки — английский, а базовая GLM-4.7-Flash описана как модель для рассуждений и программирования, но конкретная специализация этой версии не раскрыта.

GLM-5.3-Flash-MLX-8bit — это квантованная 8-битная сборка модели GLM-5.3-Flash, разработанной организацией zai-org и адаптированной PipeNetwork для MLX на Apple Silicon. Модель относится к классу смесей экспертов (Mixture-of-Experts), имеет 320 млрд параметров, из которых активно используется 18 млрд (320B-A18B). Архитектура включает 34 слоя Kimi-Delta с линейным вниманием и 11 слоёв DeepSeek sparse attention с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Мультитокенная предсказательная прослойка исключена, а vision tower сохранена в формате bfloat16. Модель предназначена для генерации текста и работы с изображениями и текстом; в README указана модальность image-text-to-text. Сборка рассчитана на запуск через MLX и совместимый runtime на компьютерах Apple Silicon. Размер файлов на диске составляет около 334,1 ГБ. Основная масса параметров, включая маршрутизируемых экспертов, квантована в 8 бит с группами по 64 значения; отдельные служебные параметры хранятся в float32, а vision tower — в bfloat16. Языки и размер контекстного окна в README не указаны. Сильной стороной сборки является существенное уменьшение размера по сравнению с исходной версией bfloat16 объёмом около 642,7 ГБ при близком качестве: заявленная perplexity на wikitext-2 составляет 3,4607. Для корректной работы рекомендуется пропатченный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит расхождения в вычислениях. Модель распространяется по лицензии MIT; в README также указано, что файлы были конвертированы из upstream-релиза и архитектура модели не изменялась.

GLM-5.3-Flash-VQ-2.7bpw — векторно-квантизированная версия мультимодальной модели GLM-5.3-Flash от zai-org, подготовленная TheDrainFlorist для Apple Silicon. Модель поддерживает работу с текстом и изображениями, ориентирована на задачи генерации и понимания текста, анализа изображений, программирования и других сценариев, доступных базовой vision-модели. Заявлены английский и китайский языки. Точная длина контекста в README не указана. Модель использует архитектуру MoE и занимает около 101,9 GiB. В основе применяется data-free vector quantization: большинство экспертных слоёв представлены кодами d=4/K=512, а восемь слоёв имеют повышенный размер кодбука d=4/K=2048; attention, эмбеддинги и выходная голова используют 8-битное affine-квантование, нормы, маршрутизаторы и vision tower из 347 тензоров сохраняются в bf16. Такой компромисс позволяет разместить модель на Mac с 128 ГБ памяти и обеспечивает лучшее качество, чем указанный affine q3 сопоставимого размера, хотя качество заметно ниже исходной bf16-модели и более крупных вариантов квантования. Для запуска требуется совместимый стек MLX: mlx-lm с поддержкой model_file и mlx-vlm версии не ниже 0.6.17 для изображений. Встроенный runtime поставляется внутри checkpoint, поэтому загрузчик должен поддерживать параметр model_file. Основные ограничения — большой объём памяти, зависимость от Apple Silicon и специализированного MLX-окружения; показатели производительности и качества приведены для конкретных тестовых корпусов и не гарантируют аналогичные результаты во всех задачах. В карточке указана лицензия MIT.

GLM-5.3-NVFP4 — квантизированная версия модели GLM-5.3 от Z.ai, опубликованная в формате NVIDIA Model Optimizer. Это текстовая генеративная модель для запуска и обслуживания задач генерации текста; README также указывает поддержку reasoning и вызова инструментов через соответствующие парсеры. Модель предназначена для работы на GPU NVIDIA Blackwell с архитектурой SM100 и новее, непосредственно через SGLang или vLLM. В модели используются веса и статические активации линейных слоёв маршрутизируемых MoE-экспертов в формате NVFP4, а KV-кэш хранится в FP8. Размер контрольной точки составляет 433 GiB. Доступна опциональная speculative decoding с draft-моделью GLM-5.3-DFlash2 и семью токенами на шаг проверки. Языки, размер контекста, точное число параметров и полный перечень модальностей в README не указаны; по имеющимся данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся существенное сжатие представления вычислений, поддержка специализированного инференса на современных GPU NVIDIA и близкие к исходной FP8-версии результаты на приведённых тестах: например, 95,1 против 94,3 на AIME 2025 и 91,2 против 91,1 на GPQA Diamond. Ограничения включают требование GPU NVIDIA Blackwell, крупный объём контрольной точки и отсутствие данных о производительности на другом оборудовании. Модель распространяется по лицензии GLM-5.3 License, унаследованной от базовой модели.

Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.

Hermes-3-Llama-3.1-70B-lorablated — диалоговая модель mlabonne на архитектуре Llama 3.1, созданная слиянием Hermes-3-Llama-3.1-70B от NousResearch с адаптером abliteration. Модель предназначена для генерации ответов в диалоге и выполнения инструкций; версия lorablated настроена на снижение отказов отвечать на допустимые запросы. В карточке приведены результаты оценивания на IFEval и BBH. Модель содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Для работы с ней нужны текстовые запросы, ответы генерируются в текстовом виде. Указана библиотека Transformers. Сведений о лицензии в доступных данных нет.

alpharomercoma/LFM2.5-2.6B-heretic — текстовая модель, созданная на основе LiquidAI/LFM2.5-2.6B с помощью направленной абляции отказного направления в остаточном потоке и подбора весов абляции по слоям. Веса объединены, поэтому модель загружается как обычная Lfm2ForCausalLM; размер составляет 2,6 млрд параметров, а контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В ней сохранены шаблон чата и токены вызова инструментов базовой модели; многоязычные возможности и сценарии локального запуска, включая RAG и длинноконтекстные агентные задачи, унаследованы от неё. В репозитории находятся веса Safetensors для Transformers, а не готовая скомпилированная сборка ExecuTorch. Абляция снижает склонность модели отказывать, стараясь сохранить близость к исходному поведению по KL-дивергенции. При этом намеренно удалена защитная настройка базовой модели, поэтому ответы могут включать небезопасный контент. Лицензия обозначена как «other»; README не уточняет её условия.

Llama-3.1-8B-MagPie-Ultra — плотная языковая модель с архитектурой LlamaForCausalLM, дообученная Argilla Warehouse на наборе argilla-warehouse/magpie-ultra-v1.0. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель основана на meta-llama/Llama-3.1-8B и распространяется в формате safetensors по лицензии Llama 3.1. В README приведено значение loss 0,5915 на оценочном наборе, но подробности об оценке, обучающих данных и ограничениях не раскрыты. Языки и специальные прикладные области для этой производной модели не уточнены.

rinna/llama-3-youko-8b-instruct — диалоговая языковая модель компании rinna на архитектуре Llama 3, созданная на основе Llama 3 Youko 8B. Модель содержит около 7,5 млрд параметров, использует плотный 32-слойный трансформер и контекст до 8192 токенов. Она обучена следовать инструкциям и работает в формате чата Llama 3. Модель предназначена для генерации ответов и диалога на японском и английском языках. Обучение включало supervised fine-tuning, добавление chat vector и direct preference optimization на наборах данных с японскими и английскими диалогами, а также примерами математики и кода. Для генерации разработчики рекомендуют repetition_penalty=1.1: без этой настройки модель чаще повторяет текст. Весовые файлы опубликованы в формате safetensors. Лицензия — llama3; использование регулируется условиями лицензии Meta Llama 3.

Arx12/Maple-Preview-Exact-GGUF — это сторонний набор GGUF-репаков модели Maple-Preview, разработанной DeepGrove. Репаки подготовлены и проверены Arx12 на основе официальных файлов DeepGrove; данный репозиторий не является официальным релизом DeepGrove. Модель предназначена для генерации текста и задач, требующих рассуждений, с акцентом на соотношение качества, скорости и потребления памяти. Агентные сценарии и широкое постобучение пока ограничены по сравнению с планируемой полной версией Maple. Maple-Preview представляет собой reasoning-модель с архитектурой Mixture-of-Experts: 20 млрд общих параметров, около 1 млрд активных параметров на токен, 24 трансформерных слоя, 256 экспертов и 8 активных экспертов на токен. Используется ternary-weight дизайн и конфигурация внимания 3:1 SWA-512:GA, объединяющая скользящее и глобальное внимание. Контекст — до 131 072 токенов, заявленный язык — английский. Доступны варианты с точным репаком матриц TQ2_0 в Q4_0 или Q8_0, а также F16-представление; для некоторых вариантов LM head квантуется отдельно, поэтому полная побитовая идентичность вывода между форматами не гарантируется. Сильной стороной является сохранение представленных значений исходных матриц при репаках Q4_0 и Q8_0, подтверждённое проверкой всех 168 исходных TQ2_0 матриц, а также возможность работы с очень длинным контекстом и сравнительно небольшим числом активных параметров. Ограничения включают preview-статус, возможное отставание в агентных задачах и то, что exact-репак не восстанавливает точность, утраченную до исходного квантования; различия в вычислительных ядрах могут менять логиты и текст. Модель и производные репаки распространяются по лицензии MIT.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/MiniMax-M2.7-JANGTQ — это квантизированная версия MiniMax-M2.7, разработанная JANGQ-AI на базе архитектуры MiniMax M2 от MiniMaxAI. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и работы с инструментами. Она ориентирована на запуск в MLX и vMLX на компьютерах Apple Silicon, включая M3 Max с 96 ГБ памяти и более новые M4 Max, M5 Max и Mac Studio с 128 ГБ памяти. Модель использует архитектуру MoE с 62 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Заявленный контекст составляет 196K токенов. Размер сборки на диске — около 47 ГБ вместо примерно 230 ГБ у исходной FP8-версии. Маршрутизируемые экспертные веса сжаты до 2 бит методом JANGTQ2, а attention, общие экспертные компоненты, эмбеддинги и lm_head используют 8-битное аффинное квантование; нормализации и маршрутизатор частично сохранены в исходной точности. Поддерживаются reasoning через парсер qwen3 и вызовы инструментов через парсер minimax; режим рассуждения включён по умолчанию и может быть отключён. К сильным сторонам относятся существенное уменьшение размера, предварительно собранная структура экспертных весов, быстрая загрузка без дополнительной перестановки и заявленная идентичная скорость декодирования по сравнению с предыдущей раскладкой. Ограничения связаны с узкой совместимостью с MLX/vMLX и требованием значительного объёма объединённой памяти Apple Silicon. Язык модели, точные показатели качества и полный набор поддерживаемых языков в README не указаны. Лицензия — minimax-m2.7-non-commercial; сборка предназначена для некоммерческого использования.

Ministral-3-14B-abliterated-GGUF — GGUF-квантизированные версии модели Ministral-3-14B-abliterated, разработанные jenerallee78 на базе Ministral-3-14B-Instruct-2512 от Mistral AI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для использования в OpenAI-совместимых API-серверах и Ollama. Это мультимодальная модель, принимающая текстовые и графические входные данные. Заявлена поддержка контекста до 256K токенов; язык, указанный в карточке, — английский. Доступны варианты F16 размером около 26 ГБ и Q8_0 размером около 14 ГБ. Для обработки изображений требуется отдельный vision-проектор mmproj-F16 размером около 838 МБ. Версия F16 обеспечивает максимальное качество, а Q8_0 рассчитана на более экономичное использование памяти. Модель подвергнута abliteration — изменению внутренних представлений, направленному на удаление поведения, связанного с отказами в ответах. Это может сделать её более пригодной для исследовательских сценариев, требующих менее выраженных ограничений, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для F16 указано тестирование на NVIDIA RTX PRO 6000 Blackwell с потреблением около 67 ГБ VRAM и скоростью генерации около 20–22 токенов в секунду; показатели Q8_0 обозначены как оценочные или не предоставлены. Лицензия — Apache-2.0; автор также указывает исследовательское и образовательное назначение и ответственность пользователя за соблюдение законодательства и этических норм.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

Mobiusv0.5 — объединённая языковая модель на архитектуре Mistral, созданная mashleburneded методом SLERP с помощью mergekit на основе Mistral-Small-Instruct-2409 и Codestral-22B-v0.1. Модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалоговых запросов; интерфейс модели также предусматривает вызов инструментов. В состав объединения входит Codestral, ориентированная на генерацию кода модель, однако README не описывает отдельные возможности или качество Mobiusv0.5 в программировании. Модель опубликована в формате safetensors и доступна через Transformers. Лицензия в предоставленных данных не указана.

NeuralContext-7b-v1 — объединённая языковая модель, созданная Kukedlc с помощью LazyMergekit на основе пяти моделей семейства Mistral. Она предназначена для генерации текста и диалоговых ответов на инструкции. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Модель принимает текст и генерирует текст; среди её базовых компонентов — Mistral-7B-Instruct-v0.2, Hermes-2-Pro-Mistral-7B и Yarn-Mistral-7b-128k. Репозиторий предоставляет веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач стоит проверять самостоятельно.