I.6Перевод и языковая адаптация

DeepSeek-R1-0528-Qwen3-8B-MLX-8bit — это 8-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и библиотеки MLX, созданной командой Apple Machine Learning Research. Модель предназначена для генерации текста и оптимизирована для работы на устройствах с Apple Silicon. Ключевая характеристика модели — 8-битное представление весов в формате MLX, что делает её адаптированной для локального запуска в экосистеме Apple. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности, результатах тестирования или специализированных сценариях применения. К ограничениям относятся возможные неточности, вредное или неуместное содержание, характерные для генерирующих моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии MIT.

mlx-community/DeepSeek-R1-4bit — это 4-битная версия модели DeepSeek-R1, разработанной командой DeepSeek и преобразованная сообществом mlx-community в формат MLX. Конвертация выполнена с использованием mlx-lm версии 0.21.0. Модель предназначена для локального запуска и генерации текста через библиотеку mlx-lm, включая сценарии с чат-шаблоном и передачей сообщений пользователя. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках и модальностях, размере контекста, результатах тестирования, ограничениях или лицензии, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

bartowski/DeepSeek-R1-GGUF — набор GGUF-квантизаций модели DeepSeek-R1, разработанной deepseek-ai и подготовленной bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и локального инференса, в том числе в LM Studio. Доступны варианты с разными уровнями квантизации — от Q8_0 до IQ1_M — чтобы выбирать между качеством ответов, требованиями к памяти и скоростью работы. В README не указаны точная архитектура исходной модели, число параметров, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти характеристики нельзя достоверно описать. Размер файлов зависит от варианта и составляет примерно от 133,56 до 713,29 ГБ; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, тогда как варианты Q2 и Q1 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Квантизации подготовлены с использованием imatrix и llama.cpp release b4514. Модель распространяется по лицензии MIT. Для работы следует использовать указанный формат промпта и совместимое программное обеспечение, например llama.cpp или LM Studio. Ограничениями являются исключительно большие требования к дисковому пространству и памяти, а также возможное снижение качества при выборе более агрессивной квантизации.

danielheinz/e5-base-sts-en-de — модель эмбеддингов на базе multilingual-e5-base, дообученная для оценки семантического сходства немецких текстов. Разработчик дообучил её на немецких поднаборах корпуса парафразов Philip May, PAWS-X и STS-Benchmark Multilingual: сначала с Multiple Negatives Ranking Loss на данных парафразов, затем с Cosine Similarity Loss на данных семантического сходства. Архитектура — XLM-RoBERTa с плотными векторами, около 305 млн параметров; принимает текст и выдаёт векторные представления. Контекст — до 514 токенов. Модель предназначена для сравнения значений немецких предложений, поиска парафразов и семантического поиска. В README указаны результаты 0,920 на валидационной и 0,904 на тестовой части STS, без описания метрики. Лицензия — MIT. Карточка сообщает, что модель продолжает обновляться; заявленные результаты и качество на других задачах или языках не подтверждены.

ECE-TW3-JRGL-V3 — языковая модель на архитектуре Llama, созданная объединением моделей Tess-72B-v1.5b и Smaug-72B-v0.1 с помощью mergekit. Она предназначена для генерации текста, диалогов и ответов на вопросы, а также для общих сценариев работы с текстом. Модель содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Данные карточки не описывают отдельные ограничения или целевые языки модели.

MaziyarPanahi/Experiment26Neuralsirkrishna_Experiment29Multi_verse_model — объединённая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием моделей automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment29Multi_verse_model-7B. Модель предназначена для генерации текста и диалогов. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате Safetensors. Условия лицензии — Apache 2.0. Специализированные области применения и отдельные ограничения в карточке не описаны.

Experiment26Neuralsirkrishna_Multi_verse_modelExperiment28 — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/Multi_verse_modelExperiment28-7B. Она предназначена для генерации текста и диалогов, а окно контекста составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Карточка не приводит сведений о специализированных областях применения или конкретных языках, поэтому модель можно описать только как универсальную генеративную языковую модель.

Experiment28M7_Experiment26Strangemerges_32 — объединённая модель генерации текста на базе архитектуры Mistral, созданная из automerger/Experiment28M7-7B и automerger/Experiment26Strangemerges_32-7B. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по текстовому запросу. Репозиторий распространяется по лицензии Apache-2.0. Сведения о специализированной настройке модели и её ограничениях в карточке не приведены.

Experiment28M7_Experiment26Yam — объединённая модель Mistral от MaziyarPanahi, созданная на основе automerger/Experiment28M7-7B и automerger/Experiment26Yam-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы или продолжения текста на основе текстового запроса. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Веса представлены в формате Safetensors. Репозиторий распространяется по лицензии Apache-2.0.

MaziyarPanahi/Experiment28M7_ShadowCalme — объединённая модель на архитектуре Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/ShadowCalme-7B. Она предназначена для генерации текста и может использоваться в диалоговых и других текстовых сценариях на основе языковой модели. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и опубликована в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Systran публикует конверсию модели распознавания речи OpenAI Whisper medium.en в формат CTranslate2. Её можно использовать через CTranslate2 и совместимые проекты, включая faster-whisper, для преобразования английской речи в текст. Весовые параметры сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий предназначен для автоматического распознавания речи на английском языке. Модель использует лицензию MIT. Карточка описывает конверсию весов, а не новое обучение; подробности об исходной архитектуре и ограничения предлагается смотреть в карточке OpenAI Whisper medium.en.

Это пакет распределённого запуска модели GLM-5.2 в формате GGUF, подготовленный Mesh LLM. Он разбивает вариант UD-Q4_K_XL на артефакты по слоям, чтобы распределять вычисления между компьютерами в локальном кластере Mesh LLM. Пакет предназначен для локального и приватного инференса, обслуживания чатов через совместимый с OpenAI API и запуска на нескольких машинах, когда модель не помещается на одном узле. Он основан на unsloth/GLM-5.2-GGUF и использует квантованный вариант UD-Q4_K_XL; библиотека запуска — Mesh LLM. README не приводит число параметров, длину контекста, поддерживаемые языки или условия лицензии. За сведениями об архитектуре, шаблоне чата, настройках генерации и лицензии README отсылает к карточке исходной модели.

Huihui-Qwen3.5-9B-abliterated-GGUF — набор файлов модели в формате GGUF, созданный на основе huihui-ai/Huihui-Qwen3.5-9B-abliterated и опубликованный Abiray. Модель предназначена для локального запуска и генерации текста в совместимых приложениях, включая LM Studio, Ollama, Jan, text-generation-webui и llama.cpp. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q4_K_S до Q8_0 с размером файлов примерно от 5,1 до 9,6 ГБ. Рекомендуемый вариант Q4_K_M обеспечивает баланс между скоростью, потреблением памяти, размером и сохранением качества рассуждений; более высокие уровни квантования требуют больше RAM или VRAM и дают качество, близкое к исходной модели F16. README не содержит сведений о точном контекстном окне, поддерживаемых языках, модальностях, лицензии и конкретной архитектуре, поэтому эти характеристики нельзя уточнить.

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

KafkaLM-7B-German-V0.1 — языковая модель проекта Seedbox, обученная Деннисом Дикманном. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; она дополнительно обучена на немецких данных поверх leo-mistral-hessianai-7b, которая была дообучена на наборах инструкций с переводом с английского на немецкий. Для обучения использовалась отфильтрованная версия набора seedboxai/multitask_german_examples_32k. Модель предназначена для повседневных задач на немецком языке, в том числе для делового общения: диалогов с ассистентом и генерации ответов на запросы. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и рассчитана прежде всего на немецкий язык. В карточке отмечена возможность вести диалог; автор характеризует модель как компетентную и творческую. Модель распространяется под лицензией Apache-2.0. Автор предупреждает о склонности модели выходить за привычные языковые рамки и ограничивает заявленное применение исследовательскими целями; также следует учитывать исходную лицензию Llama 2 и ограничения использованных обучающих данных.

islamassanov/Kimi-K3-Mixed-IQ2-GGUF — мультимодальная GGUF-квантизация базовой модели MoonshotAI/Kimi-K3, подготовленная пользователем islamassanov для запуска через llama.cpp. Модель предназначена для текстовых и визуально-текстовых задач, включая работу с изображениями и OCR. Для текстового режима vision projector можно не подключать. В основе лежит MoE-модель размером 2,8 трлн параметров с 896 маршрутизируемыми экспертами, из которых 16 активируются на каждом токене. Текстовые веса занимают около 793 GiB и распределены по 10 GGUF-файлам; экспертные матрицы используют смешанную квантизацию IQ2_XXS и IQ2_XS, а vision projector сохранён в BF16 и занимает около 862 MiB. Базовая архитектура поддерживает контекст до 1 млн токенов, однако фактически доступный размер контекста зависит от объёма памяти. По данным README, модель набрала 871/1000 на OCRBench, что составляет 97,9% от опубликованного результата базовой модели MoonshotAI. Ключевое преимущество — улучшенная точность восстановления весов при том же размере по сравнению со стандартным IQ2_XXS, но это не гарантирует прироста качества ответов. Главные ограничения — чрезвычайно высокие требования к дисковому пространству и памяти, а также необходимость использовать все 10 текстовых шардов. Распространение и использование регулируются лицензией Kimi K3; тип лицензии указан как other.

L3.1-70b-MeowMix2 — объединённая модель семейства Llama 3.1, созданная KaraKaraWarehouse с помощью LazyMergekit на Runpod. Она предназначена для генерации текста и диалогов в формате Llama 3 Instruct. В состав слияния входят Tess-3-Llama-3.1-70B, Llama-3.1-70B-EZO-1.1-it, Llama3.1-70B-Chinese-Chat и Linkbricks-Horizon-AI-Korean-llama3.1-sft-dpo-70B. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; заявленный контекст — до 131 072 токенов. Вход и выход — текст. Компоненты слияния ориентированы на английский, китайский и корейский диалоги, однако отдельные языковые гарантии для итоговой модели не приведены. Формат весов — safetensors. Лицензия в предоставленных данных не указана.

unsloth/LFM2-350M-GGUF — GGUF-квантизированная версия модели LFM2-350M, разработанной Liquid AI и подготовленной Unsloth. Это компактная гибридная языковая модель для генерации текста и локального развертывания на периферийных устройствах: смартфонах, ноутбуках и автомобилях. Она рассчитана на работу на CPU, GPU и NPU, а также на сценарии с ограниченными ресурсами. Модель содержит около 354,5 млн параметров, 16 слоёв, включая 10 сверточных и 6 attention-слоёв, поддерживает контекст до 32 768 токенов и словарь из 65 536 токенов. Архитектура использует multiplicative gates и короткие свёртки. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Модель предназначена для agentic-задач, извлечения данных, RAG, творческого письма и многошаговых диалогов; для узких прикладных сценариев рекомендуется дообучение. К сильным сторонам относятся высокая скорость обучения и инференса, эффективность по памяти и гибкость аппаратного развертывания. Ограничения связаны с небольшим размером: модель не рекомендуется для задач, требующих обширных знаний или программирования. Для llama.cpp в README указано использовать chat template через параметр --jinja. Лицензия — LFM Open License v1.0.

yusheng123z/llama3.1 — дообученная диалоговая языковая модель, основанная на Meta-Llama-3.1-8B-Instruct. В README разработчиками названы Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang; для настройки использован метод ORPO и полный fine-tuning параметров. Модель предназначена для китайско- и англоязычных пользователей и поддерживает генерацию текста в диалоговом формате. Модель семейства Llama имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекстное окно до 131 072 токенов по метаданным. README описывает применение для ролевого общения, работы с инструментами и математических задач, но длина контекста для китайской версии автором не проверялась. Модель распространяется по лицензии Llama 3.1; метаданные указывают формат safetensors.

DeepMount00/Llama-3.1-Distilled — дообученная языковая модель, разработчик — Michele Montebovi. Она построена на базе meta-llama/Meta-Llama-3-8B и предназначена для генерации текста в диалоговом формате. Модель использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Заявленная длина контекста — 131 072 токена. В метаданных указаны английский и итальянский языки; библиотека — Transformers, веса представлены в формате safetensors. Лицензия — Llama 3.

umarigan/llama-3.1-openhermes-tr — дообученная плотная языковая модель семейства Llama, разработанная umarigan на базе unsloth/llama-3-8b-bnb-4bit с использованием Unsloth и библиотеки TRL. Модель содержит 7,5 млрд параметров и рассчитана на работу с текстом; заявленное контекстное окно составляет 131 072 токена. В метаданных указана поддержка английского и турецкого языков. Модель предназначена для генерации текста и ответов на вопросы. Её можно применять в диалоговых системах и для подготовки текстовых ответов по запросам. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. В карточке не приведены результаты оценки качества и подробности обучающих данных.

TheBloke/LLaMA-7b-GGUF — это квантизированная версия языковой модели LLaMA 7B, разработанной Meta. Репозиторий подготовлен TheBloke и содержит файлы в формате GGUF для запуска модели через llama.cpp и совместимые приложения. Модель предназначена для генерации и продолжения текста, диалоговых и других сценариев инференса с использованием произвольного текстового запроса. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и рядом других инструментов. Ключевые характеристики — архитектура LLaMA, размер 7 миллиардов параметров и текстовая модальность. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Квантизация снижает требования к памяти и упрощает локальный запуск, однако низкобитные варианты могут заметно ухудшать качество, особенно самые компактные версии. Модель не является мультимодальной, а её точные ограничения по качеству и применению зависят от выбранного метода квантизации. В метаданных указана лицензия other; конкретные условия лицензии в README не приведены, поэтому перед использованием необходимо проверить лицензионные условия оригинальной модели Meta.

Llama-Thinker-3B-Preview2 — языковая модель prithivMLmods для генерации текста и диалогов. Это плотная авторегрессионная трансформерная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров; в карточке указана связь дообучения с prithivMLmods/Llama-Thinker-3B-Preview. README описывает её как предварительно обученную и дообученную по инструкциям модель на основе Llama 3.2, обученную на синтетических данных с длинными цепочками рассуждений; для настройки упоминаются SFT и RLHF. Модель предназначена для многоязычных диалогов, ответов на запросы и задач, требующих рассуждений. Она принимает текстовые запросы и генерирует текст; карточка указывает контекст до 131 072 токенов, а теги и README подтверждают поддержку английского и заявляют многоязычное применение без перечисления других языков. Доступны веса в safetensors и использование через Transformers; README также описывает запуск квантованных вариантов GGUF через Ollama. Модель распространяется по лицензии CreativeML Open RAIL-M. Заявления о сложных рассуждениях и многоязычности приведены в карточке, но конкретные языки, результаты оценок и независимые показатели качества не указаны.

Это 4-битная MLX-конверсия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community из mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated с помощью mlx-lm 0.17.1. В основе лежит дообученная Meta-Llama-3.1-8B-Instruct; модель предназначена для диалоговой генерации текста и запуска на устройствах Apple с MLX. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекст составляет до 131 072 токенов. Вариант abliterated позиционируется как менее ограниченный в ответах; это не гарантирует точность или безопасность результатов. Репозиторий указывает лицензию Llama 3.1; её условия распространяются на использование модели.

MiniCPM-V-2_6-GGUF — набор GGUF-квантизованных версий мультимодальной модели MiniCPM-V-2_6, разработанной командой OpenBMB и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для задач image-text-to-text, включая анализ изображений, OCR, работу с несколькими изображениями и видео. Заявлена поддержка мультиязычных сценариев, однако конкретный перечень языков в представленном README не указан. Модели используют llama.cpp и квантизацию с применением imatrix; по заявлению автора, это должно улучшать работу текстовой части модели. Доступны варианты от F16 размером 15,23 ГБ до низкобитных IQ2_M и Q2_K размером около 2,78–3,01 ГБ. Варианты Q6_K и Q6_K_L обеспечивают очень высокое качество, а Q4_K_M рекомендуется как компромисс между качеством и размером. Варианты с суффиксом L используют Q8_0 для embedding- и output-весов, что потенциально может повысить качество, но автор отмечает, что эффект зависит от практического использования. Модель подходит для локального запуска через llama.cpp и LM Studio при наличии совместимого оборудования; требуемые ресурсы зависят от выбранного варианта квантизации. README не содержит сведений о размере базовой модели в параметрах, длине контекста, точной архитектуре, ограничениях мультимодальных входов или результатах бенчмарков. Лицензия в представленном описании не указана.

MiniMax-M2-MLX-8bit — это 8-битная квантованная версия языковой модели MiniMax-M2, разработанной компанией MiniMaxAI. Данная версия подготовлена командой LM Studio на базе MLX и предназначена для локального запуска на компьютерах Apple Silicon, в том числе через LM Studio. Модель относится к классу text-generation и рассчитана на задачи генерации текста и диалогового взаимодействия. Она использует архитектуру и возможности исходной MiniMax-M2, однако в предоставленных данных не указаны точные размер модели, архитектурные параметры, поддерживаемые языки, объём контекстного окна и сведения о мультимодальности. Ключевая особенность версии — 8-битное квантование и оптимизация с помощью MLX для устройств Apple Silicon, что делает её более подходящей для локального использования при ограниченных ресурсах по сравнению с полноразмерной версией. Ограничения включают возможное снижение точности из-за квантования, зависимость от совместимого оборудования и отсутствие подробных данных о качестве, производительности и области применения. Модель распространяется по лицензии MIT.

MaziyarPanahi/Mistral-7B-Instruct-KhanAcademy-v0.2-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе MaziyarPanahi/Mistral-7B-Instruct-KhanAcademy-v0.2. Исходная модель основана на Mistral-7B-Instruct-v0.2 от Mistral AI и относится к классу генеративных текстовых моделей с примерно 7 миллиардами параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Указана совместимость с инструментами, поддерживающими GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. К сильным сторонам относятся широкий выбор уровней квантования и возможность локального использования на поддерживаемом оборудовании. Ограничения связаны с возможной потерей качества при более агрессивном квантовании; точные характеристики контекстного окна, языков и мультимодальности в представленном README не указаны. Для модели указана лицензия Apache-2.0.

Это вариант Mistral-7B-Instruct-v0.1, подготовленный автором arnavgrg: веса линейных слоёв сначала квантизированы в NF4 с помощью bitsandbytes, а затем представлены в fp16. Модель имеет плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Представление линейных слоёв в fp16 после NF4-квантизации призвано сократить затраты на повторную квантование и деквантование во время инференса; загрузка предусмотрена через Transformers. Потери при исходной квантизации необратимы, поэтому качество может быть ниже официальной Mistral-7B-Instruct-v0.1. Лицензия — Apache-2.0.

Это GGUF-сборка DeepSeek-R1-0528-Qwen3-8B-bf16, подготовленная mlx-community и опубликованная TensorBlock. Репозиторий содержит файлы модели в формате GGUF, совместимые с llama.cpp начиная с указанной в карточке версии. Модель предназначена для генерации текста; в README приведён шаблон запроса с системным промптом и пользовательским запросом. В репозитории доступны варианты квантования, включая Q2_K и Q3_K_S/Q3_K_M; README отмечает заметную потерю качества у этих компактных вариантов. Указанная лицензия — MIT. Основа — mlx-community/DeepSeek-R1-0528-Qwen3-8B-bf16.

Monstral-123B-v2-GGUF — это квантизированная версия текстовой генеративной модели Monstral-123B-v2, разработанной MarsupialAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогового взаимодействия и генерации текста, включая локальный запуск через llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат запроса — шаблон [INST]. Модель содержит 123B параметров, однако сведения о конкретной архитектуре, размере контекста и поддерживаемых модальностях в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ1_M: более высокие разрядности сохраняют лучшее качество, но требуют значительно больше памяти, тогда как низкоразрядные варианты экономичнее, но заметно уступают по качеству. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; размер файлов варьируется примерно от 28 до 130 ГБ. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также оптимизации для некоторых ARM- и AVX-систем. Ограничения включают очень высокие аппаратные требования для крупных вариантов и снижение качества у низкоразрядных квантизаций; отдельные варианты имеют ограничения совместимости, например Q4_0_8_8 не рекомендуется для Mac. Лицензия указана как other с названием mrl, но её подробные условия в README не раскрыты.