II.6Документация и сопровождение разработки

DevQuasar/cerebras.MiniMax-M2-REAP-139B-A10B-GGUF — это квантизированная версия модели MiniMax-M2-REAP-139B-A10B, разработанной организацией cerebras. Модель предназначена для генерации текста и относится к категории text-generation, поэтому может использоваться в сценариях, связанных с созданием и продолжением текстов, диалоговыми приложениями и другими задачами обработки естественного языка. Из доступных данных известно только, что модель распространяется в формате GGUF и является квантизированной. Сведения об архитектуре, размере, количестве параметров, поддерживаемых языках, длине контекста, конкретных вариантах квантования, производительности и ограничениях отсутствуют. Также README не содержит информации о лицензии или явных условиях использования. Описание основано на карточке модели и ссылке на исходную модель cerebras/MiniMax-M2-REAP-139B-A10B.

Cerebrum-1.0-10.7B — плотная языковая модель семейства Mistral, разработанная AetherResearch. Это версия с увеличенной глубиной, полученная методом passthrough merge из Cerebrum-1.0-7b; исходная Cerebrum-1.0-7b основана на Mistral-7B-v0.1 и дообучена для задач рассуждения. Модель содержит 10,6 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для дальнейшего дообучения или использования как замена исходной версии на 7 млрд параметров. Она ориентирована на пошаговое решение задач, в том числе математических, логических и требующих планирования; README также описывает применение для задач на знания, мозгового штурма и творческой генерации. Для лучшего результата предлагается шаблон Alpaca с просьбой описать ход рассуждений. Модель распространяется в формате safetensors по лицензии Apache-2.0. Заявленные в README результаты сравнения относятся к версии Cerebrum-1.0-7b и не подтверждают автоматически аналогичную производительность версии 10.7B; кроме того, качество зависит от формулировки запроса и выбранного шаблона.

Chronos-33B — языковая модель для диалогов, ролевых сценариев и написания историй. Карточка описывает её как версию модели на базе LLaMA, дообученную на человеческих запросах; разработчик Chronos в предоставленных данных не назван. Модель использует авторегрессионную архитектуру Transformer семейства LLaMA, содержит 32,3 млрд параметров и имеет контекст длиной 2048 токенов. Репозиторий содержит веса PyTorch/Hugging Face в формате Safetensors; README также ссылается на отдельные варианты GGML и GPTQ. Модель подходит для диалогов и ролевых игр, генерации связного длинного текста, а также простых задач рассуждения и программирования. Для работы автор рекомендует формат запросов Alpaca с секциями Instruction и Response. Карточка не перечисляет языки специально для Chronos; базовая LLaMA обучалась преимущественно на английском и включала данные ещё на 19 языках, в том числе русском, поэтому качество может различаться между языками. Указана лицензия other, а README описывает её как специальную лицензию LLaMA с некоммерческими условиями. Модель может выдавать неверную, оскорбительную или предвзятую информацию; ответы требуют проверки, а коммерческое использование ограничено условиями лицензии.

Josephgflowers/Cinder-1.3B-Test — языковая модель семейства Llama, опубликованная Josephgflowers как дообученная версия Josephgflowers/TinyLlama-3T-Cinder-v1.2. Она предназначена для генерации текста и диалогового общения. Модель имеет плотную архитектуру LlamaForCausalLM, около 1,2 млрд параметров и контекст до 2048 токенов; опубликована в формате Safetensors и работает с библиотекой Transformers. В карточке приведены отдельные результаты Open LLM Leaderboard, но сведения о данных обучения, языках, качестве в конкретных сценариях и ограничениях модели отсутствуют. Модель распространяется по лицензии MIT.

claude2-alpaca-13B — авторегрессионная языковая модель на архитектуре Transformer семейства Llama, разработанная лабораторией Tianyi Zhou в Университете Мэриленда. Модель дообучена на базе meta-llama/Llama-2-13b с использованием данных claude2_alpaca и формата запросов Stanford Alpaca. Она содержит 12,9 млрд параметров, принимает текст и генерирует текст; нативная длина контекста составляет 4096 токенов. Модель предназначена для генерации ответов в диалогах и исследований языковых моделей и чат-ботов. В карточке авторы сообщают о более высокой средней производительности по сравнению с Llama 2 Chat, однако приведённые таблица и описания не дают полного независимого подтверждения этого заявления. Основной язык в метаданных — английский. Для использования действует Llama 2 Community License Agreement.

code-daemon-denoise-v1 — двуязычный фильтр словаря, созданный автором репозитория на основе intfloat/multilingual-e5-small. Он оценивает отдельную словоформу как полезный технический термин или лишний элемент поискового словаря, чтобы очищать лексику, собранную из кода, документации, комментариев и сообщений коммитов. Модель подходит для английских и русских текстов в программных корпусах и рассчитана на пакетную обработку коротких однословных входов. В основе — замороженный энкодер семейства XLM-RoBERTa с архитектурой BertModel и 384-мерными нормализованными эмбеддингами; поверх него обучена логистическая регрессия, сведённая к одному аффинному преобразованию. В README описаны варианты ONNX, OpenVINO, TensorRT и другие сборки; метаданные указывают 124,3 млн параметров, контекст 512 токенов и лицензию Apache-2.0. Для корректной оценки необходимо добавлять префикс «vocab: »; README рекомендует порог strip_threshold 0,95 и указывает, что модель не предназначена для предложений, языков вне латиницы и кириллицы или терминологии за пределами программной области.

QuantFactory/Codepy-Deepthink-3B-GGUF — квантизированная версия Codepy-Deepthink-3B, созданная QuantFactory с использованием llama.cpp. Исходная модель дообучена на базе meta-llama/Llama-3.2-3B-Instruct и предназначена для генерации текста с акцентом на рассуждения, логическую структуру и решение задач. Модель ориентирована на сценарии, требующие пошаговых решений, логического анализа и генерации кода, а также может применяться в образовании и творческом письме. В README заявлена поддержка текстовой генерации на английском языке. Указан размер базовой модели около 3B параметров; сведения о точном формате квантизации, длине контекста, конкретных вариантах GGUF, производительности и системных требованиях отсутствуют. К сильным сторонам относятся компактный размер по сравнению с более крупными моделями, специализация на рассуждениях и программировании, а также совместимость с llama.cpp и Ollama. Ограничения включают неизвестные характеристики квантизации и отсутствие представленных объективных оценок качества; заявленные возможности следует проверять на собственных задачах. Лицензия указана как CreativeML OpenRAIL-M.

CognitiveFusion2-4x7B-BF16 — языковая модель Kquant03 для генерации текста, созданная как смесь экспертов на основе нескольких моделей семейства Mistral/Mixtral. В README перечислены YamshadowExperiment28-7B, M7-7b и T3QM7 как исходные модели и эксперты; модель описана как frankenMoE, у которой маршрутизатор не обучался одновременно с экспертами. Метаданные указывают архитектуру MixtralForCausalLM типа MoE, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для продолжения текста и диалоговой генерации на английском языке. Разреженная архитектура MoE активирует только часть экспертов для обработки токенов, что может сокращать вычисления при генерации; при этом веса всех экспертов должны помещаться в память. README называет репозиторий обновлением исходной Cognitive Fusion и сообщает о намерении повысить производительность дальнейшим дообучением, но не приводит результатов оценки качества. Модель распространяется в формате safetensors по лицензии Apache-2.0. README также содержит заголовок о GGUF-файлах, однако метаданные репозитория указывают safetensors.

groupA — дообученная Logan7000 модель семейства Qwen2.5, созданная на базе Qwen/Qwen2.5-3B с использованием TRL. Это плотная авторегрессионная языковая модель на 3,1 млрд параметров с архитектурой Qwen2ForCausalLM; метаданные указывают на поддержку диалогового режима и генерации текста. Модель предназначена для продолжения текста и ответов в диалоге. В README приведён пример генерации ответа на открытый вопрос; длина контекста составляет 32 768 токенов. Данные карточки не уточняют специализацию дообучения или результаты оценки качества, поэтому их нельзя установить по доступной информации. Репозиторий распространяется в формате safetensors; лицензия в предоставленных данных не указана.

COLA3-7B — языковая модель, разработанная Seungyoo-Lee (DopeorNope) в консорциуме исследований LLM компаний 미디어그룹사람과숲 и 마커. Это авторегрессионная плотная модель семейства LLaMA 2, дообученная методом IA3 на базе kyujinpy/KO-Platypus2-7B-ex; размер — 6,7 млрд параметров. Для дообучения использован набор Eng_Kor_COT_combined, указанный в метаданных как DopeorNope/combined. Модель принимает текст и генерирует текст. Её можно применять для генерации ответов и рассуждений на английском и корейском языках; контекст составляет 2048 токенов. Лицензия CC BY-NC-SA 4.0 разрешает использование на условиях атрибуции, распространения производных работ на тех же условиях и без коммерческого использования. Ответы могут быть неточными, предвзятыми или нежелательными; в README отмечено, что тестирование проводилось на английском языке и не охватывает все сценарии. Перед внедрением следует проверить модель и настроить меры безопасности для конкретного приложения.

CoMa-7B-v0.1 — экспериментальная объединённая языковая модель, созданная DevQuasar с помощью mergekit из предварительно обученных Meta Llama 2 7B и CodeLlama 7B. Использован линейный метод с весами 1,0 для Llama 2 и 0,5 для CodeLlama; в конфигурации указана точность float16. Модель содержит около 6,6 млрд параметров и имеет контекст длиной до 4096 токенов. Модель предназначена для генерации текста, включая сценарии, связанные с кодом. Карточка описывает её как эксперимент по объединению моделей и не приводит результатов оценки качества или подробных рекомендаций по применению. Лицензия — Llama 2; её условия следует учитывать при использовании модели.

ConfigurableBeagle-11B — языковая модель Vicgalle, дообученная методом configurable safety tuning на наборе vicgalle/configurable-system-prompt-multitask. Она предназначена для диалогов и генерации текста; системный промпт позволяет задавать режим поведения: безопасный помощник, помощник без ограничений, честный и беспристрастный помощник или ролевая персона. Модель основана на плотной архитектуре Mistral с 10,6 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель подходит для настройки поведения диалогового ассистента через системные инструкции и для экспериментов с управляемостью и безопасностью ответов. В карточке приведены результаты оценивания на наборах Open LLM Leaderboard. Модель распространяется по лицензии Apache-2.0.

Confucius-o1-14B-GGUF — квантизированная версия языковой модели Confucius-o1-14B, разработанной netease-youdao и подготовленной пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, а также может использоваться локально через совместимые приложения, включая LM Studio. В README указан английский язык и поддержка chat-сценариев. Модель содержит 14 млрд параметров. Доступны варианты от F32 и F16 до различных форматов квантования Q8, Q6, Q5, Q4, Q3, Q2 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы некоторые варианты Q6, Q5 и Q4; Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Версии с более низкой разрядностью экономят память, но могут заметно уступать по качеству. Ключевые преимущества модели — широкий выбор локальных квантованных сборок, совместимость с llama.cpp и возможность запуска на менее производительном оборудовании. Ограничения README не раскрывает: сведения об архитектуре, максимальной длине контекста, мультимодальности, результатах тестирования и фактических возможностях рассуждения отсутствуют. Модель распространяется по лицензии Apache-2.0.

CrucibleLab_M3.2-24B-Loki-V1.3-GGUF — это GGUF-квантизация текстовой генеративной модели M3.2-24B-Loki-V1.3, разработанной CrucibleLab. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix; доступны варианты от BF16 до низкобитных Q- и IQ-квантизаций. Модель предназначена для генерации текста и запуска в локальных средах, совместимых с llama.cpp, включая LM Studio и другие производные проекты. Размер исходной модели составляет 24B параметров; размер файлов зависит от варианта квантизации и варьируется примерно от 10,4 до 47,15 ГБ. Для модели не указан собственный формат промптов, поэтому его следует уточнять на странице оригинальной модели. Сильная сторона сборки — широкий выбор вариантов, позволяющий выбирать между качеством генерации и требованиями к памяти. Q6_K_L, Q6_K, Q5 и Q4-варианты отмечены как высококачественные или рекомендуемые, тогда как Q3-варианты экономят память ценой снижения качества. Языки, длина контекста, точная архитектура, дополнительные модальности и лицензия в представленном README не указаны.

DareNutz — объединённая текстовая модель на архитектуре Mistral, созданная jeiku с помощью mergekit и метода DARE TIES. В качестве основы использована unsloth/mistral-7b-instruct-v0.3; в слияние также вошли Theory_of_Mind_Mistral, Synthetic_Soul_1k_Mistral_128 и Luna_LoRA_Mistral. Модель содержит 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогов, включая выполнение инструкций. Заявленные компоненты указывают на тематические акценты на теории разума и синтетических данных, но README не описывает конкретные сценарии или результаты оценки качества. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

DarkIdol-Llama-3.1-13.3B-Instruct-1.2-Uncensored — объединённая модель для генерации текста в формате инструкционного диалога. Она создана методом passthrough merge с помощью mergekit на основе aifeifei798/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored. По архитектуре это плотная авторегрессионная модель семейства Llama с классом LlamaForCausalLM, примерно 12,7 млрд параметров и контекстом до 131 072 токенов. Модель рассчитана на текстовый чат и генерацию ответов; базовая модель также описана как предназначенная для ролевых игр и художественных текстов. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. В названии указано, что модель uncensored, однако README не описывает конкретные правила модерации или гарантии поведения. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

DataDecide-dclm-baseline-1B-45000_47500_50000_52500_55000_weightedavg_merge — объединённая предобученная языковая модель на архитектуре Llama, созданная с помощью mergekit методом Linear. В качестве базового чекпойнта при слиянии использован шаг 55000; также объединены чекпойнты шагов 45000, 47500, 50000 и 52500 из серии dclm-baseline. Разработчик в карточке не назван. Модель предназначена для генерации текста. Она содержит 1,2 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 2048 токенов. Карточка не описывает специальные предметные области или языки. Модель сохранена в формате safetensors и предназначена для загрузки через Transformers. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

Это объединённая предобученная языковая модель семейства Llama, опубликованная пользователем yuhengtu-bytedance. Модель создана методом линейного слияния mergekit из пяти контрольных точек обучения DCLM baseline на смеси DCLM и Dolma 1.7; одна из контрольных точек указана как базовая при слиянии. Веса представлены в формате safetensors и содержат около 1,2 млрд параметров. Модель предназначена для генерации текста и продолжения текстовых последовательностей. Она принимает текст и выдаёт текст; заявленный контекст составляет 2048 токенов. Карточка не сообщает о специальной прикладной области или отдельных языковых настройках, поэтому модель можно описать как языковую модель общего назначения. Лицензия в предоставленных сведениях не указана.

DataDecide-dclm-baseline-qc-fw-10p-1B-47500_50000_52500_55000_57500_weightedavg_merge — языковая модель семейства Llama, объединённая с помощью mergekit методом Linear. В объединение вошли пять контрольных точек предобученной модели dclm-baseline-qc-fw-10p; базой слияния служила контрольная точка step57500. Модель содержит 1,2 млрд параметров и принимает текст для авторегрессионной генерации текста. Она предназначена для сценариев генерации текста общего назначения; карточка не сообщает о специальной предметной области или дополнительных возможностях. Модель опубликована в формате safetensors и рассчитана на контекст до 2048 токенов. Лицензия и сведения о языках в доступных данных не приведены, поэтому нельзя установить условия использования или перечислить поддерживаемые естественные языки. Карточка также не содержит результатов оценки качества; применимость к конкретным задачам следует проверять отдельно.

DataDecide-dclm-baseline-qc-fw-3p-1B-50000_52500_55000_57500_60000_weightedavg_merge — объединённая языковая модель, созданная с помощью mergekit линейным слиянием нескольких контрольных точек dclm-baseline-qc-fw-3p. В качестве базовой контрольной точки использована step60000; в слияние также вошли step50000, step52500, step55000 и step57500. Модель основана на архитектуре LlamaForCausalLM, содержит 1,2 млрд параметров и предназначена для генерации текста. Она принимает текстовый контекст, а длина нативного контекста составляет 2048 токенов. В README и метаданных не указаны специализированные области применения или поддерживаемые естественные языки. Веса опубликованы в формате safetensors. Данные описывают способ слияния, но не приводят сравнительных оценок качества или подробных сведений об обучении. Лицензия в предоставленных материалах не указана.

DataDecide-dolma1_7-1B-52500_55000_57500_60000_62500_weightedavg_merge — объединённая языковая модель, созданная с помощью mergekit из пяти предварительно обученных чекпойнтов Dolma 1.7. В README описан линейный метод слияния, где базовым служил чекпойнт step62500; среди остальных участников указаны шаги 52500, 55000, 57500 и 60000. Модель построена на плотной архитектуре LlamaForCausalLM и содержит около 1,2 млрд параметров. Она предназначена для генерации текста; библиотека загрузки — Transformers, веса представлены в формате safetensors. Длина контекста составляет 2048 токенов. Сведения о специальных предметных задачах или языках в карточке не приводятся. Лицензия в предоставленных данных не указана. Поскольку это слияние чекпойнтов, применимость и условия распространения следует сверять с лицензиями исходных моделей.

DataDecide-fineweb-edu-1B-57500_60000_62500_65000_67500_weightedavg_merge — объединённая языковая модель семейства Llama, созданная с помощью mergekit. В ней линейно объединены предобученные чекпойнты fineweb-edu с шагов 57500, 60000, 62500, 65000 и 67500; последний использован как базовый при слиянии. Модель содержит 1,2 млрд параметров, принимает текст и генерирует текст, максимальный контекст — 2048 токенов. Модель предназначена для генерации текста и языковых задач общего назначения. Карточка не приводит отдельных оценок качества или подробных сценариев применения. Репозиторий распространяет веса в формате safetensors; лицензия в предоставленных данных не указана.

DCLM-Baseline-7B — плотная авторегрессионная языковая модель с архитектурой decoder-only Transformer, разработанная командой DataComp for Language Models. Модель содержит 7 млрд параметров, обучена на 2,5 трлн токенов набора DCLM-Baseline и имеет контекст длиной 2048 токенов. В метаданных указано семейство OpenLM и формат весов safetensors. Модель предназначена прежде всего для генерации текста на английском языке и общих языковых задач, включая ответы на вопросы и оценку знаний. Она демонстрирует результаты на нескольких тестах, в том числе MMLU и HellaSwag. Специального дообучения для выравнивания поведения и безопасности не проводилось, поэтому возможны предвзятые или вредоносные ответы; качество за пределами проверенных задач может различаться. Лицензия — Apple Sample Code License (apple-ascl).

bartowski/DeepSeek-R1-Distill-Qwen-1.5B-GGUF — набор GGUF-квантизованных версий модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленный bartowski. Квантизация выполнена с использованием llama.cpp версии b4514 и метода imatrix. Модель относится к классу text-generation и предназначена для локальной генерации текста, включая запуск через llama.cpp и LM Studio. Доступны варианты от исходных F32 и F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3, Q2 и IQ4/IQ3 объёмом примерно от 0,88 до 7,11 ГБ. Более точные варианты обеспечивают лучшее качество, а варианты с меньшим размером подходят для систем с ограниченным объёмом оперативной памяти; в README рекомендованы несколько конфигураций Q6, Q5 и Q4. Формат GGUF облегчает локальный запуск, однако README не содержит сведений об архитектуре базовой модели, поддерживаемых языках, длине контекста, мультимодальности или точных требованиях к оборудованию. Для корректного взаимодействия указан специальный формат prompt с системным сообщением, пользовательским запросом и ответом ассистента. Ограничения включают неизбежное снижение качества при агрессивной квантизации и отсутствие в представленном README информации о лицензии и условиях коммерческого использования.

DheyoAI выпустила GGUF-версию модели DeepSeek-R1-Distill-Qwen-1.5B — компактной плотной языковой модели на архитектуре Qwen2 с 1,5 млрд параметров. Она предназначена для генерации текста в диалоге и решения задач, требующих рассуждений, включая математику и программирование. В README приведено сравнение вариантов квантования семейства на тестах GSM8K, GPQA Diamond, Math500 и AIME; результаты относятся к описанным вариантам и условиям оценки. Модель принимает текст и генерирует текст. Метаданные указывают контекст до 131 072 токенов и поддержку английского языка. Формат GGUF рассчитан на компактное локальное хранение и запуск совместимыми средствами. Лицензия — MIT.

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной deepseek-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста в диалоговых приложениях и локального запуска через LlamaEdge, включая режимы API-сервиса и командного чат-приложения. В README также указана совместимость с библиотекой transformers. Модель основана на архитектуре Qwen и содержит 1,5 млрд параметров. Она поддерживает текстовый ввод и вывод, использует шаблон запросов ChatML и контекст размером до 32 000 токенов. Доступны варианты GGUF с квантизацией от 2 до 16 бит и размером файлов примерно от 753 МБ до 3,56 ГБ. Варианты с более низкой разрядностью экономят память, но сильнее теряют в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые для баланса размера и качества. Основные преимущества модели — компактный размер, возможность локального запуска и широкий выбор уровней квантизации. Ограничения включают снижение качества при агрессивной квантизации и отсутствие в README сведений о поддерживаемых языках, результатах тестирования и специализированных сценариях применения. Модель распространяется по лицензии MIT.

Это объединённая линейным слиянием модель языковых моделей deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B и Qwen/Qwen2.5-Math-1.5B, созданная автором репозитория с помощью mergekit. Она предназначена для генерации текста в диалоговом формате и может применяться для решения математических задач и задач программирования благодаря возможностям исходных моделей.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B-unsloth-bnb-4bit — это 4-битная квантованная версия языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная Unsloth на основе базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Модель относится к семейству DeepSeek-R1 и использует дистилляцию способностей рассуждения, полученных при обучении DeepSeek-R1, в компактную модель на базе Qwen. Формат предназначен для использования с библиотекой Transformers и технологией bitsandbytes. Модель предназначена прежде всего для текстовых задач, требующих рассуждений, включая решение математических задач, программирование, ответы на вопросы и другие сценарии, где важна последовательная логика. Благодаря размеру 1,5 млрд параметров и 4-битному представлению она ориентирована на запуск при ограниченных ресурсах памяти, однако README не содержит точных требований к оборудованию, размера контекста или подробных показателей качества. Указан английский язык; поддержка других языков отдельно не заявлена. К сильным сторонам относятся компактность, сниженные требования к памяти и ориентация на reasoning-задачи. Ограничениями являются меньшая вместимость по сравнению с более крупными моделями DeepSeek-R1 и возможные потери качества из-за 4-битной квантования; конкретные компромиссы в README не измерены. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V2.5-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-V2.5, разработанной DeepSeek и подготовленной для распространения пользователем legraphista. Модель предназначена для генерации текста и локального запуска с использованием llama.cpp и совместимых инструментов. В качестве исходной использована версия в формате BF16, а квантизация выполнена с помощью llama.cpp b3675. В репозитории доступны варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3, IQ3, Q2 и IQ2 с размерами файлов примерно от 69,87 до 250,62 ГБ; файлы поставляются разделёнными на части. Для большинства вариантов применена IMatrix-квантизация, которая призвана эффективнее сохранять качество при уменьшении размера модели, тогда как Q8_0 и Q6_K используют статическую квантизацию. Конкретные архитектурные параметры, поддерживаемые языки, модальности и размер контекста в README не указаны. Сильная сторона сборки — широкий выбор уровней квантизации и совместимость с экосистемой GGUF и llama.cpp, что позволяет подбирать компромисс между требованиями к памяти и качеством генерации. Ограничениями являются очень большой размер даже наиболее компактных вариантов, необходимость работы с разделёнными файлами и возможная потеря качества на низких уровнях квантизации. Модель распространяется по лицензии DeepSeek; указана лицензия other со ссылкой на LICENSE-MODEL исходной модели.

mlx-community/DeepSeek-V3-0324-4bit — это квантизированная 4-битная версия языковой модели DeepSeek-V3-0324, разработанная сообществом mlx-community и преобразованная в формат MLX из модели deepseek-ai/DeepSeek-v3-0324-4bit с помощью mlx-lm версии 0.26.3. Модель предназначена для генерации текста и запуска через библиотеку MLX, в том числе с использованием чат-шаблона токенизатора. Она может применяться для диалоговых сценариев и других задач текстовой генерации, однако README не содержит подробностей о поддерживаемых языках, размере модели, архитектуре, длине контекста или мультимодальных возможностях. Ключевая характеристика модели — 4-битное квантование, которое потенциально снижает требования к памяти по сравнению с полноразмерной версией, но README не приводит измерений производительности или качества. Ограничения и точные сценарии применения следует оценивать отдельно, поскольку сведения о сильных сторонах, бенчмарках и аппаратных требованиях отсутствуют. Модель распространяется по лицензии MIT.