II.2Создание и понимание программного кода

DeepSeek-Coder-V2-Lite-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek и квантизированной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и ассистирования в задачах программирования, включая написание и обработку кода, однако конкретный перечень поддерживаемых языков программирования и естественных языков в README не указан. Доступны варианты квантизации от Q2_K и IQ2_M до Q8_0 и экспериментального Q8_0_L, с размером файлов примерно от 6,32 до 17,09 ГБ. Более компактные варианты экономят оперативную память ценой снижения качества, тогда как Q5–Q8 описываются как высококачественные; для ряда конфигураций рекомендуются Q4–Q6. Варианты с суффиксом L используют F16 для весов embedding и output и отмечены как экспериментальные. Архитектура, число параметров, модальности, размер контекста и языки модели в предоставленном README не указаны. Модель рассчитана на локальный запуск через llama.cpp и использует специальный формат промпта с system prompt, сообщениями User и Assistant. Лицензия обозначена как deepseek-license; подробные условия в README не приведены, поэтому перед использованием следует ознакомиться с файлом LICENSE. Основные ограничения — отсутствие в README точных сведений о базовой архитектуре и характеристиках, а также неизбежная зависимость качества и требований к памяти от выбранного уровня квантизации.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для запуска через GaiaNet и совместима с шаблоном запросов deepseek-chat-2. Модель ориентирована на задачи, связанные с программированием и обработкой инструкций. В README указано, что она основана на архитектуре deepseek и поддерживает контекст размером до 128 000 токенов. Дополнительные сведения о размере модели, языках программирования и поддерживаемых модальностях не приведены; по имеющимся данным, модель относится к текстовым, а не мультимодальным решениям. К преимуществам относятся большой контекст и возможность локального запуска в формате GGUF через экосистему GaiaNet. К ограничениям относятся отсутствие в README подробных характеристик качества, перечня языков, требований к ресурсам и результатов бенчмарков. Модель распространяется по лицензии deepseek-license; тип лицензии обозначен как other, поэтому перед использованием следует ознакомиться с условиями файла LICENSE.

DeepSeek-Coder-V2-Lite-Instruct-IMat-GGUF — это набор GGUF-квантизованных версий модели DeepSeek-Coder-V2-Lite-Instruct, подготовленный legraphista с использованием llama.cpp. Исходная модель имеет формат BF16, а представленные варианты включают BF16, FP16 и уровни квантизации от Q8_0 до 1-битных форматов. Для ряда вариантов применена IMatrix-квантизация на основе указанного калибровочного набора данных. Модель предназначена для генерации текста и, прежде всего, для задач программирования и диалогового использования в совместимых средах, включая llama.cpp. Доступны файлы размером примерно от 6,43 до 31,42 ГБ; конкретный объём зависит от выбранного формата. GGUF-варианты позволяют выбирать компромисс между качеством, требованиями к памяти и скоростью работы, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста. Лицензия указана как deepseek-license; дополнительные условия находятся в файле LICENSE. README не приводит подробностей о сравнительных преимуществах, известных ограничениях или результатах оценки, поэтому качество и пригодность конкретного варианта следует оценивать с учётом выбранного уровня квантизации и используемой аппаратной конфигурации.

NVIDIA DeepSeek-R1-0528-NVFP4-v2 — FP4-квантизированный вариант модели рассуждений DeepSeek-R1-0528, подготовленный с помощью NVIDIA TensorRT Model Optimizer. Это авторегрессионная языковая модель семейства DeepSeek V3 с архитектурой трансформера; в метаданных указано 37,6 млрд параметров и контекст до 163 840 токенов. Версия v2 дополнительно квантизирует модуль wo в слоях внимания по сравнению с DeepSeek-R1-0528-FP4. Модель принимает текст и генерирует текст. Она предназначена для диалогов и решения задач, в том числе многошаговых рассуждений; доступен интерфейс вызова инструментов. Квантизация весов и активаций линейных операторов снижает требования к диску и памяти GPU примерно в 1,6 раза. Для запуска README указывает TensorRT-LLM, Linux и оборудование NVIDIA Blackwell; приведённый пример развёртывания требует 8 GPU B200. Модель основана на DeepSeek-R1-0528 и, согласно README, готова к коммерческому и некоммерческому использованию; метаданные указывают лицензию MIT. Ответы могут быть неточными, неполными или избыточными, а обучающие данные могут приводить к токсичному языку и усилению социальных предубеждений.

DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.

Карточка модели LUTingYu/DeepSeek-R1-0528-Qwen3-8B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-0528-Qwen3-8B, поэтому описание составлено по ней. DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.

DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель с 7,6 млрд параметров, размещённая Unsloth и основанная на Qwen3 8B Base. По README, модель получена дообучением на цепочках рассуждений DeepSeek-R1-0528; метаданные указывают базовую модель deepseek-ai/DeepSeek-R1-0528-Qwen3-8B и архитектуру Qwen3ForCausalLM. Репозиторий содержит веса safetensors и поддерживает диалоги и интерфейс вызова инструментов. Модель предназначена для генерации текста и диалогов с многоэтапными рассуждениями, в частности для решения математических и логических задач, программирования и помощи при написании кода. Её контекст составляет до 131 072 токенов. README сообщает об улучшении результатов на отдельных математических и общих бенчмарках, но эти результаты не гарантируют качество на других задачах. Лицензия — MIT.

arcee-ai/DeepSeek-R1-bf16 — конверсия весов DeepSeek-R1 из исходного FP8 в BF16. DeepSeek-R1 разработана DeepSeek на базе DeepSeek-V3-Base; она использует обучение с подкреплением и этапы дообучения с учителем для развития навыков рассуждения. В репозитории указаны архитектура DeepSeek V3, 37,6 млрд параметров и контекст длиной до 163 840 токенов. Модель предназначена для генерации текста в диалоге, решения математических задач, программирования и многошаговых рассуждений. Карточка описывает саму DeepSeek-R1 как разреженную MoE-модель с 671 млрд параметров и 37 млрд активируемых параметров, однако метаданные этого репозитория классифицируют архитектуру как плотную и указывают 37,6 млрд параметров; характеристики оригинала не следует переносить на эту конверсию без оговорки. В метаданных также отмечен интерфейс вызова инструментов. В README не приведены сведения о лицензии и отдельных ограничениях для этой конверсии. Для запуска потребуется совместимая среда инференса с поддержкой BF16; пригодность модели зависит от доступной памяти и оборудования.

Это канал-квантизованная версия DeepSeek-R1, подготовленная Meituan: веса BF16 преобразованы в INT8 с поканальными масштабами. Модель предназначена для генерации текста в диалоге и решения задач, требующих рассуждений, включая математику, программирование и ответы на сложные вопросы. В метаданных архитектура указана как DeepSeek V3 с плотной causal language model; размер — 37,6 млрд параметров, нативный контекст — 163 840 токенов. Репозиторий содержит веса Safetensors и интерфейс вызова инструментов. В README сообщается о сохранении точности на GSM8K и MMLU и ускорении до 50% в указанном бенчмарке на нескольких A100; эти результаты относятся к описанной конфигурации и не гарантируют такого ускорения на другом оборудовании. Для запуска может потребоваться поддержка поканальной INT8-квантизации в используемом inference-движке. Лицензия модели — MIT.

Это версия DeepSeek-R1-Distill-Llama-70B, преобразованная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Llama-70B в формат MLX с помощью mlx-lm 0.20.2. Модель построена на плотной архитектуре Llama и содержит 69,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая математические рассуждения, программирование и ответы на сложные вопросы. Контекстное окно составляет 131 072 токена; метаданные также отмечают интерфейс вызова инструментов. Версия ориентирована на запуск с mlx-lm. В карточке указана конверсия в MLX, но лицензия не приведена в доступных данных. Качество ответов и совместимость зависят от среды запуска и конкретного сценария.

DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit — это 4-битная динамически квантизированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе модели DeepSeek-R1 от DeepSeek AI. Модель относится к семейству больших языковых моделей на архитектуре Llama и предназначена для работы через библиотеку Transformers. Модель ориентирована на задачи рассуждения, включая решение математических задач, генерацию и анализ кода, а также другие сценарии, требующие пошагового вывода. Указан английский язык. Размер базовой модели составляет 8B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. Ключевое преимущество версии — динамическое 4-битное квантование Unsloth, при котором отдельные параметры выборочно не квантуются для сохранения более высокой точности по сравнению со стандартным 4-битным квантованием. Это снижает требования к памяти и упрощает локальный запуск, однако квантизация может влиять на качество по сравнению с полноразмерной версией. Сведения о точных ограничениях, показателях производительности и рекомендуемых аппаратных требованиях не приведены. Модель распространяется по лицензии Llama 3.1.

casperhansen/deepseek-r1-distill-qwen-32b-awq — это распространённая пользователем casperhansen версия DeepSeek-R1-Distill-Qwen-32B с 4-битным квантованием AWQ. Исходную модель разработала DeepSeek на базе Qwen2.5-32B от команды Qwen компании Alibaba Cloud; она дообучена на 800 тысячах образцов, отобранных с использованием DeepSeek-R1, и предназначена для генерации текста и задач, требующих рассуждений, включая математику, программирование и научные вопросы. Модель является текстовой autoregressive language model с архитектурой Qwen2ForCausalLM и примерно 32 млрд параметров. В конфигурации указаны 64 слоя, 40 attention heads, 8 key-value heads, размер скрытого состояния 5120 и максимальная длина контекста 131072 токена. Репозиторий содержит веса Safetensors в формате AWQ с 4-битными группами размера 128 и типом вычислений bfloat16. Квантование существенно уменьшает требования к памяти и подходит для локального запуска, но может снижать точность по сравнению с исходной полноразмерной моделью; конкретные результаты тестирования этой AWQ-сборки в карточке модели не приведены. Для модели casperhansen указана лицензия MIT. В карточке также отмечается, что исходная DeepSeek-R1-Distill-Qwen-32B поддерживает коммерческое использование, модификацию и создание производных работ, однако при практическом применении следует учитывать условия лицензий исходных компонентов и выбранного программного окружения.

DeepSeek-R1-Distill-Qwen-32B-bf16 — языковая модель с архитектурой Qwen2, опубликованная сообществом mlx-community в формате MLX для запуска на устройствах Apple Silicon. Репозиторий содержит 32-миллиардную модель, конвертированную из deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.21.1; исходная модель является дистилляцией DeepSeek-R1 на базе Qwen. Модель предназначена для диалоговой генерации текста и рассуждений, в том числе для решения задач по математике и программированию. Заявленная длина контекста составляет 131072 токена. Поддерживаются чат и интерфейс вызова инструментов. В карточке указана лицензия Apache-2.0. Ограничения по качеству и условиям применения в README не описаны.

DeepSeek-V2.5-GGUF — квантованная в формате GGUF версия модели DeepSeek-V2.5, разработанной командой DeepSeek-AI. Квантование подготовлено bartowski на основе llama.cpp b3658 и предназначено для локального запуска, в том числе через LM Studio. Модель объединяет возможности инструкционной и кодовой версий DeepSeek и ориентирована на диалоговые сценарии, генерацию текста, программирование и широкий круг универсальных задач. Заявлена поддержка контекстного окна до 163 840 токенов. Используется архитектура MoE: по описанию, модель сочетает вычислительные возможности уровня 200B параметров со скоростью модели уровня 21B, однако точные размеры и характеристики квантования в README не указаны. К сильным сторонам относятся большой контекст, развитые чатовые и кодовые возможности, а также удобство локального использования в формате GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и производительности от конкретной квантовки и оборудования. Языки и поддержка мультимодальных входов не указаны. Модель распространяется по лицензии DeepSeek; подробные условия приведены по ссылке, указанной в README.

DeepSeek-V2-Lite-XiaAi — объединённая модель для генерации текста, созданная автором карточки с помощью mergekit и метода TIES. В качестве основы использована DeepSeek-V2-Lite; в объединение также включена DeepSeek-Coder-V2-Lite-Instruct. Модель построена на архитектуре DeepSeek V2 и предназначена для диалогового взаимодействия и генерации текста. В карточке указаны 2,5 млрд параметров и контекстное окно до 163 840 токенов. Модель распространяется в формате safetensors и отмечена как поддерживающая чат. Лицензия в предоставленных данных не указана.

DeepSeek-V4.1-Flash — мультимодальная модель семейства DeepSeek от RedHatAI. Она принимает текст и изображения и авторегрессионно генерирует текст. Модель построена по архитектуре Mixture-of-Experts с 552 млрд параметров основы; активируются 8 млрд параметров на токен при предварительной обработке контекста и 16 млрд при генерации. В README заявлена поддержка контекста до 1 млн токенов. Модель предназначена для рассуждений, агентных сценариев, работы с кодом и визуальными задачами. Среди архитектурных особенностей — сжатие KV-кэша, разреженное внимание, память Engram и управляемый уровень усилий рассуждения от 1 до 100. Репозиторий содержит веса safetensors в формате FP8, а метаданные указывают библиотеку Transformers. Лицензия — MIT. В карточке нет шаблона чата Jinja; для кодирования диалогов README указывает на отдельную реализацию encoding.py.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

puwaer подготовил сжатый вариант DeepSeek-V4-Flash-0731 методом REAP: в каждом MoE-блоке число маршрутизируемых экспертов сокращено с 256 до 132, при этом сохранены все 43 слоя и 6 экспертов на токен. Это причинная языковая модель с архитектурой DeepseekV4ForCausalLM и 10,7 млрд параметров в опубликованном чекпойнте; веса представлены в safetensors FP8. Модель предназначена для диалоговой генерации текста, рассуждений, решения математических задач и генерации кода. Поддерживает контекст до 1 048 576 токенов. По приведённым в карточке тестам, сжатый вариант сохраняет близкие к базовой модели результаты на математических и программных бенчмарках. Стандартная генерация работает, но модули многотокенного предсказания удалены, поэтому ускоренное спекулятивное декодирование на их основе недоступно. Результаты тестов получены при контексте 4096 токенов и отключённом thinking, что ограничивает переносимость этих показателей на другие настройки. Модель основана на deepseek-ai/DeepSeek-V4-Flash-0731; лицензия — MIT.

NVIDIA DeepSeek-V4-Pro-0813-NVFP4 — квантизированная версия модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Это авторегрессионная текстовая языковая модель на архитектуре Transformer с Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общий объём модели составляет 1,65 трлн параметров, из которых при генерации активируется 49 млрд. NVIDIA отдельно указывает, что модель не принадлежит ей и не была ею разработана как исходная модель. Модель предназначена для сложного рассуждения, агентных AI-приложений, использования инструментов и решения задач в математике, программной инженерии и корпоративных AI-ассистентах. Она принимает и генерирует текст, поддерживает многошаговые диалоги, системные инструкции, структурированный JSON-вывод, function calling и выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста заявлена на уровне 1 млн токенов; предусмотрен собственный конвейер кодирования encoding_dsv4 с уровнями усилий рассуждения low, high и max. В составе исходного чекпойнта также заявлен модуль спекулятивного декодирования DSpark. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое использование. Для запуска указаны SGLang и vLLM, Linux и GPU NVIDIA Blackwell B200; практическая производительность ориентирована на ускорение NVIDIA. Ограничения включают требовательность к совместимой аппаратной инфраструктуре, неизвестные сведения об обучающих данных и необходимость дополнительного тестирования на прикладных данных для проверки качества, безопасности и соответствия требованиям конкретного сценария.

DevPearl-2x7B — языковая модель с архитектурой Mixture of Experts, собранная louisbrulenaudet из DeepSeek Coder 6.7B Instruct и SQLCoder 7B 2. Она предназначена для диалоговой разработки: генерации и объяснения кода, а также составления SQL-запросов. В конфигурации эксперты связаны с запросами на Python, JavaScript, Java и SQL. Модель имеет архитектуру MixtralForCausalLM, около 6,6 млрд параметров и контекст до 16 384 токенов. Доступна в формате safetensors для Transformers. Лицензия — CC BY-SA 4.0. Карточка описывает модель как MoE для разработки, однако не приводит результатов оценивания; поэтому качество на конкретных языках и задачах может различаться.

DevPearl-7B-dare-ties — объединённая модель на основе DeepSeek Coder 6.7B Instruct и SQLCoder 7B 2, опубликованная louisbrulenaudet. Для слияния применён метод DARE-TIES; конфигурация также указывает CodeLlama 7B Instruct как базовую модель, тип данных bfloat16 и маску int8. Модель предназначена для генерации текста, в том числе кода и SQL-запросов, а также для ответов на инструкции, связанные с этими задачами. Модель имеет плотную архитектуру семейства Llama с 6,6 млрд параметров и контекстом до 16 384 токенов. В метаданных указаны английский язык, формат safetensors и библиотека diffusers; лицензия — Apache 2.0. Карточка сообщает о слиянии моделей, но не приводит оценок качества или подробных результатов тестирования именно этого чекпойнта.

DNA 3.0-397B-A17B — дообученная Dnotitia мультимодальная модель Mixture-of-Experts на базе Qwen/Qwen3.5-397B-A17B. Она предназначена для диалогов и рассуждений, агентного программирования, работы с инструментами, анализа изображений и видео, а также сценариев, связанных с корпоративными знаниями и продуктами Dnotitia. Архитектура сочетает разреженные MoE-слои с линейным вниманием Gated DeltaNet; всего в модели 397 млрд параметров, активны 17 млрд. Контекст составляет 262 144 токена, с расширением примерно до 1 010 000 через YaRN. Модель заявляет поддержку 201 языка и диалекта, с особым вниманием к корейскому языку и корпоративным сценариям. Дообучение включает корпоративную персону Dnotitia, более широкое следование запросам с меньшим числом отказов и сохранение цепочек рассуждений в многошаговом диалоге. Поддерживаются режим рассуждений и интерфейс вызова инструментов; для развёртывания доступны Transformers и движки vLLM, SGLang и KTransformers. Лицензия — Apache-2.0. Для обслуживания модели такого размера рекомендуется мног GPU-серверная инфраструктура. Модель может давать ответы с корпоративным уклоном при обсуждении Dnotitia, реже отказывается на чувствительные запросы и наследует ограничения базовой модели, включая возможные предвзятость и языковые пробелы. Возможны галлюцинации, особенно на узкоспециальные, актуальные и требующие высокой числовой точности темы; для ответственных решений необходима проверка человеком.

DNA 3.0-9B — мультимодальная модель компании Dnotitia, дообученная на базе Qwen/Qwen3.5-9B. Это плотная модель с 9 млрд параметров и архитектурой Qwen3.5 для работы с текстом и изображениями; поддерживает диалог и интерфейс вызова инструментов. В README указаны поддержка 201 языка и диалектов, контекст 262 144 токена с расширением примерно до 1 010 000 токенов с помощью YaRN. Метаданные указывают формат Safetensors и лицензию Apache-2.0. Модель рассчитана на аналитические рассуждения, программирование и отладку с агентными сценариями, понимание изображений и ответы в роли ассистента, знакомого с продуктами и внутренней терминологией Dnotitia. Её дообучали с уменьшенным числом отказов и корпоративной персоной; по умолчанию она может выдавать блоки рассуждений, которые можно отключить. Для обслуживания авторы рекомендуют выделенный inference-движок и много GPU. К ограничениям относятся сниженное поведение отказа, предвзятость в пользу Dnotitia, унаследованные от базовой модели смещения и возможные галлюцинации; для решений с высокими ставками требуется проверка человеком.

Dolphin 2.6 Mistral 7B DPO — языковая модель, созданная Eric Hartford при спонсорской поддержке Convai и дообученная на базе Mistral-7B. Это плотная авторегрессионная модель с 7,1 млрд параметров, рассчитанная на генерацию текста; она принимает запросы в формате ChatML. Контекст модели составляет до 32 768 токенов по метаданным, тогда как README указывает для базовой модели 16 тысяч токенов. Модель предназначена для диалога и особенно для задач программирования. DPO-настройка на предпочтениях повысила её склонность следовать инструкциям. Модель поддерживает английский язык; репозиторий содержит веса в формате safetensors. Лицензия Apache-2.0 допускает коммерческое использование. Автор описывает модель как uncensored и предупреждает, что она может выполнять вредоносные запросы. Перед использованием в сервисе следует самостоятельно настроить меры безопасности и фильтрацию. README не приводит законченных примеров вывода или результатов оценки, поэтому качество для конкретных задач стоит проверять отдельно.

dolphin-2.8-mistral-v02-2x7b — языковая модель Mixture of Experts (MoE), созданная с помощью LazyMergekit путём объединения cognitivecomputations/dolphin-2.8-mistral-7b-v02 и OpenPipe/mistral-ft-optimized-1227. Она предназначена для генерации текста в формате чата: один набор экспертов ориентирован на диалог, ответы и объяснения, другой — на программирование и алгоритмы. Модель имеет архитектуру MixtralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Модель подходит для создания чат-ассистентов, объяснения тем и помощи с кодом. В карточке не приведены результаты оценок качества или сведения о поддерживаемых естественных языках, поэтому качество и языковой охват по этим данным определить нельзя.

dolphin-2.9.1-llama-3-70b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.1, созданной Cognitive Computations на базе Meta-Llama-3-70B. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель ориентирована на генерацию текста в диалогах и выполнение инструкций, а также на задачи программирования, математические задачи, function calling и агентские сценарии. Для обучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. Указанный шаблон запросов использует формат ChatML. Модель текстовая; сведения о поддерживаемых языках и размере контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В README рекомендуются, в частности, варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия указана как llama3. Для точных условий использования следует дополнительно учитывать лицензию базовой модели Meta-Llama-3-70B.

theo77186/dolphin-2.9.1-mistral-22b — преобразованная в формат Mistral версия Dolphin 2.9.1 Mixtral 1x22B, созданной Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Это плотная авторегрессионная языковая модель на 22 млрд параметров с контекстом до 65 536 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и выполнения инструкций, включая задачи по программированию. В карточке также заявлены начальные агентные возможности и поддержка вызова функций. Для исходной модели указано полное дообучение всех слоёв с длиной последовательности 16 000 токенов; она основана на Dolphin-2.9-Mixtral-8x22B и извлечённом объединённом эксперте. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Автор README отмечает, что шаблон ChatML работает некорректно и что формат Alpaca при этом работает. Модель описана как uncensored и может следовать запросам, в том числе небезопасным; перед предоставлением сервиса рекомендуется добавить собственный слой выравнивания. Языки обучения и точные показатели качества в карточке не раскрыты.

Dolphin 2.9.1 Yi 1.5 9B — языковая модель для диалогов и генерации текста, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе 01-ai/Yi-1.5-9B. Модель с плотной архитектурой семейства Llama содержит 8,6 млрд параметров и распространяется в формате Safetensors с точностью 16 бит. Модель предназначена для ответов на инструкции, общения, задач по программированию и начальных агентных сценариев; заявлена поддержка вызова функций. Использует шаблон ChatML и обучалась на последовательностях длиной до 12 тысяч токенов. В README авторы описывают её как «uncensored» и рекомендуют добавить собственный слой выравнивания перед предоставлением сервиса. Лицензия Apache 2.0 разрешает коммерческое использование.

Dolphin 2.9.2 Phi 3 Medium — языковая модель, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations на базе Phi-3-Medium-Instruct-4k. Это плотная модель для генерации текста и диалогов; README указывает обучение с qLoRA на последовательностях длиной 4k, а метаданные — архитектуру MistralForCausalLM и 13,8 млрд параметров. Модель использует шаблон запросов ChatML и рассчитана на английский язык. Модель предназначена для выполнения инструкций, общения, задач программирования и начальных агентных сценариев, включая вызов функций. В README упомянуты обучение на наборах инструкций, диалогов, кода и математических задач. Контекст ограничен 4096 токенами. По словам авторов, модель не полностью очищена от отказов; они советуют настроить собственный слой выравнивания перед предоставлением модели как сервиса. Лицензия — MIT. README предупреждает, что модель более склонна выполнять запросы и возлагает ответственность за создаваемый контент на пользователя.