II.2Создание и понимание программного кода

Cyber-Tiel-Coder-35B-A3B-GGUF-MTP — квантованная GGUF-модель, разработанная peculiar-ragdoll на базе Huihui-Ornith-1.5-35B-A3B-abliterated, которая, в свою очередь, основана на Ornith-1.5. Модель предназначена прежде всего для программирования, агентной разработки, автономного исправления ошибок в больших кодовых базах и задач offensive security. Она ориентирована на запуск через llama.cpp и рассчитана на локальное использование, в том числе на оборудовании с ограниченным объёмом VRAM. Модель использует архитектуру MoE класса 35B-A3B, динамическое повторное квантование с собственной cyber-weighted imatrix, шаблон чата Sharp и встроенную multi-token prediction head для speculative decoding. Доступна версия Q4 размером около 22 ГБ. В метаданных указаны английский и китайский языки, а также поддержка image-text-to-text и vision, однако подробности о мультимодальном вводе и максимальном контексте в README не приведены. К сильным сторонам относятся высокая скорость и специализация на агентном программировании: автор заявляет примерно в 3–4 раза более высокую скорость по сравнению с плотными моделями 3.8–27B, а также существенные результаты на SWE-bench-Live и Cybench. Abliteration удаляет стандартные отказы модели, поэтому она способна выполнять запросы, связанные с вредоносными или опасными сценариями, без ограничений. Это одновременно является существенным ограничением: модель требует изолированного, контролируемого и законного использования. Она хуже подходит для общих знаний, викторин и экзаменационных задач, поскольку специализация на кодировании достигается за счёт снижения соответствующих способностей. Модель распространяется по лицензии MIT.

d1 — дообученная модель генерации текста на базе deepseek-ai/deepseek-coder-1.3b-base. Разработчик указывает, что модель обучена на наборе данных generator; в метаданных архитектура обозначена как плотная Llama с классом LlamaForCausalLM, размер — 1,3 млрд параметров, контекст — до 16 384 токенов. Модель предназначена для генерации текста. Базовая модель ориентирована на продолжение, автодополнение и заполнение пропусков в коде, однако карточка d1 не описывает её целевые сценарии подробнее. В README приведены метрики оценки, включая loss 0,1395 и точность предпочтений 0,9737; методика и набор оценки не раскрыты. Файлы модели представлены в формате safetensors. Лицензия указана как other, без конкретных условий в доступных данных.

d3LLM-Dream — диффузионная языковая модель, разработанная командой d3LLM. Это дообученная версия Dream-org/Dream-v0-Instruct-7B с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Модель использует дистилляцию псевдотраекторий при обучении и энтропийное многоблочное декодирование при выводе, чтобы ускорить генерацию с параллельной обработкой токенов. Модель ориентирована на математические рассуждения и программирование. В README заявлена скорость до 235,34 токена/с на H100 на GSM8K-CoT; также сообщается об ускорении относительно авторегрессионной Qwen-2.5-7B в 4,5 раза на H100 и в 2,5 раза на A100. Метаданные указывают контекст до 131 072 токенов, поддержку чата и интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

d4 — дообученная модель генерации кода на базе deepseek-ai/deepseek-coder-1.3b-base, созданная на датасете generator. Она предназначена для продолжения и автодополнения кода, а также заполнения пропусков в нём. Модель использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров; максимальная длина контекста — 16 384 токена. Веса опубликованы в формате safetensors. Карточка не приводит результатов оценки или подробных сведений о качестве и ограничениях. Метаданные указывают лицензию other, поэтому перед использованием следует проверить условия лицензии в репозитории модели.

Dagger-Qwen3.6-27B-GGUF-MTP — модель от peculiar-ragdoll, основанная на ThinkingCap-Qwen3.6-27B от bottlecapai, который, в свою очередь, является вариантом Qwen3.6-27B. Это GGUF-сборка для запуска через llama.cpp и совместимые среды, ориентированная на рассуждения, агентное программирование, генерацию кода и длительные многошаговые диалоги. В карточке также заявлена поддержка сценариев image-text-to-text и тег vision, однако подробности мультимодальной реализации не указаны. Модель имеет плотную архитектуру размером 27B параметров, заявленный нативный контекст — 262 144 токена, поддерживаемые языки — английский и китайский. Отличительная особенность этой версии — сохранённая MTP-голова nextn для speculative decoding: при поддержке со стороны runtime она может ускорять генерацию без изменения точности. Для vLLM и SGLang заявлено ускорение примерно в 1,5–2 раза, тогда как в llama.cpp требуются свежая сборка и специальный режим; актуальные релизные версии могут не поддерживать MTP. Сильные стороны модели — компактные ответы без лишнего текста, высокая эффективность рассуждений, способность сохранять связность в длинных агентных сессиях и эффективное использование контекстного окна. Главные ограничения — высокие требования к оперативной памяти из-за плотной архитектуры и дорогого KV-кэша; полный контекст 262 144 токена требует около 31,1 ГБ при 8-битном KV-кэше или 38,6 ГБ при 16-битном. Реальное ускорение MTP зависит от среды запуска. Лицензия — Apache-2.0.

dapack-code — это специализированная на программировании версия Qwen3.5-35B-A3B, представленная в формате GGUF с градуированной точностью экспертов: файл весит 10,7 ГБ вместо 21,2 ГБ у полной модели. По данным карточки, эксперты, востребованные для кода, сохранены с точностью q2_K, остальные — с IQ2_XXS под матрицей важности; эксперты не удалены. Модель предназначена для генерации кода и задач разработки ПО. README сообщает о сохранённом качестве генерации кода по внутренним поведенческим измерениям и успешных пробах вызова инструментов; также заявлена поддержка итальянского языка. Для запуска требуется специальная версия dapack runtime: обычные сборки llama.cpp, Ollama и LM Studio этот формат не загружают. Модель основана на мультимодальной Qwen3.5-35B-A3B, но README описывает этот пак как кодовый текстовый генератор. Лицензия — MIT. Карточка указывает на существенное снижение качества перевода; вне программирования точность может деградировать из-за низкой точности части экспертов.

DASD-4B-Thinking — плотная языковая модель примерно на 3,7 млрд параметров от Alibaba Apsara, построенная на архитектуре Qwen3 и предназначенная для длинных цепочек рассуждений. Она дообучена на базе Qwen3-4B-Instruct-2507 с помощью дистилляции от gpt-oss-120b; в обучении использовалось 448 тыс. примеров из наборов Superior-Reasoning-SFT-gpt-oss-120b и Superior-Reasoning-SFT-gpt-oss-120b-Logprob. Модель подходит для рассуждений по математике и естественным наукам, генерации и анализа кода, а также диалоговых задач, требующих пошагового ответа. Размер контекста — до 262 144 токенов. Модель принимает и выдаёт текст; README рекомендует передавать системный промпт, использовавшийся при обучении, и указывает настройки Temperature=1.0 и TopP=1.0. В README заявлены хорошие результаты на математических, научных и кодовых бенчмарках при компактном размере и относительно небольшом объёме обучающих данных. Модель не подключается к внешним инструментам и не поддерживает их вызов, поэтому не может самостоятельно запускать код или обращаться к API. Лицензия — Apache-2.0.

DeciCoder 1B — авторегрессионная модель для автодополнения кода, разработанная Deci. Это трансформерный декодер с Grouped Query Attention и Rotary Position Embeddings; модель содержит около 1,1 млрд параметров и обучена с целью Fill-in-the-Middle на наборах кода Python, Java и JavaScript из StarCoder Training Dataset. Размер контекста — 2048 токенов. Модель предназначена для продолжения фрагментов кода, в том числе заполнения пропусков внутри него. Она не обучалась как модель для следования инструкциям: для получения результата задачу лучше задавать через комментарий, сигнатуру функции или docstring, а не обычной командой на естественном языке. В опубликованной оценке pass@1 на MultiPL HumanEval указаны 19,1% для Python, 18,4% для JavaScript и 16,6% для Java. Модель может генерировать неработающий или неоптимальный код, содержащий ошибки или уязвимости. Контрольные точки распространяются по лицензии Apache 2.0.

deepseek-coder-1.3B-kexer-GGUF — GGUF-квантизированная версия модели deepseek-coder-1.3B-kexer, разработанной JetBrains и основанной на deepseek-ai/deepseek-coder-1.3b-base. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации программного кода и задач, связанных с программированием. В README приведён результат на MultiPL-HumanEval (Kotlin): pass@1 составляет 36,65. Доступны варианты квантизации от Q8_0 до IQ1_M, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S. Ключевые характеристики — размер базовой модели 1,3 млрд параметров и формат GGUF для использования с llama.cpp. Указаний о поддерживаемых языках, длине контекста, архитектуре, мультимодальности и точном составе обучающих данных в карточке нет. Ограничением является отсутствие указанного chat template: в README отмечено, что используемый формат приглашения может быть некорректным, поэтому следует сверяться с оригинальной карточкой модели. Модель распространяется по лицензии Apache-2.0.

DeepSeek-Coder-V2-Instruct-0724-GGUF — это квантизированная в формате GGUF версия большой MoE-модели для генерации текста и программного кода DeepSeek-Coder-V2-Instruct-0724. Исходную модель разработала команда deepseek-ai, а GGUF-квантизацию подготовил bartowski на основе llama.cpp версии b3715. Модель предназначена прежде всего для задач, связанных с написанием и обработкой кода, однако конкретные поддерживаемые языки программирования, размер, длина контекста и другие архитектурные параметры в README не указаны. Модель можно использовать в инструментах, поддерживающих формат GGUF и шаблон запросов Jinja, в частности в LM Studio. Квантизация делает модель пригодной для локального запуска при наличии совместимого программного обеспечения и подходящих аппаратных ресурсов, но README не содержит сведений о точных требованиях, вариантах квантизации, производительности или качестве на отдельных задачах. Как и другие генеративные модели, она может создавать неточные или неподходящие ответы. Указана лицензия DeepSeek License; тип лицензии обозначен как other, а полный текст доступен в файле LICENSE. Дополнительные сведения о том, что изменилось относительно исходной модели, в README отсутствуют.

DeepSeek-Coder-V2-Instruct-IMat-GGUF — это GGUF-квантизованная версия модели DeepSeek-Coder-V2-Instruct, подготовленная пользователем legraphista на основе исходной модели deepseek-ai. Модель предназначена для генерации текста и, судя по названию базовой модели, ориентирована прежде всего на работу с программным кодом и инструкциями, однако подробные сведения о поддерживаемых языках программирования и естественных языках в представленном README не указаны. Доступны варианты квантования от 1 до 8 бит, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, а также ряд вариантов IQ. Файлы распространяются в формате GGUF и могут использоваться с llama.cpp; крупные варианты поставляются разделёнными на несколько частей. Для вариантов Q4 и ниже применена IMatrix-квантизация с отдельным файлом imatrix.dat, а исходный тип данных базовой модели — BF16. Размеры файлов варьируются примерно от 85,95 до 250,62 ГБ, поэтому требования к оперативной или видеопамяти существенно зависят от выбранного варианта. Сильной стороной модели является широкий выбор уровней квантования, позволяющий выбирать баланс между качеством и ресурсами, а IMatrix может улучшать сохранение качества при низкой разрядности. Ограничениями являются большой объём файлов, необходимость совместимого программного обеспечения и потенциальное снижение качества по сравнению с исходной BF16-моделью, особенно у более агрессивных вариантов квантования. Модель распространяется по лицензии deepseek-license; в метаданных она указана как other, а подробные условия находятся в файле LICENSE.

Statuo выпустил Deepseeker-Kunou-Qwen2.5-14b — объединение языковых моделей, созданное с помощью mergekit и линейного слияния. В него вошли Sao10K/14B-Qwen2.5-Kunou-v1 и deepseek-ai/DeepSeek-R1-Distill-Qwen-14B; итоговая модель имеет архитектуру Qwen2ForCausalLM и содержит 14 млрд параметров. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования. Разработчик отмечает, что она кажется достаточно интеллектуальной, но может уступать в творческом письме; оценка улучшения относительно Kunou субъективна. Поддерживается контекст до 131 072 токенов, файлы представлены в формате safetensors. Лицензия в метаданных — Apache-2.0; README также упоминает Qwen License, поэтому условия лицензирования стоит сверить с файлами репозитория.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это GGUF-версия языковой модели DeepSeek-R1-0528-Qwen3-8B, подготовленная Unsloth на базе модели DeepSeek AI. Модель ориентирована на задачи, требующие рассуждений, включая математику, программирование, общую логику и работу с функциями, а также на сценарии локального запуска через совместимые инструменты, например Ollama и llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF. В README указаны улучшения глубины рассуждений, качества вывода на математических и логических тестах, снижение частоты галлюцинаций, расширенная поддержка function calling и улучшенный опыт vibe coding. Рекомендуется использовать температуру 0,5–0,7, оптимально 0,6, и Top_P 0,95. Сведения о точной архитектуре, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Формат GGUF удобен для локального вывода и позволяет выбирать варианты квантования, однако конкретный уровень квантования зависит от используемого файла и в данной карточке не указан. Для корректной работы требуется соблюдать рекомендованный chat template и настройки инференса. Модель распространяется по лицензии MIT.

unsloth/DeepSeek-R1-BF16 — версия DeepSeek-R1, опубликованная Unsloth и представленная в формате Safetensors для Transformers. Модель основана на DeepSeek-R1 от DeepSeek и предназначена для диалоговой генерации текста с упором на рассуждения, решение математических задач и помощь с кодом. В карточке указана архитектура DeepSeek-V3; размер составляет 37,6 млрд параметров, длина контекста — до 163 840 токенов. Модель может применяться для пошагового анализа сложных вопросов, объяснения решений, генерации и разбора кода, а также ответов в диалоге. Указанная лицензия — MIT. Для практического использования учитывайте, что ответы могут содержать ошибки, а многошаговые рассуждения — быть избыточными; README не приводит оценок качества именно этой сборки.

unsloth/DeepSeek-R1-Distill-Llama-8B — текстовая языковая модель семейства Llama, опубликованная Unsloth на основе DeepSeek-R1-Distill-Llama-8B от DeepSeek. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса Safetensors и рассчитан на Transformers. Модель предназначена для диалоговой генерации текста и многошаговых рассуждений, включая решение математических задач и помощь в программировании. Её веса происходят от модели Llama 3.1 8B, дообученной на примерах рассуждений, сгенерированных DeepSeek-R1. В карточке заявлена поддержка английского языка; метаданные также отмечают чат и интерфейс вызова инструментов. Модель подходит для прототипирования ассистентов и задач, где полезны длинный контекст и развернутые рассуждения. Качество ответов может быть нестабильным, а сгенерированные выводы требуют проверки; README указывает максимальную длину генерации 32 768 токенов для описанной оценки. Лицензия репозитория — Llama 3.1, поэтому использование должно соответствовать её условиям.

DeepSeek-R1-Distill-Qwen-14B-bnb-4bit — дистиллированная языковая модель, разработанная командой DeepSeek на основе DeepSeek-R1 и базовой архитектуры Qwen объёмом 14 млрд параметров. Данная версия подготовлена и опубликована Unsloth в 4-битном формате bnb для использования с Transformers. Модель предназначена для задач рассуждения, решения математических задач, генерации и анализа кода, а также других сценариев, требующих многошагового вывода. Дистилляция использует reasoning-поведение DeepSeek-R1, включая самопроверку, рефлексию и развернутые цепочки рассуждений. В метаданных README указан английский язык; сведения о поддержке других языков, размере контекста и мультимодальности не приведены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному представлению, что упрощает локальный запуск по сравнению с полноразмерной моделью. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о бенчмарках, контекстном окне и требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

Карточка модели unsloth/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой unsloth/DeepSeek-R1-Distill-Qwen-7B, поэтому описание составлено по ней. Это версия DeepSeek-R1-Distill-Qwen-7B, опубликованная Unsloth и основанная на дистиллированной модели DeepSeek. В карточке указано, что веса представлены в формате safetensors, архитектура — плотная Qwen2, размер — 7,1 млрд параметров, библиотека для работы — Transformers, а лицензия — Apache-2.0. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями, в том числе для решения математических задач и задач программирования. Она обучена на примерах рассуждений, созданных DeepSeek-R1; в README для семейства дистиллированных моделей указан контекст до 128K токенов. Метаданные карточки также указывают контекст 131072 токена. Модель принимает текст и выдаёт текст. Карточка указывает английский язык; README не уточняет перечень поддерживаемых языков. Как и другие языковые модели, она может ошибаться в рассуждениях и ответах. Для использования применяется лицензия Apache-2.0.

Это конверсия модели DeepSeek-R1-Distill-Qwen-7B в формат MLX для локального запуска на графическом процессоре Apple Silicon. Конверсию подготовил SirSahOl на базе архитектуры Qwen2ForCausalLM; модель содержит 7,1 млрд параметров и распространяется в формате safetensors с 16-битными весами bfloat16. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе для многошаговых рассуждений, решения математических задач и помощи с программированием. Вариант 16-bit сохраняет исходную точность весов и ориентирован на оценивание, сравнение результатов и локальную работу на компьютерах Apple Silicon с достаточной объединённой памятью; для весов требуется около 15,2 ГБ, а README рекомендует не менее 24 ГБ памяти. Лицензия — MIT. Это преобразование весов в формат MLX, специализированный для Apple Silicon; README указывает, что репозиторий предназначен для GPU этих устройств. На длинных контекстах потребление памяти существенно возрастает, а скорость зависит от оборудования и длины контекста.

DeepSeek-R1-Llama-8B-F32-GGUF — текстовая генеративная модель семейства Llama, основанная на DeepSeek-R1-Distill-Llama-8B. Она предназначена для решения задач, требующих пошаговых рассуждений, в том числе математических задач, программирования и ответов на сложные вопросы. В карточке описаны варианты весов GGUF в форматах BF16, F16 и F32; размер файла F32 составляет 32,1 ГБ. Модель генерирует текст и поддерживает рассуждения с самопроверкой и рефлексией. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. README называет её квантизированной версией, однако перечисленные файлы представлены в BF16, F16 и F32; конкретная степень квантизации не уточняется.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

IntervitensInc/DeepSeek-V3.1-Terminus-Channel-int8 — производная версия DeepSeek-V3.1-Base, представленная как разговорная модель для генерации текста. Карточка описывает обновление DeepSeek-V3.1-Terminus, направленное на уменьшение смешения китайского и английского текста и аномальных символов, а также на улучшение Code Agent и Search Agent. Модель поддерживает чат и интерфейс вызова инструментов. По метаданным модель построена на архитектуре DeepseekV3ForCausalLM, содержит 37,6 млрд параметров, имеет контекстное окно до 163 840 токенов и распространяется в формате safetensors; заявлена библиотека Transformers. Подходит для диалогов, рассуждений, задач с кодом и поиска с использованием инструментов. README указывает, что структура модели совпадает с DeepSeek-V3, и отсылает к репозиторию DeepSeek-V3 для инструкций по локальному запуску. Лицензия — MIT. Карточка не приводит отдельных оценок качества именно этой копии и не раскрывает деталей, связанных с суффиксами Channel-int8; метаданные указывают формат safetensors и тег 8-bit.

NVIDIA DeepSeek-V4-Pro-0813-nvfp4-DSpark — это NVFP4-квантизированная версия языковой модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и подготовленной с использованием NVIDIA Model Optimizer. NVIDIA указывает, что модель не является новой самостоятельной разработкой NVIDIA: это релиз на базе nvidia/DeepSeek-V4-Pro-0813-NVFP4 с дополнительно квантизированной головой DSpark для speculative decoding. Модель предназначена для коммерческого и некоммерческого использования. Модель представляет собой авторегрессионную Transformer-модель с архитектурой Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет около 1,65 трлн, из которых активируется около 49 млрд. Модель работает с текстом на входе и выходе, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и инструментов, а также выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста — 1 млн токенов; предусмотрены уровни интенсивности рассуждений low, high и max. Языковой охват явно не указан. Модель ориентирована на сложное рассуждение, агентные приложения, использование инструментов, математику, разработку программного обеспечения и корпоративных AI-ассистентов. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость MoE, поддержка speculative decoding через DSpark и оптимизация под NVIDIA GPU. Ограничения включают зависимость от специализированной аппаратной и программной инфраструктуры: заявлена совместимость с NVIDIA Blackwell B200, Linux, SGLang и vLLM; характеристики работы на другой аппаратуре не указаны. Данные исходного обучения не раскрыты, а перед промышленным внедрением требуется дополнительное тестирование на прикладных данных. Модель распространяется по лицензии MIT. Указана версия NVIDIA Model Optimizer v0.47.0rc1; опубликованный релиз датирован 9 сентября 2026 года.

Deepthink-Reasoning-14B — текстовая языковая модель, разработанная PrithivMLmods и дообученная на Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; модель загружается через Transformers, веса представлены в формате safetensors. Модель предназначена для пошагового решения математических и логических задач, написания и отладки кода, объяснений, творческих текстов, чат-ботов и формирования структурированных ответов, включая JSON. В карточке заявлена поддержка более 29 языков и длинных текстов; метаданные указывают контекст до 32 768 токенов, поэтому заявленные в README 128K токенов не подтверждаются данными конфигурации. Модель дообучена на Math-Solve, NuminaMath-CoT и наборах QwQ-LongCoT. Модель может ошибаться или выдумывать сведения, особенно при неоднозначных запросах; качество зависит от формулировки запроса, а на длинном контексте может снижаться. Большой размер требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

DNA 3.0 — мультимодальная модель семейства Qwen, дообученная компанией Dnotitia на базе Qwen/Qwen3.6-35B-A3B. Это модель Mixture-of-Experts с 35 млрд общих и примерно 3 млрд активных параметров, объединяющая обработку текста и изображений; заявленная архитектура использует разреженные MoE-слои и гибридное внимание. Модель рассчитана на диалоги, аналитические рассуждения, агентное программирование, работу с инструментами и визуальное понимание. Дополнительное обучение включает корпоративные сведения и терминологию Dnotitia, поэтому модель подходит для сценариев, где нужен ассистент с контекстом этой компании. README заявляет поддержку 201 языка и диалекта и контекст до 262 144 токенов, расширяемый примерно до 1 010 000 токенов с YaRN. Модель совместима с Transformers, vLLM, SGLang и KTransformers; для производственного развёртывания рекомендуется многопроцессорная инфраструктура. Модель обучалась по методике с ослабленным отказом от ответов и может выдавать содержание, которое другие модели отклоняют. Она может проявлять предвзятость в пользу Dnotitia, наследует ограничения базовой модели и способна галлюцинировать; для чувствительных сценариев необходимы проверка человеком и собственные меры модерации. Лицензия — Apache-2.0.

Dolphin 2.6 Mistral 7B DPO LASER — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes на основе Mistral-7B. Это специальный выпуск Dolphin-DPO: авторы применили к весам метод LASER со снижением ранга отдельных слоёв и дополнительным шумоподавлением на основе SVD. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов по метаданным. Она принимает текст в формате ChatML и генерирует текст. Модель предназначена для диалогов, ответов на вопросы, помощи с кодом и выполнения инструкций. В обучении использовались наборы Dolphin, Airoboros, OpenHermes, Magicoder и Capybara. Карточка заявляет улучшение оценок относительно Dolphin 2.6 и 2.6-DPO и более устойчивые ответы, но пример вывода не приведён. Авторы характеризуют модель как uncensored и предупреждают о высокой готовности отвечать на любые запросы; перед использованием в сервисе рекомендуют добавить собственный слой выравнивания. Лицензия — Apache-2.0.

ChuckMcSneed/dolphin-2.9.1-dbrx-llamacppfixed — исправленная копия Dolphin 2.9.1 DBRX от Cognitive Computations с исправлениями для конвертации в GGUF через llama.cpp. Базовая модель — databricks/dbrx-base; Dolphin дообучена полным fine-tuning на последовательностях длиной 4 тыс. токенов, хотя базовая модель поддерживает контекст 32 тыс. токенов. Используется архитектура DBRX и шаблон диалога ChatML. Модель предназначена для диалогов с ассистентом, следования инструкциям, программирования, решения математических задач, вызова функций и первоначальных агентных сценариев. README отмечает её высокую готовность отвечать на запросы, в том числе вредоносные, а также посредственное качество письма и возможное снижение качества при квантовании. Для применения в сервисах автор рекомендует добавить собственный слой выравнивания. В README указаны лицензия databricks-open-model-license для базовой модели и разрешение на использование Dolphin, включая коммерческое, в рамках лицензии Meta Llama 3; точные условия для этой исправленной копии следует сверять с лицензией репозитория.

Dolphin-2.9.1-Llama-3-8B-GGUF — квантизированная версия языковой модели Dolphin-2.9.1-Llama-3-8B, созданной cognitivecomputations на базе Meta Llama 3 8B. Дистрибутив подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Доступны варианты квантизации от Q8_0 до низкобитных IQ- и Q-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для работы предусмотрен chat-шаблон с ролями system, user и assistant. Сильной стороной модели является широкий охват инструкционных, кодовых, математических и инструментальных сценариев, а также возможность локального запуска через llama.cpp благодаря форматам GGUF. Более сильные варианты квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако заметно уступают по качеству. Мультимодальность, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.

Dolphin-2.9.1-Phi-3-Kensho-4.5B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations. Она основана на Phi-3-Mini-Instruct-4k и использует плотную авторегрессионную архитектуру MistralForCausalLM; при обучении применялся qLoRA, а слой PEFT может дублировать слои модели во время вывода, увеличивая число параметров. В метаданных указано 6,4 млрд параметров и контекст 4096 токенов. Модель предназначена для диалогов и выполнения инструкций, генерации кода и математических ответов, а также начальных агентных сценариев и вызова функций. Она использует формат запросов ChatML и обучалась на наборах Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math и других. Карточка заявляет поддержку английского языка. В репозитории доступны веса PyTorch и Safetensors. Лицензия MIT разрешает коммерческое использование. Карточка предупреждает, что фильтрация обучения повышает готовность модели выполнять запросы; перед предоставлением модели пользователям рекомендуется добавить собственный слой выравнивания. Контекст ограничен 4096 токенами.

Dolphin-2.9.1-Phi-3-Kensho-4.5B-abliterated-v3 — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и сообществом Cognitive Computations; uncensored-настройку выполнил FailSpy. Модель основана на Phi-3-Mini-Instruct-4k в Mistral-совместимой архитектуре и дообучена методом qLoRA на данных для инструкций, диалогов, программирования, математики и вызова функций. Веса также изменены для ослабления отказов на запросы. Модель предназначена для ответов на инструкции, диалогов, помощи с кодом и математическими задачами, а также для начального использования в агентных сценариях и вызова функций. Она принимает текст и генерирует текст, использует шаблон ChatML и имеет контекст 4096 токенов. В репозитории доступны веса Safetensors; при использовании адаптера его следует подключать к базовой модели Unsloth Phi-3-mini-4k-instruct. В метаданных указано 6,4 млрд параметров. Модель ориентирована на английский язык. Ослабленная фильтрация отказов повышает соответствие запросам, поэтому перед предоставлением модели пользователям разработчики рекомендуют добавить собственный уровень ограничений. Лицензия MIT разрешает коммерческое использование; в README также отмечено, что при обучении использовались данные, сгенерированные GPT-4.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.