II.4Отладка, тестирование и качество ПО

SassyDiffusion/Qwen3.6-27B-heretic-ara-GGUF — GGUF-версия декензурированной модели на базе Qwen3.6-27B. Модель создана SassyDiffusion с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA). Базовая Qwen3.6-27B разработана командой Qwen и ориентирована на практическую разработку программного обеспечения, агентное кодирование, работу с фронтенд-проектами и рассуждения на уровне репозитория. Это каузальная языковая модель с vision encoder, содержащая около 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявленная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. README не уточняет полный перечень поддерживаемых языков. Формат GGUF предназначен для запуска в совместимых инструментах локального инференса. Главная особенность версии — снижение склонности к отказам: в приведённом сравнении модель отказала в 16 из 100 тестовых запросов против 99 из 100 у исходной модели. При этом декензурирование изменяет поведение базовой модели: указана KL-дивергенция 0,0967, поэтому возможны отличия в качестве, безопасности и устойчивости ответов. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-GGUF — квантизированная версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, созданная автором ManniX-ITA. Это объединённая модель на базе Qwen3.6-27B, дополненная результатами слияния трёх дообученных вариантов. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp. Модель имеет архитектуру Qwen3.5 и около 27,78 млрд параметров. Доступны варианты от F16 до низкобитных IQ- и Q-квантизаций, включая Q2_K, Q4_K_M, Q6_K и Q8_0. Заявлены возможности рассуждений, работы с кодом и изображениями; в карточке указано поддерживаемое описание языка English. Контекстное окно и точный перечень поддерживаемых визуальных входов не указаны. Сильными сторонами заявлены улучшенные результаты в задачах программирования и научного рассуждения по сравнению с некоторыми базовыми и предыдущими версиями Omnimerge, а также специальная модификация MLP-слоёв для повышения устойчивости механизма рассуждений. Качество зависит от выбранной квантизации, а приведённые бенчмарки измерялись при разных настройках генерации и не всегда напрямую сопоставимы. Для ускоренного декодирования доступен отдельный MTP-вариант репозитория, не входящий в эту модель. Лицензия — Apache-2.0.

StargazerLabs представила Qwen3.8-23B-Mini-Me-bf16 — уменьшенную плотную мультимодальную модель на архитектуре Qwen3.8-27B. Из исходной модели удалены 12 слоёв: 12–15, 24–27 и 36–39; башня обработки изображений сохранена. Модель распространяется в формате Safetensors с точностью bf16 и предназначена для диалогов, программирования и агентных сценариев, включая длительные беседы, вызов инструментов и следование инструкциям. По внутренним пробам авторов модель работает быстрее и занимает меньше ресурсов, чем Qwen3.8-27B, но немного уступает ей по общим возможностям. Стандартных результатов бенчмарков пока нет. Лицензия — Apache-2.0.

Это квантованная GGUF-версия Qwen3.8-27B CODER, подготовленная LexiPanel для запуска на одной видеокарте с 24 ГБ памяти и больших контекстов в сценариях агентного программирования. Модель рассчитана на генерацию кода и работу в чате; файл использует формат IQ4_XS с матрицей важности, а голова MTP сохранена в Q8_0 для спекулятивного декодирования в llama.cpp. В README заявлены контекст до 262 144 токенов и результаты запуска на AMD Radeon RX 7900 XTX: 36–41 токен/с при уже заполненном контексте объёмом 110–170 тысяч токенов. Эти показатели получены в конкретной конфигурации llama.cpp и оборудования. Репозиторий содержит только языковую модель; для обработки изображений требуется отдельный проектор Qwen3.8-27B mmproj. Лицензия — Apache-2.0.

Gallardo994/Qwen3-Coder-30B-A3B-Instruct — версия модели Qwen3-Coder от Gallardo994, преобразованная в формат MLX из Qwen/Qwen3-Coder-30B-A3B-Instruct с помощью mlx-lm 0.26.3. Это инструктивная MoE-модель для генерации текста в диалоге, ориентированная на программирование и агентные сценарии. Модель принимает текст и генерирует текст; метаданные указывают контекст до 262 144 токенов. В репозитории указаны веса safetensors и библиотека MLX. Размер, приведённый в метаданных, составляет 2,4 млрд параметров. Модель доступна по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия Qwen3-Coder-30B-A3B-Instruct, разработанная Qwen и адаптированная для работы с MLX на компьютерах Apple Silicon. Квантование выполнено командой LM Studio с использованием mlx_lm; сама LM Studio не является создателем исходной модели. Модель предназначена для генерации текста и, прежде всего, задач, связанных с программированием и работой с кодом. Ключевые характеристики включают архитектуру исходной модели Qwen3-Coder-30B-A3B-Instruct, размер 30B с обозначением A3B, 8-битное квантование и оптимизацию под Apple Silicon. В README не указаны поддерживаемые языки, размер контекстного окна, полный перечень модальностей, результаты тестирования или конкретные сценарии применения. Квантование должно снизить требования к памяти и сделать локальный запуск практичнее, но может сопровождаться потерей точности по сравнению с исходной моделью; производительность также зависит от оборудования. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-Coder-480B-A35B-Instruct-8bit — это 8-битная версия модели Qwen3-Coder-480B-A35B-Instruct, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.29.0. Исходную модель разработала команда Qwen; карточка указывает базовую модель Qwen/Qwen3-Coder-480B-A35B-Instruct. Модель предназначена для генерации текста и, судя по названию и базовой модели, ориентирована на задачи программирования и работу с инструкциями. Она может использоваться через библиотеку mlx-lm на совместимых системах Apple MLX; поддерживаются загрузка модели, токенизатора и генерация ответов с применением chat template, если он доступен. Архитектура, точное число активных параметров, поддерживаемые языки, модальности и размер контекста в README не указаны, поэтому их нельзя достоверно описать. Ключевая характеристика этой версии — 8-битное представление в формате MLX, что предназначено для запуска модели через экосистему MLX. Ограничения включают отсутствие в карточке подробных сведений о производительности, требованиях к памяти, качестве, контекстном окне и совместимости. Модель распространяется по лицензии Apache-2.0.

Qwopus3.6-27B-Coder-Compat-MTP-GGUF — GGUF-версия модели Jackrong/Qwopus3.6-27B-Coder, разработанная Jackrong. Это мультимодальная модель для генерации текста и работы с изображениями, ориентированная на программирование, рассуждения, агентские сценарии, использование инструментов и function calling. Заявлена совместимость с llama.cpp, minja и шаблонами Hugging Face Jinja, а также с OpenAI-совместимыми историями агентов. Ключевая особенность этой редакции — обновлённый chat template, который принимает аргументы вызовов инструментов как предварительно сериализованные JSON-строки, структурированные отображения или списки, сохраняя исходную структуру payload. В комплект включены MTP-тензоры для speculative decoding; заявленный показатель принятия черновых токенов составляет 76,81% (944 из 1229). Проверки совместимости шаблона дали 10 из 10 успешных случаев в Hugging Face и llama.cpp/minja, без зафиксированных некорректных циклов tool call. Модель поддерживает английский, китайский, испанский, русский и японский языки. Точный размер контекста, детали архитектуры и требования к ресурсам в README не указаны. Обновление относится к уровню шаблона совместимости: веса модели и встроенные MTP-тензоры, согласно README, не изменены. Модель распространяется по лицензии Apache-2.0.

Skywork-OR1-7B — текстовая модель общего назначения для рассуждений в математике и программировании, разработанная командой Skywork. Она основана на DeepSeek-R1-Distill-Qwen-7B и обучена с использованием крупномасштабного обучения с подкреплением по правилам и модифицированного алгоритма GRPO. В обучении использовались около 110 тысяч математических задач и 14 тысяч вопросов по программированию, а также фильтрация данных, rejection sampling, многоэтапное обучение и адаптивное управление энтропией. Данная версия представляет собой набор GGUF-квантизаций для локального запуска через llama.cpp, llama-cpp-python, LM Studio или Ollama. Доступны варианты от F16 до 2-битных, примерно от 15,2 до 3,0 ГБ; выбор квантизации позволяет найти компромисс между качеством, требованиями к VRAM и размером модели. Модель предназначена прежде всего для англоязычной генерации текста, решения математических задач и написания кода. Она не заявлена как мультимодальная, а снижение разрядности может ухудшать качество рассуждений и ответов. В README приведён пример запуска с контекстом 32768 токенов, но максимальный контекст модели явно не указан. Распространяется по лицензии Apache 2.0.

Starcoder-2-chat — дообученная по инструкциям модель для генерации кода, созданная на базе bigcode/starcoder2-7b с помощью LoRA. В качестве обучающих данных использован набор glaiveai/glaive-code-assistant-v2. Модель построена на архитектуре StarCoder2 и содержит 9,9 млрд параметров; она принимает текстовые запросы и выдаёт текст, включая код. Контекстное окно составляет 16 384 токена. Модель предназначена для общения с помощником по программированию: она может генерировать код по инструкциям и отвечать на вопросы о коде. В README приведены результаты оценок HumanEval, HumanEvalPlus и Instruct-HumanEval. Модель рассчитана прежде всего на английский язык. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B — модель серии WhiteRabbitNeo, разработанной для задач наступательной и защитной кибербезопасности. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров; модель предназначена для генерации кода и диалогового взаимодействия. Она принимает текстовые запросы и выдаёт текст, включая программный код. Поддерживаемая длина контекста — 32 768 токенов; в карточке указан английский язык. Модель выпущена как публичная предварительная версия для оценки возможностей и общественного влияния. Лицензия — Apache-2.0; README также содержит условия использования и отказ от гарантий.

Wizard-llama3-70B — дообученная компанией feeltheAGI языковая модель на архитектуре Llama 3 с 69,5 млрд параметров. Она основана на meta-llama/Meta-Llama-3-70B и дообучена на открытых наборах данных, включая дополнительные данные по программированию. Модель генерирует текст, следует инструкциям и поддерживает диалоговый шаблон ChatML; заявлены навыки логического рассуждения, программирования и начальные агентные возможности с вызовом функций. Модель рассчитана на англоязычные диалоги, выполнение инструкций, решение логических задач и помощь с кодом. Контекст составляет 8192 токена, формат весов — PyTorch. Разработчик стремился снизить ограничения на генерируемый контент, поэтому ответы могут включать нежелательные или небезопасные материалы. Лицензия — MIT.

QuixiAI выпустила WizardLM-1.0-Uncensored-CodeLlama-34b — дообученную на базе CodeLlama-34b языковую модель семейства Llama с 33,5 млрд параметров. Модель обучена на отфильтрованных данных WizardLM Evol Instruct V2 и использует формат запросов, совместимый со стилем Vicuna 1.1. Модель предназначена для генерации текста и кода, выполнения инструкций и диалоговых сценариев. Разработчик сообщает, что обучение было направлено на снижение отказов, уклончивых ответов и смещения; база CodeLlama, по описанию карточки, обеспечивает хорошие возможности для программирования. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 16 384 токенов. Метка «uncensored» не означает полного отсутствия ограничений: в README отмечены унаследованные этические установки LLaMA и отсутствие защитных механизмов. Модель распространяется по лицензии Llama 2; применяйте её с учётом условий этой лицензии и самостоятельно оценивайте генерируемый контент.

Yi-Coder-9B-Chat — диалоговая модель для генерации кода, выпущенная командой 01.AI как часть серии Yi-Coder. Она дообучена на базе 01-ai/Yi-Coder-9B и построена на плотной архитектуре семейства Llama с 8,6 млрд параметров. Модель предназначена для программирования в формате чата: она может писать код по запросу и работать с длинным контекстом до 131 072 токенов. Серия Yi-Coder заявляет поддержку 52 распространённых языков программирования и сильные результаты в задачах кодирования при размере менее 10 млрд параметров. Модель загружается через Transformers и использует формат safetensors. Лицензия — Apache-2.0. Карточка не приводит ограничений на качество или конкретных рекомендаций по использованию, поэтому ответы сгенерированного кода следует проверять перед применением.

Vezora/Agent-7b-v1-128k — дообученная языковая модель, созданная Nicolas Mejia Petit на базе CallComply/openchat-3.5-0106-128k. Модель построена на архитектуре Mistral с 7,1 млрд параметров и принимает текст; заявленное контекстное окно составляет 131 072 токена. Модель обучена на 31 000 примерах набора m-a-p/Code-Feedback с использованием Unsloth QLoRA. Она предназначена для интерактивного программирования с обратной связью, генерации кода и агентных сценариев, включая задачи, подобные TaskWeaver и OpenInterpreter. README указывает на генерацию до 8 192 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. Разработчик сообщает о хороших результатах внутренних проверок, но планировал провести бенчмаркинг; независимые сравнительные результаты в карточке не приведены.

onnx-community/bert-small-pii-detection-ONNX — ONNX-версия модели gravitee-io/bert-small-pii-detection, разработанная сообществом onnx-community и автоматически конвертированная для использования с Transformers.js. Модель дообучена на базе prajjwal1/bert-small для задачи классификации токенов и обнаружения персональных и конфиденциальных данных в англоязычных текстах. Модель предназначена для выявления и последующего маскирования PII в журналах службы поддержки, тестовых и разработческих средах, API-трассировках, статьях, а также для подсказок в режиме реального времени при заполнении форм. Она распознаёт возраст, координаты, номера кредитных карт, даты и время, адреса электронной почты, финансовые данные, IBAN, IMEI, IP- и MAC-адреса, местоположения, организации, пароли, имена людей, телефоны, должности, URL и ряд американских идентификаторов. Ключевые преимущества — небольшой размер исходной BERT-модели, поддержка ONNX и удобное применение через Transformers.js, что подходит для сценариев с ограниченными ресурсами. По приведённой оценке micro F1 составляет 0,8460, macro F1 — 0,9178. Модель ориентирована преимущественно на английский язык, поэтому на других языках качество может снижаться; из-за возможного расхождения доменов необходима проверка на собственных данных. Распространяется по лицензии Apache-2.0.

Code Llama 7B Instruct — разработанная Meta инструкционно настроенная версия языковой модели семейства Code Llama, представленная в формате Transformers. Это авторегрессионная плотная трансформерная модель с 6,6 млрд параметров и контекстом до 16 384 токенов, предназначенная для генерации и понимания кода, дополнения фрагментов и выполнения инструкций в формате диалога. Модель принимает текст и генерирует текст. Её можно применять как помощника для написания кода, его дополнения и объяснения, а также для infilling и ответов на инструкции, связанные с программированием. В карточке заявлена ориентация на английский язык и языки программирования; Python-специалистом эта версия не является. Модель неофициально размещена в организации codellama; README указывает, что разработчик семейства — Meta. Модель статична и обучена на офлайн-данных. Возможны неточные или нежелательные ответы; перед использованием в приложениях рекомендуется проверять её поведение и настраивать меры безопасности под конкретный сценарий. Использование регулируется лицензией Meta для Code Llama; в метаданных репозитория указана лицензия llama2.

CodeQwen1.5-7B-GGUF — набор GGUF-квантизаций модели CodeQwen1.5-7B, разработанный Qwen и подготовленный для llama.cpp пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, а также для локального текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными, пользовательскими и ассистентскими сообщениями через специальные токены ChatML. Модель содержит около 7 миллиардов параметров, представлена в многочисленных вариантах квантизации от Q8_0 до IQ1_M и имеет размеры файлов примерно от 2,36 до 7,70 ГБ. Более высокие варианты, такие как Q6_K и Q5_K_M, обеспечивают лучшее качество, тогда как низкобитные версии требуют меньше оперативной или видеопамяти, но заметно теряют в качестве. Конкретные сведения об архитектуре, размере контекста и дополнительных модальностях в README не указаны; по описанию это текстовая, а не мультимодальная модель. Преимущество набора — возможность запуска локально на различном оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, а также с тем, что README не приводит результаты тестирования и подробные характеристики исходной модели. Указана лицензия Tongyi Qianwen Research License; исходная модель доступна в репозитории Qwen.

Darwin-28B-Coder — специализированная на программировании языковая модель семейства Darwin, опубликованная VIDRAFT FINAL-Bench. Это плотная модель на 28 млрд параметров с архитектурой, совместимой с Qwen3.5; карточка сообщает о контекстном окне 32 тыс. токенов. Модель предназначена для генерации кода на уровне функций, работы со сложными библиотеками и вызова инструментов в агентных сценариях. README приводит результаты HumanEval, MBPP, BigCodeBench-Complete и теста вызова функций; часть оценок получена с выбором лучшего из нескольких генераций или голосованием ансамбля, поэтому их нельзя напрямую считать качеством одного случайного ответа. Модель принимает текстовые запросы и генерирует текст, включая код и структурированные вызовы функций. В метаданных указаны английский и корейский языки, набор данных CodeFeedback-Filtered-Instruction и возможности чата, программирования и интерфейса вызова инструментов. Модель распространяется под лицензией Apache-2.0. В метаданных базовой моделью указана VIDraft/Darwin-28B-Opus.

DeepSeek Coder 6.7B Instruct — языковая модель для программирования, разработанная DeepSeek. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, представленная в форматах PyTorch и safetensors. Она дообучена на 2 млрд токенов инструкционных данных на основе deepseek-ai/deepseek-coder-6.7b-base. Модель предназначена для генерации и дополнения кода, заполнения пропусков в коде, а также ответов на инструкции и вопросы по программированию в диалоговом формате. Обучение семейства DeepSeek Coder включало корпус, состоящий преимущественно из кода, и данные на английском и китайском языках; README заявляет поддержку проектного дополнения кода и контекста 16 тысяч токенов. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели. Модель ориентирована на задачи программирования; ответы могут содержать ошибки и требуют проверки, а качество за пределами программирования не подтверждено приведёнными данными.

duyntnet/deepseek-coder-6.7b-instruct-imatrix-GGUF — набор квантованных версий модели deepseek-ai/deepseek-coder-6.7b-instruct, опубликованный пользователем или организацией duyntnet. Это инструкционно настроенная генеративная языковая модель для работы с текстом и программным кодом, включая сценарии создания и объяснения кода. В README приведён пример генерации алгоритма быстрой сортировки на Python в формате диалога. Модель имеет размер 6,7 млрд параметров и распространяется в формате GGUF с использованием imatrix-квантизации. Указан английский язык, однако дополнительные языковые возможности, длина контекста, конкретные варианты квантизации и требования к оборудованию в README не описаны. Формат предназначен для запуска совместимыми средствами инференса, но точные поддерживаемые инструменты также не указаны. К сильным сторонам относятся специализация исходной модели на задачах программирования, инструкционное обучение и наличие квантованных вариантов, потенциально уменьшающих требования к памяти. Ограничения связаны с отсутствием подробных результатов оценки, сведений о качестве на конкретных языках и задачах, контекстном окне и характеристиках отдельных файлов. Лицензия обозначена как other; её конкретные условия в README не приведены.

DeepSeek-Coder-V2-Base — базовая языковая модель для кода, разработанная DeepSeek. Это продолженное предобучение промежуточного чекпойнта DeepSeek-V2 на дополнительных 6 триллионах токенов; модель использует архитектуру Mixture-of-Experts семейства DeepSeek-V2. Для данного репозитория в метаданных указаны 18,1 млрд параметров, а контекст составляет до 163 840 токенов. Модель предназначена для генерации и продолжения кода, вставки кода в заданный фрагмент, а также для задач программирования и математических рассуждений. README заявляет поддержку 338 языков программирования и сохранение возможностей для общих языковых задач; её можно запускать через Transformers и vLLM. Это базовая, а не instruct-версия, поэтому README не описывает её как специально настроенную для следования пользовательским инструкциям. В README указана лицензия, но её тип в доступных данных не раскрыт; перед использованием следует проверить условия лицензирования в репозитории. Для запуска полной BF16-версии README приводит требование 8 GPU с 80 ГБ памяти каждая.

Это текстовая диалоговая модель Richard Young на базе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. В исходной модели цепочки рассуждений DeepSeek-R1-0528 были дистиллированы в Qwen3-8B; затем с помощью Heretic выполнена абляция направления отказа без повторного обучения. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и принимает контекст до 131 072 токенов. Модель предназначена для генерации ответов с рассуждениями, в том числе при решении математических и логических задач, программировании, творческом письме и учебных сценариях. Карточка сообщает, что абляция заметно снижает частоту отказов и что модель сохраняет близкое к исходной поведение по измеренной KL-дивергенции; эти оценки приведены автором модели. Поддерживаются диалоговый режим и интерфейс вызова инструментов. Модель работает с текстом и распространяется в формате safetensors. Лицензия — MIT. Из-за уменьшения числа отказов модель может отвечать на запросы, которые исходная версия отклоняет; следует учитывать это при выборе сценария применения. Результаты и поведение модели могут отличаться от приведённых в карточке оценок.

unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bit — 4-битная динамически квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-14B. Базовую модель разработала команда DeepSeek, а вариант с квантизацией подготовлен Unsloth. Модель относится к плотным LLM на архитектурной основе Qwen и содержит около 14 млрд параметров. Модель предназначена прежде всего для задач рассуждения, включая решение математических задач, программирование и общий анализ текста. DeepSeek-R1-Distill-Qwen-14B создана методом дистилляции из DeepSeek-R1, поэтому ориентирована на генерацию развернутых рассуждений и решение сложных задач. В README явно указан английский язык; сведения о других языках, мультимодальности и размере контекстного окна не приведены. Ключевое преимущество этой версии — динамическая 4-битная квантизация Unsloth, при которой отдельные параметры выборочно не квантизуются для сохранения большей точности по сравнению со стандартной 4-битной квантизацией. Это может снизить требования к памяти и упростить локальный запуск, однако квантизация потенциально ограничивает точность по сравнению с исходной полноразмерной моделью. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-Distill-Qwen-7B-imatrix-GGUF — это квантизированные в формате GGUF варианты модели DeepSeek-R1-Distill-Qwen-7B, разработанной командой DeepSeek на базе Qwen2.5. Репозиторий предназначен для локального запуска языковой модели в задачах генерации текста, рассуждений, решения математических задач и программирования. Модель относится к плотным моделям примерно на 7 млрд параметров и работает с текстом; в README указан английский язык. Она создана посредством дообучения Qwen2.5 на данных рассуждений, сгенерированных DeepSeek-R1, что позволяет переносить способности крупной reasoning-модели в более компактную модель. Формат GGUF и imatrix-квантизации ориентированы на эффективный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio и другие клиенты. Сильными сторонами являются компактный размер, возможность локального использования и специализация на сложных рассуждениях, математике и коде. Ограничения конкретных вариантов квантизации, требования к ресурсам, размер контекстного окна и точные характеристики производительности в README не указаны; квантизация может влиять на качество по сравнению с исходной моделью. Лицензия обозначена как other, без подробного описания условий в предоставленных данных.

DeepSeek-V4-Flash-0731-MLX-Serve-mixed-2-3-8bit — это квантованная MLX-конверсия модели DeepSeek-V4-Flash-0731, опубликованная ddalcu и предназначенная для запуска через mlx-serve на Apple Silicon. Модель рассчитана на генерацию текста, включая диалоги, программирование, задачи coding agent и сценарии с вызовом инструментов. Она совместима с OpenAI, Anthropic и Ollama HTTP API, поэтому может использоваться с существующими клиентами и интерфейсами. В основе лежит полная модель размером 284B параметров с конфигурацией A13B. Сборка занимает 115,4 ГБ и использует смешанную точность: основные routed experts в слоях 0–38 имеют 2- и 3-битное квантование с калибровкой по матрице важности, последние четыре слоя — 4-битное, а attention, shared experts, embeddings, LM head и ряд чувствительных компонентов — 8-битную или более высокую точность. Архитектура включает MQA, сжатую историю внимания, hash-routed MoE, Sinkhorn hyper-connections, DSML-формат вызова инструментов и DSpark speculative decoding. Поддерживаются текстовые входы и выходы; в README не указаны дополнительные модальности и языковой охват. Для работы требуется Mac на Apple Silicon с не менее чем 128 ГБ unified memory, macOS 26.2 или новее и mlx-serve. Ожидаемый объём занятой памяти составляет около 98 ГБ, либо примерно 109 ГБ при использовании DSpark; заявлена скорость около 53 токенов в секунду на M-series Mac с 128 ГБ памяти и включённым DSpark. Сильными сторонами являются запуск полной 284B-A13B модели на одном совместимом Mac, native MLX-реализация без Python и калиброванное квантование, направленное на сохранение качества в агентских сценариях. Ограничениями остаются очень высокие требования к памяти и совместимость только с Apple Silicon и mlx-serve. Лицензия — MIT.

Dolphin 2.9.1 Yi 1.5 9B — языковая модель для диалогов и генерации текста, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе 01-ai/Yi-1.5-9B. Модель с плотной архитектурой семейства Llama содержит 8,6 млрд параметров и распространяется в формате Safetensors с точностью 16 бит. Модель предназначена для ответов на инструкции, общения, задач по программированию и начальных агентных сценариев; заявлена поддержка вызова функций. Использует шаблон ChatML и обучалась на последовательностях длиной до 12 тысяч токенов. В README авторы описывают её как «uncensored» и рекомендуют добавить собственный слой выравнивания перед предоставлением сервиса. Лицензия Apache 2.0 разрешает коммерческое использование.

DolphinCoder StarCoder2 7B — дообученная разработчиком модель для программирования на основе StarCoder2-7b. Она предназначена для генерации и объяснения кода, а также для диалоговой помощи с задачами разработки. Модель использует архитектуру StarCoder2 с 9,9 млрд параметров, поддерживает контекст до 16 384 токенов и формат диалога ChatML. При обучении применялись qLoRA и Axolotl; в карточке перечислены наборы данных по программированию, инструкциям и математическим задачам. Основной заявленный язык — английский. Автор характеризует модель как сильную в задачах кодирования и отмечает, что она обучена без фильтрации, связанной с выравниванием и смещениями, поэтому может охотно выполнять небезопасные запросы. Перед предоставлением модели пользователям автор рекомендует добавить собственный слой ограничений. Веса опубликованы под лицензией bigcode-openrail-m.

Eurux-8x22B-NCA — диалоговая языковая модель из серии Eurus, разработанной OpenBMB и оптимизированной для рассуждений. Это дообученная методом SFT и preference learning модель семейства Mixtral с архитектурой Mixture of Experts; в карточке указано 22 млрд параметров и контекст до 65 536 токенов. Модель обучали на многоходовых траекториях UltraInteract и парах предпочтений UltraFeedback. Модель предназначена для генерации ответов в чате и выполнения инструкций, включая задачи по программированию, математике, рассуждениям и общим знаниям. README сообщает о сильных результатах в тестах на эти навыки, однако приведённые результаты не позволяют независимо оценить качество: часть таблицы отсутствует. Для работы доступны веса в формате safetensors и библиотека Transformers. Лицензия — Apache-2.0.

FluentlyQwen3 Coder 4B — языковая модель от Project Fluently, дообученная для генерации кода. Это плотный causal language model на архитектуре Qwen3ForCausalLM с примерно 3,7 млрд параметров; в карточке указаны 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Модель обучали с помощью SFT и GRPO, а затем последовательно объединяли версии. Она поддерживает контекст до 40 960 токенов по метаданным; README также указывает 32 768 токенов нативно и до 131 072 с YaRN. Модель предназначена для написания и дополнения кода в диалоговом режиме. README также сообщает об улучшениях в общении, переводе и математике. Есть режим с рассуждением и возможность его отключить; для генерации и общения используются текстовые входы и выходы. Карточка указывает английский и русский языки, а также код. Модель распространяется по лицензии Apache-2.0. Рекомендации README по параметрам генерации различаются для режимов с рассуждением и без него; для первого не рекомендуется жадное декодирование из-за возможного ухудшения качества и повторов.