II.3Рефакторинг, миграция и модернизация

Nomic Embed Code — модель встраивания кода, разработанная Nomic AI на основе Qwen2.5-Coder-7B-Instruct и дообученная для поиска по коду. Она преобразует текстовые запросы и фрагменты кода в векторы для поиска функций по описаниям и семантического сопоставления кода. Модель предназначена для Python, Java, Ruby, PHP, JavaScript и Go; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для обучения использовался набор CoRNStack с парами описаний функций и кода, фильтрацией качества и подбором сложных отрицательных примеров. README сообщает о результатах на CodeSearchNet, превосходящих Voyage Code 3 и OpenAI Embed 3 Large в нескольких языках, однако не приводит полную методику сравнения. Модель распространяется под лицензией Apache-2.0. Описание не подтверждает генерацию кода как основную функцию: назначение модели — построение эмбеддингов и поиск.

mlx-community/OpenCodeInterpreter-SC2-3B-4bit — конвертированная для MLX 4-битная версия модели m-a-p/OpenCodeInterpreter-SC2-3B, подготовленная сообществом mlx-community для запуска на устройствах Apple с MLX. Это причинная языковая модель семейства StarCoder2 с 4,2 млрд параметров и контекстом до 16 384 токенов; она предназначена для генерации текста и кода. Её можно использовать для написания и дополнения кода, а также для ответов на вопросы о программировании. Репозиторий содержит веса в формате safetensors. Модель ориентирована на английский язык; сведения об исходной модели доступны в её карточке. Лицензия — Apache-2.0.

Opencsg-CodeLlama-7b-v0.2 — созданная OpenCSG полнопараметрическая донастройка CodeLlama-7b-hf, генеративной языковой модели семейства Llama для работы с кодом. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые запросы с контекстом до 16 384 токенов. Модель предназначена для генерации и дополнения кода. В README приведён результат 50,0% Pass@1 на Python HumanEval при жадном декодировании и исходных формулировках заданий; авторы отмечают, что обучающая выборка включает несколько языков программирования. Это единственный приведённый бенчмарк, поэтому он не описывает качество на других задачах и при иных настройках генерации. Веса опубликованы в формате safetensors. Лицензия в метаданных указана как llama2; перед использованием следует учитывать условия лицензии Llama 2.

OpenReasoning-Nemotron-32B — языковая модель NVIDIA, дообученная на основе Qwen2.5-32B методом supervised fine-tuning для рассуждений и генерации решений по математике, программированию и науке. Это плотный decoder-only Transformer семейства Qwen2 с 32 млрд параметров; метаданные указывают контекст 131 072 токена. Модель принимает текст и генерирует текст, а в README описана оценка с длиной генерации до 64 тыс. токенов. Модель предназначена для разработчиков и исследователей, решающих сложные математические, научные и программные задачи. Для повышения качества можно запускать несколько генераций параллельно и выбирать лучшее решение с помощью GenSelect; обучение выбора проводилось на математических задачах, а авторы сообщают о переносе способности на код и научные вопросы. README описывает применение на системах с ускорителями NVIDIA и интеграцию с NeMo, vLLM и TensorRT-LLM. Лицензия — CC BY 4.0; карточка допускает коммерческое и некоммерческое исследовательское использование. Ограничения включают ориентацию на сложные задачи рассуждения и отсутствие в README гарантий качества за пределами приведённых оценок; описанный GenSelect-режим требует нескольких параллельных генераций и дополнительного отбора ответов.

Palmyra-mini-thinking-b — англоязычная чат-модель генерации текста компании Writer, дообученная на NVIDIA OpenReasoning-Nemotron-1.5B. Это плотная причинно-языковая модель семейства Qwen2 примерно на 1,5 млрд параметров с контекстом до 131 072 токенов. Модель предназначена для пошаговых рассуждений, решения математических задач и задач по программированию, включая генерацию и отладку кода. В README приведены результаты на математических и программных бенчмарках; они зависят от методики оценки и параметров генерации и не гарантируют аналогичного качества в других сценариях. Модель принимает текст и генерирует текст. README отмечает риск предвзятых или неточных ответов. Лицензия — Apache-2.0.

mergekit-community/Qwen2-2B-RepleteCoder-Hercules — объединённая модель на архитектуре Qwen2, созданная сообществом с помощью mergekit. В неё вошли M4-ai/Hercules-5.0-Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b; применён метод passthrough. Модель содержит около 1,9 млрд параметров и предназначена для генерации текста в диалоговом режиме, в том числе для задач программирования благодаря включению Replete Coder. Модель использует библиотеку Transformers, веса доступны в формате safetensors, заявленная длина контекста — до 131 072 токенов. В метаданных не указаны языки и лицензия; конкретные условия использования следует проверять у исходных моделей и в репозитории. Практическое качество и ограничения на задачах программирования отдельно не описаны.

Dasko2-0 разработал и опубликовал дообученную модель Dasko2-0/qwen2.5-coder-3b-mentor на основе unsloth/qwen2.5-coder-3b-instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указаны интерфейс вызова инструментов и контекст длиной до 32 768 токенов; модель обучали с использованием Unsloth и библиотеки TRL. Модель можно применять для генерации ответов в чате и задач, связанных с кодом, унаследованных от базовой Qwen2.5 Coder. Однако README не приводит результатов оценки и не уточняет, какие именно навыки наставничества или дополнительные задачи дало дообучение. Поддержка указана для английского языка. Лицензия — Apache-2.0.

Это квантованный GGUF-чекпойнт модели Qwen3.5-35B-A3B, подготовленный mtrpires для локального запуска на Raspberry Pi 5 с 16 ГБ памяти. Базовая модель Alibaba — архитектура Mixture of Experts с 35 млрд параметров всего и примерно 3,3 млрд активных на токен. Для инференса используется ik_llama.cpp; смешанная схема IQK сохраняет повышенную точность для слоёв внимания и общих экспертов, сильнее сжимая маршрутизируемые эксперты. Размер файла — около 11,38 ГиБ, заявленный расход памяти — около 12,5 ГБ. Модель предназначена для генерации текста и диалога в локальном помощнике: она может помогать с кодом, обработкой документов и вызовами инструментов. Автор приводит результаты тестирования на Raspberry Pi 5: около 30,85 токена/с при обработке промпта и 4,53 токена/с при генерации. Карточка указывает контексты калибровки, связанные с чатом, кодом и вызовами инструментов, но не перечисляет отдельные поддерживаемые языки сверх меток en и pt. Для практического запуска на Raspberry Pi 5 рекомендуется окно контекста 16 тыс. токенов и активное охлаждение при длительной нагрузке; устройство с 8 ГБ памяти не подходит. Форматы IQ4_KS и IQ2_KS специфичны для ik_llama.cpp, поэтому модель не будет корректно работать в стандартных llama.cpp и Ollama. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.5-4B SWE-OPD tmax500 baseline step 105 — текстовый чекпойнт Qwen3.5-4B, дообученный методом on-policy distillation на наборе Harbor SWE. Его разработчик — StephYang; модель предназначена для генерации текста и диалоговых сценариев, в частности для задач, связанных с программной инженерией. Чекпойнт обучался 3 эпохи, до 105-го шага, на выборке из 423 обучающих и 30 валидационных примеров. Архитектура — плотная причинная языковая модель Qwen3_5ForCausalLM; размер — 3,4 млрд параметров, формат весов — bfloat16 Safetensors, библиотека — Transformers. Контекстное окно — 262 144 токена. Это текстовый вариант базовой модели, экспортированный из FSDP-актора в объединённый файл весов. Для загрузки README указывает Transformers версии 5.6.0 или новее. Лицензия — Apache-2.0. Карточка описывает специализированное обучение на SWE-данных, но не приводит результаты оценки качества; заявленные характеристики базовой модели, включая понимание изображений, к этому текстовому чекпойнту не следует автоматически относить.

SimpleSD-4B-instruct — языковая модель Apple для генерации кода, созданная методом Simple Self-Distillation: модель дообучали на собственных сгенерированных примерах без учителя, функции вознаграждения, верификаторов и обучения с подкреплением. В качестве исходной модели использована Qwen/Qwen3-4B-Instruct-2507. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текстовый ввод, выдавая текст. Заявленная длина контекста — до 262 144 токенов. В метаданных отмечена поддержка чата; карточка описывает обучение и оценивание на примерах генерации кода. Это исследовательский чекпойнт для воспроизводимости экспериментов, не оптимизированный выпуск Qwen. Лицензия — Apple AMLR.

abenzerps/Spark-X2.5-4B-GGUF — набор GGUF-квантизаций модели Spark-X2.5-4B, разработанной XHToken и предназначенной для генерации текста. Модель ориентирована на рассуждения, программирование, использование инструментов и агентские рабочие процессы. Доступны варианты квантизации Q4_0, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером от 2,41 до 4,38 ГБ. Модель имеет около 4 млрд параметров и поддерживает нативный контекст до 1 048 576 токенов. README не указывает поддерживаемые языки и результаты конкретных бенчмарков, поэтому оценить качество по языкам и задачам нельзя. Квантизация уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; степень компромисса зависит от выбранного варианта. Для запуска требуется llama.cpp версии b10828 или новее с поддержкой архитектуры Spark-X2.5 (spark2_5). Распространяется по лицензии Apache-2.0.

Speechless Code Mistral 7B v1.0 — это языковая модель для генерации текста и программного кода на базе архитектуры Mistral с примерно 7 млрд параметров. Исходную модель разработал Jiangwen Su, а TheBloke подготовил её квантованные версии в формате GGUF. Модель ориентирована на англоязычные сценарии и обучалась на наборах данных, включающих инструкции, программный код и задачи общего назначения. Модель предназначена для генерации и продолжения кода, ответов на инструкции, локального программирования и диалоговых приложений. GGUF-файлы совместимы с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python; доступны варианты квантования от 2 до 8 бит для CPU+GPU-инференса. Ключевые ограничения — отсутствие мультимодальности в заявленных данных, поддержка только английского языка и неизвестный размер контекстного окна. Квантование может снижать точность по сравнению с исходной моделью, особенно в наиболее компактных вариантах. В README указана лицензия llama2; отдельные результаты HumanEval имеют значение pass@1 0, но помечены как непроверенные.

StarCoder2-7B — открытая модель для генерации и дополнения программного кода, разработанная проектом BigCode. Это плотный авторегрессионный Transformer-декодер с Grouped Query Attention и скользящим вниманием: окно контекста составляет 16 384 токена, из которых скользящее окно внимания — 4 096 токенов. Модель обучалась на более чем 3,5 трлн токенов из The Stack v2 и других источников, используя задачу Fill-in-the-Middle; метаданные указывают 9,9 млрд параметров. Модель подходит для продолжения кода по контексту, заполнения пропусков и генерации фрагментов на 17 языках программирования. Она не является моделью для следования инструкциям, поэтому запросы на естественном языке вроде просьбы написать функцию могут обрабатываться хуже, чем контекст с незавершённым кодом. Сгенерированный код может содержать ошибки, быть неэффективным или небезопасным. Обучающие данные отфильтрованы по лицензиям, однако модель может воспроизводить исходный код; перед использованием следует учитывать его лицензионные требования. Лицензия — BigCode OpenRAIL-M.

StarCoderBase-1B — авторегрессионная языковая модель для генерации программного кода, разработанная проектом BigCode. Это версия семейства StarCoderBase с 1 млрд параметров, основанная на архитектуре GPT-2 с Multi-Query Attention. Модель обучалась на корпусе The Stack v1.2, содержащем код более чем на 80 языках программирования, с целью Fill-in-the-Middle на 1 трлн токенов. Контекстное окно составляет 8192 токена. Модель предназначена для продолжения кода по заданному фрагменту и заполнения пропусков между частями кода. Она не является моделью, настроенной на выполнение инструкций: запросы на естественном языке вроде просьбы написать функцию могут работать хуже, чем подсказки с контекстом кода. Генерации могут содержать ошибки, быть неэффективными или уязвимыми. Код может дословно воспроизводить фрагменты из обучающих данных, поэтому следует проверять его происхождение и соблюдать применимые условия лицензии. Лицензия модели — BigCode OpenRAIL-M.

CADD-Base-7B — языковая модель для генерации кода на основе дискретной диффузии с маскированными токенами, разработанная Apple. Метод Continuously Augmented Discrete Diffusion (CADD) добавляет к представлениям замаскированных токенов непрерывный сигнал flow matching, который направляет процесс пошагового восстановления текста. Для генерации можно выбрать способ оценки чистого представления и стратегию раскрытия токенов; доступны варианты argmax и weighted, а также entropy, origin, maskgit_plus и topk_margin. Модель содержит 7,1 млрд параметров, использует архитектуру Dream и принимает текст для генерации кода. Она создана на основе Qwen/Qwen2.5-Coder-7B-Instruct и дообучена с методом CADD. В метаданных указан контекст до 131 072 токенов. Репозиторий содержит веса safetensors. Лицензия — apple-amlr; перед использованием следует проверить её условия, особенно применительно к коммерческому использованию.

Salesforce CodeGen-Multi 16B — авторегрессионная плотная языковая модель для генерации программного кода. Вариант Multi инициализирован на CodeGen-NL 16B и дополнительно предобучен на корпусе BigQuery из 119,2 млрд токенов кода из GitHub. В модели 16 млрд параметров; архитектура CodeGenForCausalLM, формат PyTorch, контекст — 2048 токенов. Модель предназначена прежде всего для синтеза кода по инструкциям на английском языке, заданным в виде комментариев, и продолжения частично написанного кода. В обучающих данных представлены C, C++, Go, Java, JavaScript и Python. Она также может извлекать признаки из текста и оценивать его правдоподобие, но не предназначена для всех последующих сценариев без отдельной оценки качества и рисков. Модель выпущена Salesforce для исследовательского использования в рамках академической работы. Лицензия — BSD-3-Clause. Возможны ошибки в генерируемом коде; авторы рекомендуют проверять точность, безопасность и справедливость перед внедрением.

Salesforce CodeGen-Multi 2B — авторегрессионная плотная языковая модель для синтеза программного кода. Чекпойнт содержит 2 млрд обучаемых параметров и создан на архитектуре CodeGenForCausalLM; для работы использует библиотеку Transformers и формат PyTorch. Вариант Multi сначала инициализировали из CodeGen-NL 2B, затем дополнительно обучили на 119,2 млрд токенов из набора BigQuery с кодом из GitHub на C, C++, Go, Java, JavaScript и Python. Модель предназначена прежде всего для генерации исполняемого кода по подсказкам на английском языке, обычно оформленным как комментарий, а также для продолжения частично написанного кода. Она принимает текстовые подсказки и выдаёт текст, включая код; максимальная длина контекста составляет 2048 токенов. Модель обучена на нескольких языках программирования, но README не заявляет поддержку русского языка как языка естественных запросов. Модель оценивали на HumanEval и MTPB. Это выпуск для исследовательского применения; точность, безопасность и справедливость не оценивались для всех возможных сценариев, поэтому сгенерированный код следует проверять. Лицензия — BSD 3-Clause.

Salesforce CodeGen-NL 6B — авторегрессионная языковая модель для синтеза программного кода. Это вариант семейства CodeGen с плотной архитектурой CodeGenForCausalLM и примерно 6 млрд обучаемых параметров; модель опубликована Salesforce в рамках исследования о диалоговом подходе к синтезу программ. Она предварительно обучена на корпусе The Pile, содержащем в том числе данные с кодом, и принимает текстовые запросы с инструкциями на естественном языке или незавершённый код. Основное применение — генерация исполняемого кода по англоязычному описанию, желательно оформленному как комментарий, а также продолжение фрагментов программы. Контекст составляет 2048 токенов. Модель может извлекать признаки из текста на естественном языке и языках программирования и оценивать их правдоподобие; качество и безопасность результата необходимо проверять перед использованием. Модель выпущена для исследовательских целей и не оценивалась для всех практических сценариев. Лицензия — BSD 3-Clause.

Shuu12121/CodeSearch-ModernBERT-Owl — модель Sentence Transformers, дообученная автором на базе Shuu12121/CodeModernBERT-Owl для поиска кода. Она сопоставляет фрагменты кода с документацией по смысловой близости и формирует эмбеддинги размерностью 768, которые можно сравнивать косинусной мерой. Модель построена на архитектуре ModernBERT, содержит около 151,6 млн параметров и принимает последовательности длиной до 2048 токенов. Модель предназначена для семантического поиска по репозиториям и ранжирования документации или кода по запросу. В README приведён результат 76,89 на CodeSearchNet; он относится к указанной в карточке оценке, а сравнения с другими моделями в README не полностью согласуются с приведённой таблицей. Обучение включает наборы CodeSearchNet, Java и Rust code search, а также CodeXGlue. Лицензия — Apache-2.0.

Delta-P2S — слитый чекпойнт на архитектуре Qwen2.5, созданный с помощью экспериментального пакета Delta-P2S с учётом архитектуры Qwen. Модель содержит 14 млрд параметров, использует библиотеку Transformers и веса в формате safetensors; заявленное контекстное окно составляет 131 072 токена. Название и обучающие пути указывают на кодовую направленность эксперимента с Qwen, однако README не уточняет обучающие данные, языки программирования или конкретные сценарии. Модель поддерживает текстовую генерацию и чат. Она может применяться для генерации кода и диалоговых ответов, но качество для этих задач не описано. Лицензия в предоставленных данных не указана.

DMax-Coder-16B — модель генерации кода на основе диффузионной языковой модели LLaDA-2.0-mini, разработанная авторами проекта DMax. Она дообучена на траекториях генерации кода и предназначена для создания программного кода с параллельным декодированием. В README описаны механизм самопересмотра ошибочных предсказаний и мягкое параллельное декодирование; заявлены показатели 6,6 TPF на задачах кода при сохранении точности. Модель использует MoE-архитектуру LLaDA2 и принимает текстовые запросы, выдавая текст, включая код. Размер по метаданным — 1,2 млрд параметров, контекст — до 16 384 токенов. Доступна в формате safetensors для Transformers. Лицензия — Apache-2.0.

dpo5k5 — дообученная модель на 1,3 млрд параметров на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и предназначена для генерации и продолжения кода; базовая модель также поддерживает автодополнение и заполнение пропусков в коде. Контекст модели — до 16 384 токенов. Модель опубликована в формате safetensors, лицензия указана как other. README не содержит подробностей об оценке качества и ограничениях; возможности и качество модели для конкретных задач следует проверять отдельно.

FairyR1-14B-Preview — языковая модель с рассуждениями, разработанная PKU-DS-LAB на основе DeepSeek-R1-Distill-Qwen-14B. Это плотная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогов; в обучении особое внимание уделено математике и программированию. Указанная в метаданных длина контекста — 131 072 токена. Модель создана с помощью дообучения отдельных математического и кодового экспертов на дистиллированных цепочках рассуждений с последующим объединением их весов. В README приведены результаты на AIME 2024 и 2025, LiveCodeBench и GPQA-Diamond; они отражают тестирование авторов и не гарантируют аналогичного качества на других задачах. Поддерживаются английский и китайский языки. Модель распространяется по лицензии Apache-2.0.

Hemlock-Qwopus3.5-9B-Coder-i1-GGUF — квантизированная версия модели Hemlock-Qwopus3.5-9B-Coder, опубликованная mradermacher и созданная на базе nbeerbower/Hemlock-Qwopus3.5-9B-Coder. Модель дообучалась на наборах hemlang/Hemlock2-DPO, hemlang/hemlock-formulary-SFT и hemlang/hemlock-codex-SFT; для базовой версии заявлено около 9 млрд параметров. В карточке также указаны теги vision-language-model и image-text-to-text, поэтому модель предназначена для работы с текстом и изображениями, включая задачи генерации и анализа кода, однако подробные сценарии применения не описаны. Распространяется в формате GGUF с imatrix-квантизациями различных уровней — от i1-Q2_K до i1-Q6_K, размером примерно от 4,0 до 7,7 ГБ. Для запуска мультимодальных возможностей могут потребоваться файлы mmproj из статического репозитория. Заявлен английский язык; сведения о размере контекста, точной архитектуре, поддерживаемых форматах изображений и результатах тестирования отсутствуют. Более компактные варианты требуют меньше памяти, а варианты более высокого качества занимают больше места; в README отдельно отмечены рекомендации по i1-Q4_K_M как быстрому варианту и i1-Q4_K_S как компромиссу размера, скорости и качества. Лицензия в карточке модели не указана, поэтому условия коммерческого и иного использования необходимо уточнять отдельно. Модель опубликована как набор готовых квантованных файлов и также содержит imatrix-файл для самостоятельного создания квантов.

IBM-Grok4-UltraFast-Coder-1B-GGUF — это набор GGUF-квантизаций модели IBM-Grok4-Ultra.Fast.Coder-1B, разработанной WithinUsAI и опубликованной в формате GGUF пользователем mradermacher. Модель ориентирована на генерацию текста и кода, а также на сценарии программирования. В метаданных указан английский язык. README перечисляет обучающие наборы, связанные с кодом, математикой, логикой, творческими задачами, торговыми и визуальными промптами, однако точные возможности работы с изображениями не подтверждены для данной версии. Размер базовой модели — 1 млрд параметров; в описании также указаны full fine-tune, PyTorch, multi-GPU и архитектурный тег granite. Доступны варианты от Q2_K до Q8_0, IQ4_XS и f16 размером примерно от 0,8 до 3,4 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант с очень хорошим качеством, а Q8_0 — как наиболее качественный среди быстрых вариантов. Более сильное квантование уменьшает требования к памяти, но может снижать качество. Основное преимущество модели — компактность и наличие множества вариантов квантования для локального запуска. При этом README не содержит данных о длине контекста, точной архитектуре, мультимодальности, результатах оценивания, системных требованиях или дополнительных ограничениях качества. Лицензионные условия в представленном описании не указаны.

InCoder 1B — авторегрессионная модель для работы с кодом, разработанная Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wen-tau Yih, Luke Zettlemoyer и Mike Lewis и опубликованная под организацией Facebook. Это декодерный Transformer архитектуры XGLM с 1,5 млрд параметров, обученный на коде с причинно-маскирующей целью: модель умеет продолжать код слева направо и заполнять пропуски внутри фрагмента. Модель предназначена для генерации и редактирования кода, в том числе дополнения незавершённых фрагментов и вставки кода в заданный контекст. Обучающие данные включали открытые репозитории GitHub и GitLab с разрешительными лицензиями, а также Stack Overflow; среди языков особенно представлены Python и JavaScript, наряду с кодом на 28 языках. Контекст модели — 2048 токенов. Для запуска в карточке указаны PyTorch, tokenizers и Transformers; токенизатор требует tokenizers версии 0.12.1 или новее. Ограниченный контекст и смещение обучающих данных к Python и JavaScript могут снижать качество на длинных задачах или менее представленных языках. Лицензия модели — CC BY-NC 4.0, предусматривающая некоммерческое использование.

k3 — дообученная модель для генерации кода, созданная на основе deepseek-ai/deepseek-coder-1.3b-base. Она использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров. Модель подходит для продолжения кода, автодополнения и генерации фрагментов кода по текстовому запросу; контекст составляет до 16 384 токенов. В карточке указано, что модель обучалась методом KTO, однако датасет обозначен как None, а сведения о назначении и ограничениях не раскрыты. Опубликованы метрики оценки на тестовом наборе, но без описания самого набора их нельзя интерпретировать как гарантию качества. Формат весов — Safetensors; лицензия указана как other, поэтому условия использования следует уточнить у автора репозитория.

Kimi-K3-REAP73-MLX-mxfp4-q8 — это сильно разреженная и конвертированная в формат MLX версия мультимодальной MoE-модели Kimi-K3, разработанной Moonshot AI. Модель предназначена для локального запуска на компьютерах Apple Silicon с большим объёмом unified memory, прежде всего для генерации текста и программного кода через mlx-lm. Она сохраняет 793 млрд параметров из исходных 2,78 трлн, включая 104 млрд активных параметров, и рассчитана на контекст до 1 млн токенов. Архитектура включает Kimi Delta Attention, Attention Residuals, LatentMoE и 92 MoE-слоя; из 896 экспертов в каждом слое сохранены 242, при этом на токен маршрутизируются 16 экспертов. Заявлена поддержка английского, китайского и ряда других языков, включая японский, русский, корейский, немецкий, французский, испанский и арабский, а также мультимодальных сценариев исходной модели, хотя подробности о поддерживаемых входных форматах здесь не приведены. Ключевое преимущество модели — возможность загрузки примерно 451 ГБ весов на Apple Silicon с 512 ГБ памяти. Экспертные веса используют MXFP4 без дополнительной потери точности при конвертации: сохранённые тензоры являются побитовой копией исходных. На M3 Ultra с 512 ГиБ заявлена скорость генерации около 5,51 токена в секунду. Модель особенно хорошо сохраняет структурную корректность генерации кода, однако агрессивное удаление экспертов заметно ухудшает общие языковые способности: возможны уход в спискообразные или похожие на исходный код продолжения, повторы и деградация качества по сравнению с полной Kimi-K3. Сокращение числа сохранённых экспертов уменьшает требования к памяти, но почти не ускоряет генерацию. Для работы требуются mlx-lm и поставляемый загрузчик kimi_k3.py; практическое использование рассчитано на систему Apple Silicon с 512 ГБ памяти и настройкой лимита wired GPU memory. Модель распространяется с лицензией other, с указанием license_name kimi-k3; дополнительные условия этой лицензии в README не приведены.

Mellum-4b-base — базовая языковая модель для кода, разработанная JetBrains и опубликованная с открытыми весами. Она использует плотную архитектуру в стиле LLaMA с 3,7 млрд параметров и предназначена прежде всего для автодополнения кода, включая продолжение и заполнение пропусков. Модель обучалась на корпусах The Stack, The Stack v2, StarCoder Training Dataset и CommitPack, а также на англоязычной Википедии; обучение охватило около 4,2 трлн токенов. Контекст составляет 8192 токена. Публичные веса представлены в формате safetensors с точностью bf16. Модель рассчитана на интеграцию в IDE и помощники разработчика, а также на локальный или серверный запуск и дальнейшую адаптацию через дообучение. Она работает с кодом на нескольких языках программирования; отдельная версия Mellum-4b-sft-python в карточке приведена для сравнения и не является этой базовой моделью. Для прикладных задач модель не настроена из коробки. Сгенерированный код может отражать стилистику обучающих открытых репозиториев и содержать уязвимости, поэтому предложения следует проверять. Лицензия — Apache-2.0.

Mellum-4b-sft-python — дообученная JetBrains модель для генерации и автодополнения кода на Python. Она основана на Mellum-4b-base и предназначена для подсказок в IDE, работы в помощниках программиста, а также экспериментов с генерацией и пониманием кода. Модель использует плотную архитектуру LLaMA с 3,7 млрд параметров и контекстом 8192 токена. Версия на Hugging Face опубликована в формате bf16; для запуска и интеграции подходят инструменты экосистемы Transformers и среды инференса, упомянутые в карточке. Модель ориентирована на код, особенно на завершение фрагментов Python, и может быть полезна в обучении программированию и экспериментах с дообучением. Она может наследовать стилистические особенности открытых кодовых баз, а сгенерированный код необходимо проверять на ошибки и уязвимости. Лицензия — Apache-2.0.