II.4Отладка, тестирование и качество ПО

Qwen3-Coder-480B-A35B-Instruct в репозитории Unsloth — инструкционная MoE-модель для генерации кода и агентного программирования. Она поддерживает работу с инструментами через специальный формат вызовов функций и предназначена для сценариев, где нужно анализировать крупные репозитории, писать код и выполнять задачи с браузером. В карточке заявлены результаты среди открытых моделей, сопоставимые с Claude Sonnet на агентном программировании и работе с браузером. В README описана архитектура причинной языковой модели Qwen3 MoE: 480 млрд параметров всего, 35 млрд активируемых, 160 экспертов и 8 активируемых экспертов. Метаданные репозитория указывают 15,4 млрд параметров; контекст составляет 262 144 токена. Модель работает в режиме без рассуждений (non-thinking). Лицензия — Apache-2.0. Карточка Unsloth связывает репозиторий с Qwen/Qwen3-Coder-480B-A35B-Instruct как производной моделью; отдельные сведения о конкретных изменениях весов в README не приведены.

mlx-community/Qwen3-Coder-480B-A35B-Instruct-4bit — модель для генерации текста, созданная на основе Qwen3-Coder-480B-A35B-Instruct от Qwen и преобразованная сообществом mlx-community в формат MLX. Модель предназначена прежде всего для задач программирования и обработки инструкций, включая генерацию ответов на текстовые запросы в совместимых приложениях на базе MLX. Модель имеет обозначение 480B-A35B и использует 4-битное квантование, что уменьшает требования к памяти по сравнению с полноразмерной версией. Она поддерживает текстовую модальность и относится к классу instruction-tuned моделей для text generation. README не содержит сведений о конкретной архитектуре, максимальном контексте, поддерживаемых языках, производительности и результатах тестирования. Сильной стороной является адаптация к MLX и возможность запуска через библиотеку mlx-lm с использованием чат-шаблона токенизатора. Ограничения включают высокую заявленную размерность модели и отсутствие в README подробностей о требованиях к оборудованию, качестве на конкретных задачах и языковой поддержке. Распространение осуществляется по лицензии Apache-2.0.

Intel/Qwen3-Coder-Next-int4-AutoRound — это квантованная версия языковой модели Qwen/Qwen3-Coder-Next, разработанная с использованием Intel AutoRound. Модель предназначена для генерации текста и решения задач программирования, включая создание исходного кода, например реализацию алгоритмов. Она поддерживает стандартные сценарии работы через Hugging Face Transformers и сервер vLLM. Модель использует симметричную INT4-квантизацию с group_size 128, что снижает требования к памяти по сравнению с полноразмерной версией. Точные сведения о размере модели, поддерживаемых языках, модальностях и длине контекста в предоставленных данных не указаны. Модель может генерировать фактически неверные, предвзятые, оскорбительные или иным образом нежелательные ответы, поэтому перед использованием в приложениях необходимы тестирование безопасности и проверка результатов. Условия лицензирования должны соответствовать лицензии исходной модели Qwen/Qwen3-Coder-Next; конкретная лицензия в README не указана.

wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.

Qwen3-Coder-30B-A3B-Instruct-GGUF — инструкция-ориентированная текстовая модель для генерации кода и работы с запросами на естественном языке. Базовую модель Qwen3-Coder-30B-A3B-Instruct разработала команда Qwen, а представленные файлы в формате GGUF подготовлены и квантизированы TensorBlock. Модель предназначена для локального запуска и совместима с llama.cpp начиная с указанного коммита. Доступны варианты квантизации от Q2_K до Q5_0 с размером файлов примерно от 11,3 до 21,1 ГБ. В README указано обозначение 30B-A3B, однако подробности архитектуры, число активных параметров, поддерживаемые языки, контекстное окно и мультимодальные возможности не описаны. Варианты квантизации позволяют выбирать между меньшим потреблением памяти и качеством; рекомендуемым назван Q4_K_M как сбалансированный по размеру и качеству, тогда как Q2_K и некоторые Q3-варианты имеют существенные потери качества. Модель подходит для программирования, генерации и редактирования кода, а также для локальных приложений, использующих текстовую генерацию. Ограничения связаны с потерями качества при низкой квантизации и отсутствием в предоставленных данных сведений о производительности, языковом покрытии и максимальной длине контекста. Распространение заявлено по лицензии Apache-2.0.

Qwopus3.6-27B-Coder-bf16 — конверсия в формат MLX модели Jackrong/Qwopus3.6-27B-Coder, подготовленная сообществом mlx-community для запуска на Apple Silicon. Это мультимодальная модель семейства Qwen 3.5 с архитектурой условной генерации и визуальным компонентом; вариант использует веса BF16 и сохраняет шаблон чата и конфигурацию мультимодального процессора исходной модели. Поддерживает текстовые запросы и задачи программирования, а также входные изображения и видео.

QwQ-32B-Preview — экспериментальная модель рассуждений, разработанная командой Qwen. Это плотная авторегрессионная языковая модель семейства Qwen2, дообученная на базе Qwen/Qwen2.5-32B-Instruct; в README описана архитектура Transformer с RoPE, SwiGLU, RMSNorm и смещениями QKV в механизме внимания. Модель содержит около 32 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста, решения математических задач и программирования. В карточке отмечены возможности чата и интерфейс вызова инструментов. Для работы используется библиотека Transformers; лицензия Apache-2.0. Модель может смешивать языки, зацикливаться в рассуждениях и выдавать длинные ответы без вывода. Она сильнее в математике и программировании, чем в здравом смысле и тонком понимании языка; при развёртывании следует учитывать указанные в карточке ограничения безопасности.

hypn05 разработала Secrets Sentinel xsmall-c2p-v1 — экспериментальную англоязычную модель для бинарной классификации строк кода и конфигураций на наличие секретов. Она основана на microsoft/deberta-v3-xsmall и дообучена на наборе data_v10. Архитектура DeBERTa-v2 для классификации последовательностей использует только компонент позиционного внимания c2p; модель содержит 77,5 млн параметров по метаданным, а длина контекста составляет 512 токенов. Модель предназначена для поиска ключей и других секретов в репозиториях, например в проверках pre-commit, GitHub Actions и pre-receive hooks. В README заявлена скорость примерно в 5,3 раза выше базового варианта, однако на коротких идентификаторах Terraform отмечены ложные срабатывания. Автор рекомендует использовать эту версию для исследований и сравнения скорости, а для production — xsmall-v1. Лицензия MIT.

uukuguy выпустил дообученную модель speechless-codellama-dolphin-orca-platypus-34b на основе Phind/Phind-CodeLlama-34B, используя наборы Dolphin, Orca и Platypus. Это плотная авторегрессионная Transformer-модель семейства Llama с 33,5 млрд параметров и контекстом 16 384 токена; репозиторий содержит веса PyTorch для Transformers. Модель предназначена для генерации и понимания кода, включая автодополнение и заполнение пропусков в коде. В README приведён результат 70,12 на HumanEval-Python pass@1. Модель принимает и генерирует текст; данные каталога указывают английский язык. Лицензия — llama2, а использование производной модели регулируется условиями лицензии Llama 2. Как и другие языковые модели, она может выдавать ошибочный или нежелательный код; перед применением в продукте её следует проверить и настроить для конкретного сценария.

Fmuaddib выпустил конвертированную в формат MLX модель WhiteRabbitNeo-2.5-Qwen-2.5-Coder-12.3B-mlx-fp16 на основе win10/WhiteRabbitNeo-2.5-Qwen-2.5-Coder-12.3B. Это плотная авторегрессионная модель семейства Qwen2 с 11,7 млрд параметров, предназначенная для генерации текста в диалоговом режиме; в названии и базовой модели указана специализация на программировании. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. README сообщает о конвертации из исходного репозитория в MLX с помощью mlx-lm версии 0.22.3; метаданные указывают формат файлов safetensors. Условия лицензии в предоставленных данных не приведены.

Altar-1 — крупная разреженная языковая модель для генерации текста, разработанная на базе GLM-5.3 от Z.AI и опубликованная под идентификатором AikidoSec/altar-1. Прунинг выполнил 0xSero с использованием метода REAP, а квантованная основа взята из cyankiwi/GLM-5.3-AWQ-INT4. Модель предназначена для кибербезопасности, программирования, вызова инструментов, рассуждений и генерации структурированных ответов. При калибровке использовались трассы кибербезопасности, код, сценарии tool calling, reasoning, англоязычные данные и многоязычные статьи Wikipedia. Архитектурно это Mixture-of-Experts: после удаления 34% экспертов сохранено 168 из 256 экспертов в каждом слое, при этом для каждого токена активируются 8 экспертов, что соответствует примерно 40B активных параметров. Общий размер модели составляет около 504B параметров, а веса занимают примерно 328 ГБ. Маршрутизируемые эксперты представлены в формате INT4 W4A16 с AWQ и compressed-tensors, тогда как attention, shared expert, плотные слои и выходная голова сохранены в BF16. Заявлена поддержка контекста до 131072 токенов и развёртывание через vLLM на четырёх GPU H100 или H200 с Hopper и ядром Marlin MoE. По данным README, близость к полной BF16-версии составляет 0,506 ната KL-дивергенции на закрытой выборке из 25 запросов, однако подробные оценки качества ограничены указанными исследованиями. Сильными сторонами модели являются существенное сокращение размера по сравнению с исходной GLM-5.3, сохранение доменных специалистов для кода, редких языков и структурированного вывода, а также возможность промышленного сервинга на 4× H200. Ограничениями остаются очень высокие требования к памяти и оборудованию, зависимость от Hopper и vLLM, отсутствие подробных независимых бенчмарков в README и неуказанный точный перечень поддерживаемых языков. Лицензия обозначена как other и наследуется от лицензии GLM-5.3; перед использованием необходимо ознакомиться с её условиями.

G9v3-39A5B-Q3Q4-GGUF — квантованная GGUF-версия причинной языковой модели с архитектурой Mixture-of-Experts от команды AI9Stars. Базовая модель G9v3-39A5B содержит около 39 млрд параметров, из которых при генерации активируется около 5 млрд на токен. Контекст составляет до 131 072 токенов; модель ориентирована на английский и китайский языки. Модель предназначена для диалогового помощника, программирования, работы с инструментами и задач рассуждения. В одном чекпойнте доступны режимы Think и No Think. Карточка описывает запуск локально и на одной видеокарте с 24 ГБ памяти; для GGUF-квантизации авторы отмечают, что варианту требуется уровень Q3 для полноценной работы, а сама модель не особенно хорошо поддаётся квантизации. Модель выпущена как предварительная версия. Ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки, особенно в важных сценариях; поведение может меняться между версиями. Лицензия — Apache-2.0.

GigaChat 3.5 Ultra Base — базовая языковая модель семейства GigaChat, опубликованная ai-sage. Это предварительно обученный чекпойнт для продолжения обучения и генерации текста; для диалогового использования с выполнением инструкций в README рекомендуется отдельная instruct-версия. Модель предназначена для многоязычных сценариев, рассуждений, программирования и агентных систем с использованием инструментов. По README, архитектура — MoE с 432 млрд параметров всего и 28 млрд активных параметров, гибридным вниманием MLA и GatedDeltaNet и двумя головами Multi-Token Prediction. Указаны поддержка контекста до 131 072 токенов и языки русский и английский. Метаданные указывают 25 млрд параметров, поэтому размер модели в источниках расходится. Репозиторий содержит веса Safetensors; лицензия — MIT. Большой контекст, MoE и гибридное внимание рассчитаны на эффективную генерацию при длинных запросах, а README сообщает о сильных результатах на тестах кода, математики и рассуждений. Для запуска такой крупной модели требуется кластерная инфраструктура. Это базовая, а не выровненная instruct-модель: её поведение в диалоге и следование инструкциям может быть ограничено.

gl-agent-1-27b — плотная языковая модель на 27 млрд параметров семейства Qwen3.5, дообученная для длительных агентных задач. Она предназначена для диалоговых сценариев, где модель планирует и выполняет последовательности действий, включая вызов инструментов и задачи программирования. Вызовы инструментов формируются в XML и требуют соответствующего парсера Qwen3 в vLLM; режим рассуждения включён по умолчанию. Модель поддерживает контекст длиной 262 144 токена, расширяемый до 1 000 000 токенов с YaRN. Веса включают голову multi-token prediction для спекулятивного декодирования без отдельной черновой модели. В README приведены настройки запуска через vLLM; результаты бенчмарков пока отсутствуют, поэтому качество и выигрыш в скорости следует оценивать на целевом оборудовании. Карточка указывает лицензию Apache-2.0.

Hemlock2-Coder-7B-GRPO — дообученная методом GRPO модель для генерации кода, разработанная на основе hemlang/Hemlock2-Coder-7B. Во время обучения ответы модели выполнялись в изолированной среде интерпретатора Hemlock и оценивались по совпадению стандартного вывода с проверенным эталоном. Используется архитектура Qwen2ForCausalLM с 7,1 млрд параметров; контекст — до 32 768 токенов. Доступны веса safetensors и квантованный вариант GGUF Q8_0. Модель предназначена для генерации и исправления кода, в том числе задач с проверкой результата выполнением. В описанном тесте Hembench она улучшила pass@1 с 28,9% до 36,8% относительно базовой модели; наибольший прирост отмечен для синтаксиса и системного кода с конкурентностью. Лицензия — Apache-2.0. README сообщает о тестировании на небольшом наборе примеров (n=5), поэтому приведённые показатели не гарантируют аналогичного качества на других задачах.

Juno-N-Coder-25B — модель для генерации кода, разработанная Locai Labs на основе NVIDIA Nemotron 3.5 Lightning 30B. Это производная модель семейства Nemotron-H, полученная структурным удалением нижних 25% экспертов алгоритмом SPACE с перенормировкой маршрутизатора; дополнительное восстановительное дообучение не проводилось. В метаданных указано 1,9 млрд параметров, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для помощи в разработке программного обеспечения: генерации кода и решения задач по программированию. Карточка сообщает о близких к базовой модели результатах на LiveCodeBench v6, HumanEval+ и MBPP+, при этом общие знания и фактическое воспроизведение могут ухудшаться: в частности, приведены снижения на некоторых группах MMLU Redux. Для запуска приведён пример с vLLM и поддержкой вызова инструментов. Репозиторий использует формат Safetensors и лицензию «other»; конкретные условия этой лицензии в доступных сведениях не раскрыты.

KwaiCoder-AutoThink-preview-GGUF — квантизированная версия языковой модели для генерации текста и программного кода, разработанная Kwaipilot и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, включая сценарии программирования, генерации и анализа кода, а также мультиязычной работы с текстом. В репозитории представлены варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 18,32 до 81,14 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp. Для работы требуется применять указанный шаблон диалога с токенами system, user и assistant; в начале ответа предусмотрен маркер <judge>. В README указана поддержка multilingual, однако конкретный список языков, архитектура исходной модели, число параметров и размер контекста не приведены. Сильной стороной модели является широкий выбор уровней квантизации: старшие варианты обеспечивают высокое качество, а Q4 и Q3 позволяют снизить требования к памяти. Ограничения связаны с большими требованиями к объёму оперативной или видеопамяти, возможной потерей качества при использовании низкобитных вариантов и отсутствием в README подробных оценок производительности. Модель распространяется по лицензии kwaipilot-license; лицензия обозначена как other, а её текст доступен в файле LICENSE.

Laguna-XS 2.1 JANG2L CRACK — текстовая модель для генерации кода и агентных сценариев, выпущенная dealignai на основе poolside/Laguna-XS-2.1. По карточке модели, это MoE-модель с 33 млрд параметров и примерно 3 млрд активных параметров; в метаданных размер указан как 2,6 млрд параметров. Версия JANG2L использует смешанную низкоразрядную квантизацию MLX для Apple Silicon, а CRACK удаляет поведение отказа на уровне весов. Репозиторий содержит веса safetensors, модель рассчитана на запуск через MLX, прежде всего с vMLX. Модель предназначена для агентного программирования, рассуждений и вызова инструментов; поддерживает текстовый ввод и генерацию текста, а также контекст до 262 144 токенов. Карточка заявляет сохранение возможностей кодирования, рассуждений и вызова инструментов после преобразований и приводит результаты MMLU и HarmBench, полученные в vMLX. Английский указан среди языков модели. Для генерации рекомендуется явно задавать temperature=1.0, top_p=1.0 и top_k=20: среды инференса могут игнорировать настройки в файлах конфигурации, что, по карточке, ухудшает качество вывода. Модель настроена следовать инструкциям без отказа, включая потенциально опасные запросы. Лицензия обозначена как other; подробные условия в предоставленных данных не раскрыты.

DuoNeural выпустила GGUF-квантизацию диалоговой модели DuoNeural/LFM2.5-8B-A1B-Abliterated на базе Liquid AI LFM 2.5-8B-A1B. Веса распределены по разным схемам квантования: для проекций внимания и shortconv используются IQ2_XS, для тензоров MoE-экспертов — IQ3_XS и Q3_K_M. По заявлению авторов, такая конфигурация сохраняет компактность и повышает точность в задачах программирования по сравнению с их версией 2.72 bpw; модель предназначена для локальной генерации текста, диалогов, кода и вызовов инструментов. В карточке указаны результаты на HumanEval, GSM8K и Hermes function calling, а также тесты производительности на RTX 4080 Super. Это заявления авторов, и они не гарантируют аналогичного качества или скорости на другом оборудовании и при иных настройках. Модель ориентирована на английский язык; размер контекста в доступных данных не указан. Репозиторий распространяется по лицензии Apache-2.0.

Llama 2 Coder 7B — языковая модель для генерации и помощи в написании программного кода, созданная mrm8488 на базе Llama 2 Coder 7B и дообученная с использованием набора данных HuggingFaceH4/CodeAlpaca_20K. TheBloke подготовил её квантованные файлы в формате GGUF. Модель предназначена для сценариев, в которых требуется coding assistant: интерпретации инструкций пользователя и формирования решений в виде программного кода. Она относится к архитектуре Llama, имеет размер 7B параметров и поддерживает текстовую генерацию. README не указывает точный перечень языков программирования, естественных языков или размер контекстного окна. Формат GGUF подходит для локального запуска через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения с поддержкой CPU и GPU. Ключевое преимущество версии — доступность квантований с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают возможные ошибки и неполные решения в генерируемом коде, а также отсутствие в README опубликованных результатов оценки. Модель заявлена под лицензией Apache-2.0, но поскольку основана на Llama 2, также подпадает под условия лицензии Meta Llama 2; взаимодействие этих лицензий требует отдельной проверки перед использованием.

LongCat-Flash-Lite-FP8 — языковая модель для генерации текста, разработанная командой Meituan LongCat. Это нерассуждающая модель на архитектуре Mixture-of-Experts (MoE) с 68,5 млрд параметров, из которых при обработке запроса активируется примерно 3 млрд. Модель поддерживает контекст длиной до 256 тысяч токенов благодаря методу YaRN и использует таблицу N-gram embedding объёмом более 30 млрд параметров. Модель предназначена для общего текстового использования, агентских сценариев с применением инструментов и задач программирования. Разработчики отмечают высокую эффективность в агентском взаимодействии и coding-задачах, а также улучшенную скорость и задержку инференса благодаря N-gram Cache и специализированным синхронизированным ядрам. В README не указаны точный список поддерживаемых языков и мультимодальные возможности; по назначению и pipeline_tag модель относится к текстовой генерации. Для запуска через Transformers рекомендуется использовать Python 3.10 или новее, PyTorch 2.6 или новее, Transformers 4.57.6 и Accelerate 1.10.0. Требуется как минимум две видеокарты с 80 ГБ VRAM каждая, например H100 или A100. К ограничениям относятся значительные требования к аппаратным ресурсам, а также отсутствие в представленных данных подробностей о качестве на конкретных языках, мультимодальности и иных аспектах эксплуатации. Модель распространяется по лицензии MIT.

Magic-Dolphin-7b — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная автором репозитория методом линейного слияния Dolphin 2.6 Mistral 7B DPO Laser, Hyperion 1.5 Mistral 7B и Merlinite 7B. Модель предназначена для генерации текста и ответов на технические вопросы; README сообщает о проверке нескольких весовых соотношений и приводит результаты бенчмарков рассуждения, знаний и решения задач. Для общения используется шаблон Alpaca, контекст составляет 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных отмечена поддержка генерации кода, однако сведения о конкретных языках программирования или естественных языках не приведены. Репозиторий содержит веса Safetensors, а README указывает на отдельные GGUF-квантизации. Лицензия — Apache-2.0. Автор описывает релиз как эксперимент по объединению моделей; следующая версия, Excalibur-7b, уже выпущена.

MiniCPM5-2B-heretic — компактная плотная языковая модель семейства MiniCPM5, представленная в карточке как модель для локального запуска на устройствах с ограниченными ресурсами. Она основана на архитектуре LlamaForCausalLM и содержит около 2,2 млрд параметров; README указывает 2,52 млрд параметров всего и 1,98 млрд без эмбеддингов. Контекстное окно составляет 131 072 токена. Модель предназначена для диалоговых помощников, генерации текста, программирования, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка заявляет сильные результаты относительно моделей сопоставимого размера в программировании, математике, понимании длинного контекста и агентных задачах, а также пригодность для локального и периферийного развертывания. Эти оценки приведены разработчиками и не являются независимой проверкой. Теги «heretic», «uncensored» и «abliterated» указывают на модификацию с ослабленными отказами, но README не описывает способ её получения; поэтому происхождение именно этой версии нельзя уверенно установить. Модель принимает текст и генерирует текст. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; модель может выдавать нежелательный контент под воздействием специально составленных запросов. Ответы на чувствительные темы не являются профессиональной консультацией, а для практического применения нужны собственные меры безопасности.

BoldingBuilds/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ShimQuant-GGUF — квантизированная GGUF-версия NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA. Сборка использует технологию ShimQuant и предназначена для генерации текста и программного кода, включая сценарии локального запуска на потребительских видеокартах с ограниченным объёмом памяти. Модель основана на архитектуре Nemotron H с разреженной MoE-компонентой: заявлены 30 млрд параметров при 3 млрд активных параметров (30B-A3B). Файл имеет размер около 11,77 GiB, эффективную разрядность 3,07 бит на вес и рассчитан на контекст до 262 144 токенов. В конфигурации преобладают SSM-слои, поэтому увеличение контекста требует сравнительно немного дополнительной VRAM. README не указывает поддерживаемые языки. Ключевое преимущество сборки — возможность запуска на видеокарте с 16 ГБ памяти: на RTX 5080 заявлены полный offload и загрузка контекста 262 144 токена. На тесте HumanEval модель показала pass@1 91,5%. При этом квантизация вносит заметное отклонение от эталонной версии Q8_0, а результаты зависят от выбранной конфигурации. Файл несовместим со стандартными llama.cpp, LM Studio и Ollama и требует пропатченной сборки с поддержкой ShimQuant. Лицензия указана как openmdw-1.1 (other).

OpenAI o3 Pro — модель семейства o, обученная с подкреплением рассуждать перед ответом и решать сложные задачи. По сравнению с o3 она использует больше вычислений на этапе рассуждения, чтобы давать более последовательные ответы. Модель предназначена для сложных запросов, где полезны многоэтапное рассуждение и тщательная проработка ответа. Данных о размере, модальностях, поддерживаемых языках, длине контекста и лицензии в предоставленной карточке нет.

Olmo Hybrid Instruct DPO 7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель на 6,3 млрд параметров, дообученная методом supervised fine-tuning и оптимизации предпочтений DPO на запросах по математике, программированию, диалогам и общим знаниям. Она предназначена для диалоговых ответов и генерации текста; поддерживает контекст до 32 768 токенов и запускается через Transformers 5.3.0 или выше. В карточке приведены результаты оценки на математических бенчмарках, включая MATH и AIME. Модель выпускается в формате safetensors и распространяется по лицензии Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии с рекомендациями Responsible Use. Без дополнительной фильтрации она может генерировать вредный или предвзятый контент, а ответы могут содержать фактические ошибки.

OpenBuddy Coder 34B V11 — большая плотная языковая модель семейства Llama, созданная OpenBuddy и представленная в этом репозитории в формате GGUF BF16 для локального запуска. Это конверсия модели OpenBuddy Coder 34B V11 в GGUF, совместимая с llama.cpp и рядом пользовательских интерфейсов и библиотек для локального инференса. Модель предназначена для генерации текста в сценариях программирования и общения с ассистентом. Она поддерживает китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. В README приведены варианты файлов с разной разрядностью GGUF; сильная сторона формата — возможность запускать модель на CPU и GPU с выбором компромисса между размером и качеством. Для самого малого варианта README предупреждает о существенной потере качества. Для запуска нужны совместимый движок и ресурсы, соответствующие выбранному файлу и настройке выгрузки слоёв на GPU. Контекстная длина в предоставленных данных не указана. Лицензия — Llama 2, поэтому использование регулируется её условиями.

OpenCodeInterpreter-SC2-15B — модель генерации кода из семейства OpenCodeInterpreter, разработанная авторами проекта OpenCodeInterpreter. Она основана на StarCoder2-15B и предназначена для создания кода с возможностью интеграции выполнения и итеративного уточнения по обратной связи от исполнения. Модель имеет плотную архитектуру Starcoder2ForCausalLM, содержит 21,7 млрд параметров и поддерживает контекст до 16 384 токенов. Модель подходит для генерации и интерпретации кода, а также для сценариев, где результат можно выполнить и затем доработать с учётом полученной обратной связи. В карточке приведены результаты серии OpenCodeInterpreter на HumanEval и MBPP, однако конкретные показатели этой версии из таблицы не видны. Метаданные указывают английский язык и формат safetensors. Лицензия — Apache-2.0.

OpenThaiGPT 1.6 72B — плотная языковая модель команды OpenThaiGPT для диалогов и общих задач на тайском и английском языках. Она основана на архитектуре Qwen2, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, рассуждений, решения математических задач и помощи с кодом. Команда отмечает улучшения в рассуждениях о коде на тайском и английском языках, а также понимании тайского языка и культурного контекста. Модель можно запускать локально; для облегчённых вариантов доступны отдельные GGUF-квантизации. Это объединённая модель, собранная из OpenThaiGPT 1.5 72B Instruct и вариантов OpenThaiGPT 1.6 для экзаменационных задач, общих инструкций и Lexitron. Репозиторий содержит веса Safetensors. Указана лицензия other, без конкретизации её условий в предоставленных данных. Ответы модели не гарантированы; полная точность и применимость к конкретным задачам не установлены.

Ornith-1.5-35B-A3B-REAP50-GGUF — квантизированная GGUF-версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai и подготовленной Ttimms. Модель предназначена для генерации текста, включая программирование и работу в локальных средах через llama.cpp и совместимые приложения. Она создана методом REAP с 50%-ным сокращением экспертных блоков: число экспертов в гибридной архитектуре Gated-DeltaNet и Mixture-of-Experts уменьшено с 256 до 128, удалена MTP-голова, а также визуальная башня; заявленный объём составляет около 19 млрд параметров, из которых примерно 3 млрд активны при обработке токена. Указан английский язык и текстовая модальность. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером от 11,4 до 19,7 ГБ. Рекомендуемый Q4_K_M рассчитан на видеопамять 16 ГБ с запасом под контекст; Q8_0 требует более 16 ГБ или выгрузки части вычислений на CPU. MoE-архитектура обеспечивает относительно быструю работу на CPU и Apple Silicon для модели такого размера. Для запуска требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; поддержка Ollama на момент публикации ожидала обновления встроенной llama.cpp. Контекст модели в README не указан. До квантизации заявлены результаты HumanEval+ 84,2%, MBPP+ 89,2% и SWE-bench Verified 44,0%, однако эти показатели относятся к варианту NVFP4A16 и могут не отражать качество GGUF-версий. Ограничениями являются потеря части экспертов и удаление MTP- и визуальной компонентов, а также необходимость достаточно нового программного окружения. Модель распространяется по лицензии MIT, унаследованной от базовой модели; pruning выполнен методом REAP с исправлением перенормировки маршрутизатора.