II.2Создание и понимание программного кода

Horus Cyber Nano 1.0 — компактная мультимодальная модель с открытыми весами от TokenAI, предназначенная для задач кибербезопасности и инженерной работы. В README указана архитектура vision-language модели с причинным декодером Mixture-of-Experts; метаданные относят её к семейству Kimi VL и указывают реализацию KimiVLForConditionalGeneration. Модель принимает текст и изображения и формирует текстовые ответы. Модель предназначена для проверки исходного кода на уязвимости, анализа и устранения проблем безопасности, рассуждений о разрешённых red-team проверках, работы с терминалом и анализа скриншотов, кода и вывода команд. Метаданные также указывают поддержку чата и кода. README приводит результаты тестов, но отмечает, что протоколы оценки могут различаться между поставщиками. Указана лицензия TokenAI Custom License (в метаданных — other); перед использованием следует проверить её условия. README не приводит размер модели и длину контекста. Модель может галлюцинировать или давать непоследовательные ответы о собственной идентичности; технические выводы и предложения по исправлению следует проверять.

Hunyuan-0.5B-Instruct — компактная инструктивная языковая модель Tencent, дообученная на базе tencent/Hunyuan-0.5B-Pretrain. Это плотная авторегрессионная модель семейства Hunyuan V1 Dense с 463,5 млн параметров, доступная в формате safetensors и предназначенная для генерации текста в диалоговом режиме. Модель подходит для ответов на запросы и инструкций, рассуждений, задач по математике и коду, а также для агентных сценариев с интерфейсом вызова инструментов. Она поддерживает режимы быстрого и пошагового рассуждения и контекст до 262 144 токенов; в README также отмечены Grouped Query Attention и варианты квантования для эффективного развёртывания. В метаданных не перечислены поддерживаемые естественные языки, поэтому языковую специализацию определить нельзя. Модель относится к линейке общего назначения, а приведённые в README результаты тестов относятся к отдельным оценкам и не гарантируют качество на конкретных запросах. Для этой модели в предоставленных данных не указана лицензия.

Infinity-Instruct-3M-0625-Yi-1.5-9B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная следовать инструкциям. Это плотная авторегрессионная модель семейства Yi-1.5 с 8,6 млрд параметров, рассчитанная на генерацию текста и диалог в формате чата. Контекст составляет 4096 токенов; для работы используются веса SafeTensors. Модель дообучена на наборах Infinity-Instruct-3M и Infinity-Instruct-0625 без обучения с подкреплением на основе отзывов людей (RLHF). Она предназначена для ответов на вопросы и многошагового диалога, включая повседневные запросы, математику и код. Авторы сообщают о результатах на бенчмарках AlpacaEval 2.0 и MT-Bench. В карточке указана лицензия Apache-2.0, однако README ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение. Авторы также предупреждают, что точность ответов не гарантируется.

Goekdeniz-Guelmez/Josiefied-Qwen2.5-14B-Instruct-abliterated-v4-gguf — текстовая инструкционная языковая модель, разработанная и профинансированная Gökdeniz Gülmez. Она основана на Qwen/Qwen2.5-14B-Instruct, дополнительно дообучена на пользовательском наборе данных и модифицирована для снижения склонности к отказам. Модель предназначена для диалогов, ответов на вопросы, программирования и выполнения широкого круга пользовательских задач. Модель относится к архитектуре qwen2 и имеет размер 14 млрд параметров. Указаны английский и немецкий языки, а также другие языки без уточнения. Репозиторий содержит GGUF-вариант, включая файл с квантованием Q4_K_M; в примере конфигурации Ollama задан контекст до 32 768 токенов. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. К сильным сторонам относятся инструкционная настройка, поддержка диалогового шаблона, интеграция с Ollama и OpenWebUI, а также ориентация на менее ограниченные ответы. При этом README не содержит результатов тестирования, точных сведений о качестве, аппаратных требованиях или подробной оценки безопасности. Разработчик предупреждает об использовании на собственный риск; поведение модели может быть менее безопасным и предсказуемым из-за удаления отказов. Лицензия указана как Apache 2.0.

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX. Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM. Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский. Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

bark07/kanana-1.5-8b-instruct-2505-Persona-Merged — дообученная разработчиком bark07 диалоговая текстовая модель на архитектуре Llama, основанная на kakaocorp/kanana-1.5-8b-instruct-2505. Она предназначена для генерации текста в формате диалога; исходная модель также поддерживает программирование, математику и вызов инструментов. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель опубликована в формате safetensors и обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Лицензия — Apache-2.0. Карточка не описывает отдельные характеристики обучения Persona или сравнительные результаты.

luckysong777 дообучил Kanana 1.5 Instruct 8B — плотную Llama-модель для генерации текста и диалогового взаимодействия. Модель содержит 7,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. В метаданных указаны интерфейс вызова инструментов и английский язык; README сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель подходит для диалоговых сценариев и генерации текста, унаследовав возможности базовой kakaocorp/kanana-1.5-8b-instruct-2505, включая программирование, математику и вызов инструментов. Распространяется по лицензии Apache-2.0. README не описывает отдельную специализацию этого дообучения или его сравнительное качество.

Apollo Raines представляет эту модель как вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze для усиления следования контексту и аналитического рассуждения. По README, изменения внесены непосредственно в веса без дополнительного обучения; метаданные каталога классифицируют происхождение как дообучение. Модель предназначена для диалоговой генерации текста и анализа предоставленных материалов с опорой на контекст. Она может отвечать на вопросы, объяснять вычисления и писать код; карточка также указывает интерфейс вызова инструментов. Модель использует плотную архитектуру LlamaForCausalLM, распространяется в формате safetensors, имеет 7,5 млрд параметров по метаданным и контекст до 131 072 токенов. В карточке указан английский язык; базовая Llama 3.1 8B Instruct описана как многоязычная. Автор предупреждает, что публичная версия намеренно ослаблена и выпущена как демонстрация возможностей jBlaze. Лицензия — llama3.1.

DarqueDante/LLama-3-Mega-Dolphin-2.9.1-120b — разговорная языковая модель на архитектуре Llama 3, созданная слиянием через mergekit из двух копий Dolphin 2.9.1 Llama 3 70B. Модель содержит 120,8 млрд параметров и рассчитана на генерацию текста и диалог с шаблоном ChatML; она принимает текстовые запросы и выдаёт текстовые ответы. Модель предназначена для универсального ассистирования в чате. Данные обучения связаны с диалогами, программированием, математическими задачами и вызовом функций; это указывает на соответствующие сценарии применения, но карточка не приводит отдельной оценки качества по ним. Заявленная длина контекста — 8192 токена, основной язык карточки — английский. В репозитории указаны веса safetensors и библиотека Transformers. Лицензия в предоставленных сведениях не указана, поэтому условия использования определить нельзя.

MedIT-Mesh-3B-Instruct — дообученная инструктивная языковая модель, разработанная MedIT Solutions на базе microsoft/Phi-3.5-mini-instruct. Она содержит 3,7 млрд параметров и предназначена для диалогов и генерации текста, в том числе в сценариях с ограниченными ресурсами и требованиями к низкой задержке. По данным карточки, дополнительное постобучение улучшило многоязычные и многоходовые диалоги, а также рассуждения в задачах программирования, математики и логики. Модель использует плотную архитектуру Phi-3 и принимает текст, формируя текстовые ответы; заявленная длина контекста — 4096 токенов. Карточка указывает английский язык, а описание заявляет многоязычное применение без перечисления дополнительных языков. Модель распространяется по лицензии MIT. Перед применением в конкретной задаче следует оценить точность, безопасность и справедливость ответов.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

Mengzi3-13B-Base — базовая языковая модель Langboat на архитектуре Llama с 13,3 млрд параметров. Она продолжительно обучалась на многоязычном корпусе объёмом в триллионы токенов, включающем веб-страницы, энциклопедии, социальные сети, СМИ, новости и открытые наборы данных. Модель предназначена для генерации текста и дальнейшей адаптации под пользовательские задачи; карточка отмечает сильные способности в китайском языке и поддержку других языков. Модель может служить основой для приложений генерации текста, а также задач по математике и программированию. В карточке приведены сравнительные результаты бенчмарков, но они не гарантируют качество на конкретных пользовательских данных. Контекст составляет 8192 токена. Репозиторий содержит веса SafeTensors, а лицензия — Apache-2.0. Разработчики предоставляют модель «как есть» и возлагают ответственность за её применение на пользователей.

Meta-Llama-3-8B-Instruct-GGUF — это квантизированное представление модели Meta-Llama-3-8B-Instruct в формате GGUF, подготовленное пользователем brittlewis12 на основе оригинальной модели Meta. Модель разработана Meta и относится к семейству Llama 3. Она предназначена для генерации текста и диалоговых сценариев, включая локальные приложения и ассистентов, работающих через llama.cpp и совместимые инструменты. Модель использует авторегрессионную оптимизированную архитектуру Transformer и содержит около 8 миллиардов параметров. Instruction-tuned версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Указан английский язык; поддерживается только текстовая модальность. Формат GGUF и внесённые улучшения токенизации упрощают использование в локальных средах, включая устройства Apple, однако конкретные требования к памяти и производительности в README не указаны. Сильными сторонами являются диалоговая настройка, относительно компактный размер и заявленные результаты оригинальной модели на тестах знаний, программирования и математики. Ограничениями выступают отсутствие сведений о характеристиках конкретных уровней квантизации, размере контекста и качестве работы на других языках, а также возможные ошибки и ограничения безопасности, свойственные генеративным языковым моделям. Лицензия указана как Llama 3 с отдельными условиями Meta; подробности приведены в лицензии оригинальной модели.

MiniCPM5-2B-GGUF — это набор общественных GGUF-квантизаций плотной языковой модели MiniCPM5-2B, разработанной OpenBMB и преобразованной в формат GGUF автором ngquocvinh. Релиз предназначен для локального запуска через llama.cpp и совместимые среды, включая Ollama и LM Studio, а также для создания локальных ассистентов, coding agents, сценариев с использованием инструментов и развёртывания на устройствах с ограниченными ресурсами. Релиз является только конвертацией и квантизацией исходной модели без дополнительного обучения, дообучения, объединения весов или иных изменений параметров. Модель использует архитектуру LlamaForCausalLM, содержит около 2,52 млрд параметров, 42 слоя и GQA с 16 query-heads и 2 KV-heads. Нативная длина контекста составляет 131 072 токена. В метаданных указаны английский и китайский языки. Поддерживаются генерация текста, рассуждения и официальный шаблон чата с thinking и XML-стилем вызова инструментов, однако поведение tool calling в этом релизе отдельно не сертифицировано. Доступно несколько уровней квантизации: от Q8_0 и Q6_K с наибольшей близостью к BF16-версии до более компактных вариантов с меньшей точностью. Чем сильнее сжатие, тем ниже требования к ресурсам, но тем заметнее отклонение поведения от исходной модели; экстремально низкие уровни, такие как Q1_0 и некоторые Q2-варианты, демонстрируют существенную потерю качества по приведённым измерениям. Релиз распространяется по Apache License 2.0 с требованием сохранять атрибуцию OpenBMB и лицензию при перераспределении. Это общественная квантизация, не официальный релиз и не одобрение OpenBMB.

MoziAI-35B-A3B-MOE — локальная мультимодальная модель, разработанная командой китайского финансового автора Чэнь Юймо. Она создана на базе Ornith-1.5-35B-A3B с архитектурой семейства Qwen3.5/Qwen3.6 и ориентирована на финансовые задачи, программирование, анализ данных, создание текстов, работу с инструментами и агентами. Модель распространяется в формате GGUF и поддерживает llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру объёмом 35 млрд параметров: заявлены 56 маршрутизируемых экспертов и один общий эксперт, при этом на токен активируется 8 экспертов. Самостоятельная технология квантования MoziSmartBit уменьшает размер модели примерно до 15,5 ГБ, что упрощает запуск на потребительских видеокартах. Заявлена поддержка контекста до 128K токенов, визуального ввода, вызова инструментов, многоагентных сценариев и около 201 языка и диалекта; отдельно усилены китайский и финансовый языки. Сильные стороны модели — специализация на финансовых вопросах, рыночном и финансовом анализе, разработке количественных стратегий, работе с финансовыми источниками, а также возможности локального запуска, сохранения конфиденциальности данных и интеграции с IDE и агентскими платформами. К ограничениям относятся зависимость производительности от оборудования, необходимость CPU-выгрузки на некоторых видеокартах и возможная потеря качества из-за квантования. Модель позиционируется как uncensored и не содержит встроенных ограничений на тематику ответов, поэтому результаты требуют контроля пользователя. Для самой модели указана лицензия other; базовая модель заявлена под MIT.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

MyAwesomeModel-TestRepo — модель на базе BERT от автора qf-iquest, опубликованная на Hugging Face. Метаданные указывают задачу извлечения признаков, библиотеку Transformers и формат PyTorch; лицензия — MIT. Модель предназначена для получения признаковых представлений текста, например для последующей обработки в NLP-системах. В карточке и метаданных нет надёжных сведений о размере модели, длине контекста, языковой поддержке или конкретных сценариях применения. Название репозитория указывает на тестовый характер, а результаты поиска содержат противоречивые описания, поэтому заявления о рассуждениях, генерации текста и бенчмарках нельзя считать подтверждёнными.

Это квантованная версия модели Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16, преобразованная в формат GGUF для запуска с llama.cpp. Базовая модель связана с AEON-7/Nemotron-3-Nano-Omni-AEON-Ultimate-Uncensored-BF16; репозиторий создан kainecorneko, а конвертацию выполнили через пространство GGUF-my-repo. Модель предназначена для диалогового и инструкционного использования. В метаданных заявлены мультимодальность, работа с текстом, изображениями и аудио, а также функции reasoning, coding и tool calling; README описывает запуск через llama.cpp. Метаданные указывают английский язык и формат GGUF BF16, но точный размер и длина контекста в предоставленных данных не приведены. Метка uncensored указывает на снятые ограничения отказов, поэтому ответы могут включать нежелательное содержание. Лицензия обозначена как other; конкретные условия следует сверить с карточкой базовой модели. Это конверсия в GGUF, а не основание считать репозиторий отдельным дообучением.

M4-ai neural-chat-mini-v2.2-1.8B — языковая модель-ассистент на архитектуре Qwen2, дообученная на tau-1.8B с помощью SFT и DPOP. Модель содержит 1,5 млрд параметров, принимает текст и рассчитана на диалоговое использование; заявленная длина контекста — 32 768 токенов. Модель предназначена для ответов на вопросы и других общих задач ассистента, включая рассуждения, математику, программирование и написание текстов. В обучающую смесь вошли наборы данных для диалогов, кода, математики и естественных наук. В карточке заявлены английский и, возможно, китайский языки; метаданные указывают английский. Разработчик указывает лицензию tongyi-qianwen; метаданные классифицируют лицензию как other. В карточке отмечены риски предвзятости и ограничения, а результаты оценивания ещё не опубликованы. Рекомендации по ответственному использованию требуют дополнительной проработки.

Nous-Hermes-13b — языковая модель Nous Research, дообученная совместно с Teknium и Karan4D на более чем 300 тысячах инструкций. В её основе Llama с плотной архитектурой и примерно 12,9 млрд параметров; модель распространяется в формате PyTorch. Она принимает текстовые инструкции в формате Alpaca и предназначена для генерации текста и диалоговых ответов. Модель обучалась преимущественно на синтетических ответах GPT-4 и наборах инструкций по общим темам, ролевым сценариям, программированию, математике и естественным наукам. Карточка заявляет длинные ответы и низкий уровень галлюцинаций, но не приводит в предоставленных материалах независимой проверки этих свойств. Контекст модели — 2048 токенов; карточка указывает английский язык. Лицензия — GPL.

Это версия NVIDIA Nemotron 3 Nano 4B в формате GGUF BF16, опубликованная DevQuasar на основе nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16. Модель предназначена для генерации текста и диалогового общения; компактная базовая модель NVIDIA рассчитана также на рассуждения, программирование и агентные сценарии на локальных устройствах. В репозитории указано преобразование в GGUF BF16. Карточка не описывает отдельные настройки, результаты оценки или дополнительные ограничения этой версии. Лицензия в предоставленных данных не указана.

Occiglot-7B-FR-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер MistralForCausalLM с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель настроена для диалогового взаимодействия по шаблону ChatML и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и выполнения инструкций на французском и английском языках, включая задачи с кодом. Обучающие данные были поровну распределены между французским и английским; в README приведены предварительные результаты оценивания, причём результаты для французского следует трактовать осторожно из-за частично машинного перевода тестов и англоязычных запросов. Это ранний выпуск исследовательского проекта. Модель не проходила выравнивание по безопасности и может выдавать проблематичные ответы. Лицензия — Apache 2.0.

OpenAi-GPT-oss-36B-BrainStorm20x-uncensored — текстовая генеративная модель DavidAU на базе huizimao/gpt-oss-20b-uncensored-bf16 с добавленным адаптером Brainstorm 20x. Автор заявляет улучшения в общих ответах, нестандартном рассуждении и программировании. Архитектура — GPT-OSS с механизмом Mixture of Experts; карточка указывает 36 млрд параметров после добавления адаптера, тогда как метаданные каталога приводят 2,5 млрд параметров. Модель работает с контекстом до 131 072 токенов и рассчитана на генерацию текста, диалог, решение задач, мозговой штурм и написание кода. Модель ориентирована на пользователей, которым нужны свободная генерация и ответы с меньшим числом отказов, включая творческие и взрослые сценарии. По описанию автора, для получения желаемого уровня откровенности иногда требуются подробные инструкции; качество генерации может быть неровным, а повторные запуски и настройка параметров влияют на результат. Указана лицензия Apache-2.0.

FuseAI/OpenChat-3.5-7B-Mixtral — диалоговая языковая модель, выпущенная проектом FuseChat при Университете Сунь Ятсена. Это целевая модель, полученная на этапе попарного слияния знаний OpenChat-3.5-7B с другой чат-моделью. В репозитории указаны 7,1 млрд параметров, архитектура Mistral с плотной структурой и контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения текстовых инструкций общего назначения. README описывает подход FuseChat: модели обучаются для переноса знаний, а затем объединяются в пространстве параметров; для оценки использовались многоходовые диалоги MT-Bench по письму, ролевым сценариям, рассуждениям, математике, программированию, STEM и гуманитарным темам. Карточка позиционирует модель как компонент для дальнейшего слияния с другими целевыми моделями FuseChat. Модель принимает текст и генерирует текст. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache 2.0. README не сообщает отдельные результаты оценки именно этого чекпойнта, поэтому показатели итоговой FuseChat-7B-VaRM не следует переносить на него.

OrakzaiX — это общественный GGUF-релиз модели класса 8B на архитектуре Llama, поддерживаемый и квантизированный Faisal Orakzai в рамках экосистемы Orakzai. В метаданных указана базовая модель meta-llama/Llama-3-8B-Instruct; данных о самостоятельном обучении новой фундаментальной модели нет. Модель предназначена для локальной генерации текста и диалоговых сценариев: создания частных ассистентов, офлайн-прототипирования, разработки инструментов, суммаризации, извлечения технической информации, объяснения кода, автоматизации и экспериментов с многоагентными рабочими процессами. Формат GGUF рассчитан на запуск через совместимые средства, включая llama.cpp, на потребительском оборудовании, рабочих станциях, периферийных устройствах и частных серверах. Локальное выполнение может помочь сохранять запросы и ответы в контролируемой среде, однако безопасность зависит от настроек и окружения. Доступны варианты квантизации от Q2_K до Q8_0; рекомендуемым начальным вариантом указан Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Фактические требования к ресурсам выше размера файла из-за контекста, KV-кэша и служебных буферов. Языки, размер контекстного окна, результаты бенчмарков, точность в специализированных областях, надежность вызова инструментов и возможности автономной работы не указаны. Лицензия обозначена как other; перед распространением или коммерческим использованием необходимо проверить условия лицензии OrakzaiX и базовой модели Meta.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Mungert/Phi-4-mini-instruct-GGUF — набор GGUF-версий инструкционной языковой модели Phi-4-mini-instruct, разработанной Microsoft и опубликованный пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и кода. Доступны варианты для запуска на GPU, CPU и устройствах с ограниченной памятью. Представлены файлы в форматах BF16 и F16, а также квантованные варианты Q8_0, Q6_K, Q4_K, Q4_0 и IQ3. Квантование уменьшает потребление памяти ценой возможного снижения точности. Заявлена поддержка multilingual-сценариев и языков, включая английский, русский, китайский, японский, корейский, арабский, французский, немецкий, испанский, португальский, украинский и другие. Точный размер модели, архитектура, максимальная длина контекста и мультимодальные возможности в README не указаны; по описанию это текстовая модель. Сильные стороны набора — широкий выбор точности и размера файлов, возможность локального запуска на CPU или GPU и адаптация под устройства с разными ограничениями памяти. Более низкобитные варианты экономичнее, но могут уступать полноформатным версиям по качеству. В README не приведены результаты тестов, точные требования к памяти и подробные ограничения поведения модели. Лицензия — MIT.

Phi-4-mini-instruct-INT8-INT4 — квантизированная версия модели Microsoft Phi-4-mini-instruct, подготовленная командой PyTorch с использованием torchao. Это авторегрессионная текстовая модель для генерации текста, диалогов, а также задач, связанных с программированием и математикой. В карточке указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Модель использует 8-битные эмбеддинги и динамические 8-битные активации вместе с 4-битными весами линейных слоёв (INT8-INT4). Такой вариант ориентирован на запуск на мобильных устройствах через ExecuTorch. Для iPhone 15 Pro заявлена скорость около 17,3 токена в секунду и потребление примерно 3206 МБ памяти. Предоставленный файл model.pte экспортирован с максимальной длиной последовательности и контекста 1024 токена; изменить это значение можно повторным экспортом. Сильной стороной модели является снижение требований к памяти и возможность локального мобильного развертывания при сохранении назначения исходной instruct-модели. Ограничение текущей поставки — регрессия поддержки токенизатора Phi-4 в официальных демонстрационных мобильных приложениях ExecuTorch, поэтому в них модель пока не запускается; при использовании собственного приложения и runner загрузка файла .pte возможна. Модель распространяется по лицензии MIT.

Phi-4 o1 — дообученная модель prithivMLmods на базе Microsoft Phi-4, предназначенная для генерации текста и решения задач, требующих рассуждений. По описанию автора, при дообучении использовались синтетические данные с примерами пошагового решения; модель ориентирована на математику, логику, научные вопросы и разбор сложных задач. В метаданных указаны 14,1 млрд параметров, плотная архитектура LlamaForCausalLM, контекст до 16 384 токенов и формат safetensors. Модель поддерживает диалог и задачи программирования; README также заявляет многоязычные сценарии, но метаданные подтверждают только английский язык. Модель подходит для образовательных объяснений, ответов на вопросы, создания текстов и вспомогательной работы с кодом. Возможны ошибки в неоднозначных задачах, предвзятость и устаревшие сведения; для чувствительных решений необходима проверка человеком. Для запуска требуются значительные вычислительные ресурсы. Лицензия — MIT.

Quartz-R1-8B-Genesis-i1-GGUF — квантизированная версия текстовой модели Vaultek/Quartz-R1-8B-Genesis, подготовленная пользователем mradermacher в формате GGUF. Модель ориентирована на генерацию текста, рассуждения, диалоговые сценарии, программирование и задачи, связанные с математикой; в метаданных также указана совместимость с форматами ChatML и направлениями вроде SWE-bench. Заявлена поддержка русского и английского языков. Модель имеет около 8 миллиардов параметров в базовой версии, однако точная архитектура и размер контекстного окна в README не указаны. Репозиторий содержит набор вариантов квантизации i1, включая IQ- и Q-семейства, с размером файлов примерно от 2,1 до 6,7 ГБ; выбор варианта позволяет учитывать компромисс между качеством, скоростью и требованиями к памяти. В качестве обучающих данных перечислены наборы для образовательных текстов, программного кода, математики, диалогов, рассуждений и русскоязычной дистилляции. Сильной стороной модели является широкий выбор квантизаций, благодаря которому её можно запускать на системах с различным объёмом памяти; для баланса скорости, размера и качества автор рекомендует i1-Q4_K_M. Ограничения связаны с потерями качества у низкобитных вариантов, а также с отсутствием в README подробных результатов бенчмарков, сведений о точной архитектуре, контекстном окне и мультимодальных возможностях. Лицензия в предоставленных данных не указана.