II.1Анализ требований и архитектура ПО

K2-Horizon-MoVA-36B-A4B-GGUF — это набор общественных GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной IFM и опубликованной пользователем ngquocvinh. Модель предназначена для запуска через llama.cpp и задач генерации текста, рассуждений, программирования, агентских сценариев и работы с длинным контекстом. Исходная модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values attention (MoVA): всего заявлено 36 млрд параметров, из которых на каждый токен активируется около 4 млрд. Указано нативное контекстное окно до 524 288 токенов и поддержка английского языка. В набор входят варианты квантизации от Q8_0 до крайне компактных профилей Q1_0; они различаются размером файлов, требованиями к памяти и близостью поведения к эталонной BF16-модели. Практическими вариантами названы Q5_K_M с повышенной точностью, Q4_K_M как сбалансированный профиль и IQ3_M как компактный вариант с квантизацией с учётом важности. Измерения на ограниченном наборе WikiText показывают высокое совпадение старших вариантов с BF16, однако не являются прямой оценкой сохранённых способностей. Профили с экстремальным сжатием, особенно Q1_0, существенно отклоняются от эталона и должны рассматриваться как экспериментальные. Для работы требуется совместимая сборка llama.cpp; длинный контекст может потребовать значительно больше памяти, а полная выгрузка модели на ускоритель может быть недоступна. В метаданных указана лицензия Apache-2.0. README описывает именно квантизированные GGUF-файлы и не содержит полного набора результатов или подробностей исходной модели; за ними рекомендуется обращаться к официальной карточке IFM/K2-Horizon-MoVA-36B-A4B.

KAI-7B-Instruct-v0.1 — диалоговая языковая модель Keynote Technology на 7,1 млрд параметров с архитектурой MistralForCausalLM. Это дообученная инструктивная версия семейства KAI-7B, основанного на KAI-7B и Mistral-7B; в обучении использовалась смесь наборов данных для чата и выполнения инструкций, включая PLANE-2K и RedPajama-Data-V2. Модель принимает текст и генерирует текст, поддерживает сценарии чата, следование инструкциям и работу с кодом. Заявленная длина контекста — 32 768 токенов. Модель предназначена для развёртывания в приложениях, которым нужны диалоговые ответы, выполнение текстовых инструкций и помощь с кодом. Карточка заявляет улучшенное следование инструкциям, но не приводит независимых оценок качества. Лицензия — Apache 2.0; разработчик отдельно запрещает использовать модели KAI для разжигания ненависти против людей или групп.русский язык явно не заявлен среди поддерживаемых языков.

Это производный чекпойнт DeepSeek-V4.1-Flash, опубликованный drowzeys и подготовленный для запуска на компьютере Mac Studio с M3 Ultra и 256 ГБ памяти через oMLX и MLX. В README описана модель DeepSeek-V4.1-Flash размером 763 млрд параметров с архитектурой MoE и разреженным вниманием; для этого варианта веса маршрутизируемых экспертов в 27 из 40 слоёв переквантованы с 3 до 2 бит, чтобы снизить занимаемую память. Метаданные указывают формат safetensors и базовый репозиторий Jundot/DeepSeek-V4.1-Flash-oQ3e-mtp. Модель предназначена для генерации текста, в том числе кода и длинных ответов, с запуском локально на Apple Silicon. README сообщает о проверке контекста до 404 805 токенов и приводит замеры скорости для прозы и кода на конкретной конфигурации M3 Ultra. Для работы требуются значительный объём объединённой памяти и настройка системного лимита памяти GPU; описаны также ограничения пропускной способности при параллельных запросах и снижение точности спекулятивного декодирования из-за квантизации. Лицензия в предоставленных данных не указана.

Kiwen1.2-27B — дообученная языковая модель с 27 миллиардами параметров, созданная разработчиком beyoru на основе Qwen3.8-27B. Модель обучалась на длинных рассуждениях из Kimi K3 с применением RLVR и ориентирована на улучшение качества рассуждений, следования инструкциям и надёжности выполнения задач. Модель предназначена для математических и логических задач, программирования, использования инструментов, агентских сценариев и других задач, требующих последовательного рассуждения. Она поддерживает режимы с включённым и отключённым анализом: режим рассуждений рекомендуется для сложных задач, а отключение — для извлечения данных, классификации и форматирования. В README указана возможность работы с контекстом до 262 144 токенов при использовании SGLang, однако сведения о языковом охвате и фактических мультимодальных возможностях не приведены. Заявленное преимущество модели — сочетание относительно компактного размера с акцентом на reasoning, coding, tool use и instruction following; во внутреннем тесте из 100 агентских задач она показала результат 81,2%. Эти показатели не подтверждены независимым публичным бенчмарком. Ограничением является отмеченное разработчиком снижение качества при использовании с dflash2; также в карточке нет подробных данных об архитектуре, датасетах и результатах на стандартных тестах. Модель распространяется по лицензии Apache-2.0 и основана на Qwen3.8-27B, также выпущенной под Apache-2.0.

Laguna XS 2.1-FP8 — текстовая Mixture-of-Experts модель, разработанная poolside для агентного программирования и длительных рабочих процессов на локальном компьютере. Она предназначена для генерации и анализа кода, выполнения многошаговых задач с инструментами и работы в сценариях, требующих продолжительного контекста и межшагового рассуждения. Модель содержит 33 млрд параметров, из которых 3 млрд активируются для каждого токена, и включает 256 экспертов с одним общим экспертом. Архитектура состоит из 40 слоёв: 30 используют Sliding Window Attention с окном 512 токенов, а 10 — глобальное внимание; применяется смешанное соотношение SWA и глобального внимания 3:1, а также per-head gating и rotary scales. Контекстное окно составляет 262 144 токена. Модель работает в режиме text-to-text, поддерживает interleaved thinking между вызовами инструментов и позволяет включать или отключать режим рассуждений для отдельных запросов. Вариант FP8 использует FP8-квантизацию KV-кэша, что снижает требования к памяти. К сильным сторонам относятся компактность для модели такого класса, низкие требования к KV-кэшу, пригодность для локального запуска и специализация на агентных задачах разработки ПО. В README не указаны поддерживаемые языки программирования или естественные языки. Приведённые результаты зависят от конкретной методики оценки и параметров запуска; заявлены показатели 70,9% на SWE-bench Verified, 63,1% на SWE-bench Multilingual, 47,6% на SWE-Bench Pro и 37,5% на Terminal-Bench 2.0. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и модификацию для коммерческих и некоммерческих целей.

alpharomercoma/LFM2.5-2.6B-heretic — текстовая модель, созданная на основе LiquidAI/LFM2.5-2.6B с помощью направленной абляции отказного направления в остаточном потоке и подбора весов абляции по слоям. Веса объединены, поэтому модель загружается как обычная Lfm2ForCausalLM; размер составляет 2,6 млрд параметров, а контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В ней сохранены шаблон чата и токены вызова инструментов базовой модели; многоязычные возможности и сценарии локального запуска, включая RAG и длинноконтекстные агентные задачи, унаследованы от неё. В репозитории находятся веса Safetensors для Transformers, а не готовая скомпилированная сборка ExecuTorch. Абляция снижает склонность модели отказывать, стараясь сохранить близость к исходному поведению по KL-дивергенции. При этом намеренно удалена защитная настройка базовой модели, поэтому ответы могут включать небезопасный контент. Лицензия обозначена как «other»; README не уточняет её условия.

Liberalis Cogitator Llama 3.1 8B — разговорная текстовая модель Locutusque, дообученная на базе meta-llama/Llama-3.1-8B примерно на 450 тысячах диалогов, задач и историй. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогов; заявленная длина контекста — 131 072 токена. В карточке указана поддержка английского языка. Модель ориентирована на решение STEM- и логических задач, программирование, ролевые диалоги, рассказы и построение вымышленных миров. В обучающих данных также использовались синтетические диалоги пациента и психолога, однако карточка не подтверждает пригодность модели для профессиональной психологической помощи. Автор предупреждает, что ответы могут быть ошибочными, необычными или спорными и что модель не знает актуальных событий. Лицензия — Llama 3.1; её условия определяются лицензией Meta Llama 3.1.

Liberated-Qwen1.5-14B — языковая модель AbacusAI и Eric Hartford, дообученная на базе Qwen/Qwen1.5-14B. Это плотная авторегрессионная модель семейства Qwen, содержащая 13,4 млрд параметров. Она предназначена для диалогов и следования системным инструкциям, в том числе в длинных многоходовых беседах и при необычных или механических инструкциях. Модель обучалась на открытых наборах данных, включая SystemChat, OpenHermes-2.5 и наборы Code-Feedback; используется формат диалога ChatML. Базовая модель поддерживает контекст до 32 768 токенов, однако при дообучении использовались входные последовательности длиной 8 000 токенов, поэтому качество на более длинном контексте может варьироваться. В карточке указана лицензия other, а README сообщает, что модель подчиняется лицензии tongyi-qianwen. В обучающих данных не добавлялись ограничения или цензурирование; перед предоставлением модели пользователям автор рекомендует самостоятельно настроить слой выравнивания. Результаты оценивания в карточке не приведены.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

llm-jp-4-32b-a3b-thinking — языковая модель семейства LLM-jp-4, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это Transformer-модель с архитектурой Qwen3 MoE: 32 слоя, 128 экспертов, из которых активируются 8; общий размер составляет около 32,1 млрд параметров, а число активных параметров — около 3,8 млрд. Модель предназначена для генерации текста и диалогового общения, в том числе для задач, требующих рассуждений. Контекстное окно составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а постобучение включало SFT и DPO без обучения с подкреплением. Карточка указывает японский и английский языки. Для корректного использования следует применять прилагаемый токенизатор: хотя шаблон чата совместим с форматом OpenAI Harmony, токенизация библиотекой openai-harmony напрямую не поддерживается. Разработчики предупреждают, что модель находится на ранней стадии исследований и разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

LongCat-Flash-Lite — языковая модель Meituan для генерации текста и диалогов. Она предназначена для агентных сценариев, вызова инструментов и задач программирования. Архитектура — LongcatFlashNgramForCausalLM; в README модель описана как MoE с N-граммными эмбеддингами, примерно 68,5 млрд общих параметров и около 2,9–4,5 млрд активных в зависимости от вычисления. Метаданные Hugging Face указывают 2,5 млрд параметров, поэтому оценка общего размера расходится с описанием в README. Модель поддерживает контекст до 327 680 токенов по метаданным; README указывает 256 тыс. токенов с методом YaRN. Для запуска через Transformers в README рекомендуется минимум два GPU с 80 ГБ видеопамяти каждый; также заявлена поддержка развёртывания в SGLang. В репозитории указаны веса Safetensors и лицензия MIT. Разработчик отмечает, что модель не разрабатывалась и не оценивалась для всех возможных прикладных задач.

Macaron-V1-Preview-744B-Merged — текстовая генеративная модель от MindLab Research, созданная на базе GLM-5.1 и дополнительно обученная с помощью MinT. Это объединённый полный чекпойнт предварительной версии Macaron-V1-Preview; модель предназначена для диалогов и агентных сценариев с использованием инструментов. Архитектура относится к семейству GLM MoE DSA; в репозитории указано 30,4 млрд параметров и контекст длиной до 202 752 токенов. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Чекпойнт распространяется в формате safetensors и загружается через Transformers. Он не эквивалентен полной маршрутизируемой системе Mixture-of-LoRA из релиза на 749 млрд параметров, поэтому поведение может отличаться от неё. Лицензия — MIT.

Matter-0.1-Slim-7B-C — чат-модель на архитектуре Mistral, созданная командой 0-hero путём полного дообучения Mistral 7B на версии slim-C набора данных Matter. Набор собран из более чем 35 датасетов и содержит свыше 6 млрд токенов; модель обучалась три эпохи с помощью Axolotl. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова функций. Для общения используется формат ChatML. Размер модели — 7,1 млрд параметров, родная длина контекста — 32 768 токенов. Доступны веса PyTorch и Safetensors; лицензия — Apache 2.0.

Карточка модели 43nikolayvladimirovich/MiniCPM5-1B-SFT на Hugging Face совпадает с карточкой openbmb/MiniCPM5-1B-SFT, поэтому описание составлено по ней. MiniCPM5-1B-SFT — контрольная точка модели серии MiniCPM5 от OpenBMB, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM: в метаданных указано 837,6 млн параметров, а карточка сообщает о 24 слоях и 16 головах запросов и 2 головах ключей и значений. Модель принимает текст и выдаёт текст; контекст — до 131 072 токенов. Карточка модели указывает английский и китайский языки. SFT-чекпойнт предназначен для локальных помощников, генерации кода, агентных сценариев с вызовом инструментов и сложных рассуждений. В серии предусмотрены режимы ответа с рассуждением и без него; этот вариант обучен только методом SFT и предшествует этапам RL и OPD. Поддерживаются запуск через Transformers, vLLM и SGLang, а также дообучение с помощью ресурсов проекта. Заявления карточки о сравнительных результатах относятся к указанному в ней набору моделей и бенчмарков. Модель распространяется под лицензией Apache-2.0. Она может выдавать неточные, предвзятые или небезопасные ответы; результаты следует проверять, особенно перед применением в ответственных сценариях.

EnlistedGhost/Ministral-3-14B-Instruct-2512-GGUF — это конвертированная и квантованная версия Ministral-3-14B-Instruct-2512 от Mistral AI, опубликованная EnlistedGhost. Модель распространяется в формате GGUF и совместима с Ollama и Llama.cpp. Она предназначена для диалоговых текстовых задач и мультимодального анализа изображений, включая обработку запросов по тексту и изображениям; создавать изображения и обрабатывать аудио или видео она не умеет. Модель имеет 14 млрд параметров, поддерживает мультимодальный режим благодаря vision-проекторам и поставляется с несколькими файлами mmproj. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. В релиз включены варианты F16 и K-квантования с разным соотношением размера и качества. Автор также добавил собственный шаблон чата и скользящее окно контекста для последних восьми взаимодействий, однако фактический доступный размер контекста в README не указан. К сильным сторонам относятся локальный запуск через Ollama или Llama.cpp, поддержка изображений и выбор вариантов квантования. Ограничения включают отсутствие генерации изображений и поддержки аудио или видео, а также возможную потерю качества при квантовании. Модель распространяется по лицензии Apache-2.0.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

RedHatAI/Mistral-7B-Instruct-v0.3-FP8 — квантизированная версия текстовой instruction-модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена прежде всего для англоязычного ассистентского диалога, включая чат-ботов и исследовательские или коммерческие приложения. Дата выпуска — 26 июня 2024 года, версия 1.0. Модель использует архитектуру Mistral-7B-Instruct-v0.3 и квантизацию весов и активаций в формат FP8. Квантизации подвергнуты линейные операторы внутри transformer-блоков с применением симметричного масштабирования по тензору. Это примерно вдвое уменьшает число битов на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением. Модель подготовлена для инференса через vLLM версии 0.5.0 и новее; в README также указан контекст длиной 4096 токенов для процедуры оценки и примеров использования. По данным OpenLLM Leaderboard v1, средний результат FP8-версии составляет 65,85 против 66,33 у неквантизированной модели, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничения включают ориентацию на английский язык: использование на других языках указано как выходящее за заявленную область применения. Условия лицензии — Apache 2.0; использование должно соответствовать применимым законам и нормативным требованиям.

llmat/Mistral-7B-Instruct-v0.3-NVFP4 — квантизированная версия инструкционной модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Версия NVFP4 создана с использованием llmcompressor и предназначена для генерации текста и диалоговых сценариев, включая работу через chat-шаблоны и развёртывание с помощью vLLM. Модель содержит 7 миллиардов параметров и использует квантизацию NVFP4 для линейных слоёв; слой lm_head не квантизирован. При калибровке использовались 512 образцов с максимальной длиной последовательности 2048 токенов. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для обслуживания доступны vLLM и OpenAI-совместимый серверный интерфейс. Ключевое преимущество модели — уменьшенный формат представления, потенциально удобный для эффективного развёртывания, при сохранении назначения исходной инструкционной модели. Ограничения связаны с влиянием низкобитной квантизации на качество и с тем, что сведения о фактическом контекстном окне и результатах оценки производительности в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Карточка модели axolotl-ai-co/Mistral-Nemo-Base-2407-chatml на Hugging Face совпадает с карточкой mistralai/Mistral-Nemo-Base-2407, поэтому описание составлено по ней. Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

Mistral_Pro_8B_v0.1 — плотная авторегрессионная языковая модель семейства Mistral, разработанная лабораторией Tencent ARC. По описанию разработчиков, модель расширяет Mistral-7B добавлением блоков Transformer и дообучена на корпусах кода и математики; в метаданных указаны 8,9 млрд параметров, контекст до 32 768 токенов и формат Safetensors. Модель предназначена для генерации текста и широкого круга языковых задач, с особым акцентом на программирование, математику и общие языковые запросы. Она принимает текст и генерирует текст; в карточке указаны английский язык и датасеты по математике, коду и общим текстам. Разработчики приводят результаты сравнительных бенчмарков, но они не гарантируют качество на конкретных пользовательских задачах. Модель распространяется по лицензии Apache-2.0. Она может ошибаться, особенно в узкоспециализированных областях, и наследует возможные смещения обучающих данных.

MobileLLM-Pro — англоязычная инструкционно дообученная языковая модель Meta Reality Labs из семейства MobileLLM, рассчитанная на эффективный запуск на устройствах. Это трансформер на 1,08 млрд параметров с 30 слоями и чередованием локального и глобального внимания; модель принимает и генерирует текст и поддерживает контекст до 128 тыс. токенов. Модель предназначена для диалогов и общих языковых задач, включая ответы на вопросы, переписывание и суммаризацию документов, а также вызов инструментов. В карточке отмечены результаты на бенчмарках по знаниям, следованию инструкциям и программированию. README описывает дистилляцию знаний от Llama 4-Scout в процессе обучения семейства, а метаданные указывают, что этот вариант дообучен на MobileLLM-Pro-base. Для семейства также упомянуты варианты int4-квантизации, но данный репозиторий содержит инструкционный вариант в формате safetensors. Модель предназначена прежде всего для английского языка. Лицензия FAIR Noncommercial Research License ограничивает коммерческое использование; перед внедрением следует проверить её условия.

Ornith-1.0-35B-MTPLX-Vision — мультимодальная модель для чата с текстом и изображениями, собранная Jonandrop на основе моделей Ornith-1.0-35B и упакованная для Apple Silicon. Она сочетает языковую часть Ornith с восстановленной башней зрения и поддерживает обработку изображений; README также заявляет поддержку видеовхода, хотя метаданные Hugging Face указывают задачу image-text-to-text. Архитектура относится к семейству Qwen 3.5 MoE; корпус модели и MTP-головы квантизированы до 4 бит, а башня зрения хранится в bf16. Модель использует MTPLX с многотокенным предсказанием для ускорения генерации и может работать как локальный OpenAI-совместимый сервер на Apple Silicon. Модель подходит для программирования, диалога и вопросов по изображениям в локальном окружении. README приводит измерения скорости на Apple M5 Pro с 64 ГБ памяти; это результаты конкретной конфигурации, а не универсальные гарантии производительности. Лицензия производной модели — MIT; для перенесённых MTP-тензоров также применяются условия Apache-2.0 и NOTICE проекта Qwen3.5-35B-A3B.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

Ornith-1.5-9B-ASHQ1-Remix-GGUF — GGUF-квантованная версия модели Ornith-1.5-9B, опубликованная Soulfate24. Она предназначена для генерации текста и диалогового общения. Модель основана на Ornith AI Ornith-1.5-9B — плотной языковой модели на 9 млрд параметров для программирования, агентных задач, работы с инструментами и длинным контекстом. Вариант ASHQ1-Remix использует активационно-ориентированную квантализацию GGUF; README сообщает о проверке семи уровней квантализации на шести семействах моделей. Лицензия — MIT. Сведения о поддерживаемых языках этой версии не приведены.

Ornith-1.5-9B — плотная языковая модель с 9 млрд параметров, разработанная командой Ornith AI. Она относится к семейству Ornith-1.5 и создана для эффективного развертывания на одной GPU; для мобильных устройств предусмотрен отдельный квантованный вариант Ornith-1.5-9B-Mobile. Модель предназначена для генерации текста, программирования и решения задач, требующих многошагового рассуждения и работы с инструментами. В основе обучения лежит расширенный цикл самоулучшения: модель совместно оптимизирует генерацию задач, построение scaffold и rollouts решений с использованием reinforcement learning. В отличие от подхода с фиксированным набором созданных людьми задач и вручную разработанными harness, система автоматически генерирует новые тренировочные задачи и ищет эффективные стратегии их решения. Ornith-1.5 развивает Ornith-1.0, который был построен на базе Qwen3.5 и Gemma4 с дополнительным continued pretraining, mid-training и post-training. К сильным сторонам относятся компактный для современных моделей размер, возможность развертывания на одной GPU и заметные результаты в задачах программирования: в README указаны оценки 70,6 на SWE-bench Verified, 47,5 на SWE-bench Pro и 46,2–47 на Terminal-Bench 2.1 в зависимости от используемого агента. Данные о поддерживаемых языках, размере контекста, мультимодальности и конкретных архитектурных компонентах не приведены, поэтому их характеристики нельзя установить по этой карточке. Модель распространяется по лицензии MIT.

Ornith-1.5-Cyclos-1M-Uncensored — это мультимодальная модель для диалогов, разработанная на основе семейства Ornith и изменённая автором репозитория с помощью LoRA дообучения. Веса LoRA объединены с базовой моделью; архитектура — Qwen3.5 MoE для условной генерации текста и изображений. Модель принимает текст и изображения и выдаёт текст. Дообучение было сосредоточено на программировании, агентных сценариях, анализе рынков и торговли, классификации содержимого и вызове инструментов. Размер базовой модели — 35 млрд параметров; репозиторий содержит веса BF16 в формате safetensors. Контекст расширен с исходных 262 144 до 1 048 576 токенов с помощью YaRN. Это расширение выполнено для инференса, а не обучено на последовательностях такой длины: качество за пределами исходного контекста не проверялось и может снижаться. В README указана поддержка vLLM и SGLang; для BF16-весов объёмом около 67 ГБ требуется значительная видеопамять, а на описанной системе с 32 ГБ VRAM использовалась выгрузка части весов в оперативную память через vLLM. Аудио модель не поддерживает, заявленных бенчмарков нет. Лицензия — Apache-2.0.

bartowski/Phi-3.5-mini-instruct-GGUF — набор GGUF-квантизаций модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README заявлена мультиязычная поддержка и формат взаимодействия с системными и пользовательскими сообщениями. Доступны варианты от полных весов F32 размером 15,29 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров — примерно от 1,68 до 4,06 ГБ. Квантизации позволяют выбирать компромисс между качеством и требованиями к памяти; отдельные варианты оптимизированы для ARM-инференса. Для запуска рекомендуется использовать llama.cpp или LM Studio и соблюдать указанный формат prompt. Контекст модели, точное число параметров и перечень поддерживаемых языков в предоставленном README не указаны. Сильной стороной набора является широкий выбор уровней квантизации, включая варианты, ориентированные на высокое качество, экономию памяти и ARM-устройства. Ограничения зависят от выбранного варианта: более компактные квантизации могут заметно снижать качество, а некоторые требуют специфической аппаратной поддержки. В метаданных указана лицензия MIT; исходная модель размещена Microsoft.

OpenVINO/Phi-3-mini-4k-instruct-int4-ov — это квантизированная версия Phi-3-mini-4k-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Это инструкционно настроенная языковая модель для генерации текста и диалоговых сценариев; поддерживается инференс через Optimum Intel и OpenVINO GenAI. Ключевые характеристики включают асимметричное INT4-сжатие весов с размером группы 64 и коэффициентом сжатия 1. В названии указано окно контекста 4k. Модель предназначена для запуска в экосистеме OpenVINO, в том числе на CPU, и совместима с OpenVINO версии 2024.4.0 и выше, а также Optimum Intel 1.23.1 и выше. Формат OpenVINO IR и INT4-квантизация могут снизить требования к памяти и упростить развёртывание, однако квантизация способна влиять на качество генерации по сравнению с исходной моделью. Языки, точный размер модели, результаты бенчмарков и подробные ограничения в карточке не указаны; для ограничений рекомендуется обращаться к карточке исходной Phi-3-mini-4k-instruct. Модель распространяется по лицензии MIT.

Phi-4-reasoning-plus-w4a16-llmcompressor — это квантизованная версия языковой модели Phi-4-reasoning-plus, разработанной Microsoft. Модель предназначена для генерации текста и работы с текстовыми запросами, включая задачи рассуждения; исходная архитектура представлена как Phi3ForCausalLM. Модель поддерживает английский язык. Чекпойнт подготовлен компанией AMD для инференса на процессорах AMD EPYC под Linux. Используется 4-битная квантизация весов без квантизации активаций (W4A16): веса представлены в формате INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Для запуска рекомендован стек vLLM 0.26.0, LLM Compressor 0.12.0, ZenDNN 6.1.0, ZenTorch 2.11.0.3 и PyTorch 2.11.0. Ключевое преимущество модели — существенное сокращение размера весов при сохранении качества: на тесте GSM8K она показала 0,8688 против 0,8704 у исходной BF16-модели, то есть восстановила 99,82% результата базовой версии. Ограничения включают ориентацию на CPU AMD EPYC, зависимость от совместимых версий программного стека и возможную потерю точности из-за агрессивной 4-битной квантизации. В README указана лицензия MIT; также отмечено, что модель распространяется на условиях лицензии исходной модели.