II.1Анализ требований и архитектура ПО

Jack-3.8-27B-V2-VL-16GB-VRAM — мультимодальная модель независимого исследователя Джонатана Майкла Лэнгфорда и проекта Jack, созданная на основе Qwen/Qwen3.8-27B и рассчитанная на локальный запуск через llama.cpp. Репозиторий содержит веса GGUF и BF16 мультимодальный проектор для работы с изображениями; заявленное назначение — диалоговая и агентная работа с длинным контекстом, включая программирование и многошаговые задачи. Модель использует протокол Jack V2: структурирование рабочего состояния в XML после основного рассуждения, отделение наблюдений и предположений, учёт актуальности сведений и проверку точных результатов детерминированными инструментами. По описанию автора, это предназначено для задач, где важно не смешивать устаревшие планы, конфигурации и результаты. Автор ориентирует релиз на GPU класса 16 ГБ; для полного режима обработки изображений требуется загрузить приложенный проектор. В README рекомендуется отключить MTP; Q4 KV cache описан как результат ранних локальных наблюдений, а не универсальная настройка. Модель имеет 27 млрд параметров; контекстное окно в предоставленных данных не указано. Лицензия — Apache-2.0. Заявленные преимущества протокола и поведение при локальном тестировании основаны на описании автора; независимые сравнительные оценки в предоставленных материалах отсутствуют.

Jan-v3-4B-base-instruct-gguf — компактная каузальная языковая модель примерно на 4 млрд параметров, разработанная Jan (Jan HQ). Модель получена методом дистилляции после обучения от более крупной модели-учителя с последующим предварительным и постобучением. Она предназначена для общего использования, улучшенного следования инструкциям, локального развёртывания, дообучения под прикладные задачи и лёгкой помощи в программировании. Модель содержит 36 слоёв и использует Grouped-Query Attention (GQA) с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста до 262 144 токенов. Указан английский язык; модель работает с текстом, а тег code и описание допускают сценарии кодирования, однако специализированная кодовая версия Jan-Code в README ещё не выпущена. GGUF-версия предназначена для запуска через llama.cpp и интеграции с Jan Desktop; также описан вариант использования через vLLM. Сильными сторонами являются компактный размер, пригодность для локального использования и дообучения, улучшенное следование инструкциям и большой контекст. Ограничения включают отсутствие подробных данных о качестве на конкретных бенчмарках, языковой поддержке за пределами английского и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

Ling-flash-base-2.0 — базовая языковая модель семейства Ling 2.0, разработанная командой inclusionAI. Это модель типа Mixture of Experts на архитектуре Bailing MoE; в карточке указано 5,5 млрд параметров, а README для семейства Ling-flash-2.0 приводит 100 млрд общих и 6,1 млрд активируемых параметров. Репозиторий рассчитан на генерацию текста и служит основой для дальнейшей настройки; семейство ориентировано на рассуждения, математические задачи, программирование и разработку интерфейсов. Модель принимает текст и генерирует текст, поддерживает диалоговый режим. Метаданные указывают контекст 32 768 токенов; README семейства сообщает о расширении окна до 128 тысяч токенов с YaRN. Доступны веса в формате Safetensors, для работы описана поддержка Transformers и подготовка интеграций с vLLM и SGLang. Лицензия — MIT. README приводит результаты семейства Ling-flash-2.0 на тестах рассуждений, математики, кода и творческого письма, однако это описание относится к Ling-flash-2.0 и не подтверждает отдельно такие показатели для базового чекпойнта. Для длинного контекста через YaRN и некоторых сценариев инференса могут потребоваться дополнительные настройки или патчи.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

Shenzhi Wang и соавторы разработали Llama3-8B-Chinese-Chat — диалоговую модель на базе Meta-Llama-3-8B-Instruct, дообученную методом ORPO для китайско- и англоязычных пользователей. Этот репозиторий содержит веса GGUF в формате F16; модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, включая ролевые сценарии, использование инструментов и решение математических задач. По сравнению с базовой моделью авторы отмечают меньше случаев, когда на китайский запрос следует английский ответ, и меньше смешения китайского и английского в китайских ответах. В README описана версия v2.1 с улучшениями в ролевых диалогах, вызове функций и математике. Известное ограничение: модель не дообучали на сохранение своей идентичности, поэтому ответы о том, кто она и кем создана, могут быть случайными. Для использования действуют условия лицензии Llama 3.

Llama-3-Swallow-8B-Instruct-v0.1 — диалоговая языковая модель команды Swallow-LLM из Токийского технологического института и AIST, созданная на основе семейства Meta Llama 3. Модель прошла продолжительное предобучение с добавлением японских текстов, а инструктивная версия — дообучение на примерах инструкций и настройку Chat Vector. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, длина контекста — 8192 токена; веса опубликованы в safetensors и предназначены для Transformers. Модель рассчитана на диалог и генерацию текста на японском и английском языках. Возможные сценарии включают ответы на вопросы, следование инструкциям, суммаризацию, перевод между японским и английским, рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, но отдельные строки таблиц для этой модели здесь не представлены, поэтому конкретный уровень качества по ним оценить нельзя. Разработчики предупреждают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Лицензия — Llama 3; условия использования определяются её положениями.

Lzlv 70B AWQ — 4-битная AWQ-квантизованная версия языковой модели Lzlv 70B, созданной A Guy на базе Llama 2. Квантизацию выполнил TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного инференса, включая диалоговые приложения, ответы на запросы и другие задачи обработки текста. Модель имеет архитектуру Llama, около 70 миллиардов параметров и поддерживает текстовую модальность. В опубликованной конфигурации используются 4-битные веса AWQ с групповым размером 128, последовательностью длиной до 4096 токенов и размером файлов около 36,61 ГБ. AWQ ориентирована на эффективный инференс с низким потреблением памяти; заявлена совместимость с Text Generation WebUI через AutoAWQ, vLLM, Hugging Face Text Generation Inference и AutoAWQ. Для взаимодействия предусмотрен шаблон запросов в формате Alpaca. К сильным сторонам относятся существенно уменьшенный размер по сравнению с исходной FP16-моделью и возможность быстрого инференса на совместимом GPU при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Ограничения включают максимальную длину последовательности 4096 токенов, необходимость совместимого программного обеспечения и оборудования, а также возможные потери качества из-за квантизации. Модель заявлена под лицензией CC BY-NC 2.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2. Эти условия следует рассматривать как двойное лицензирование, а коммерческое использование требует отдельной проверки ограничений.

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров. Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI. Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay. Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

MiniCPM5-1B — компактная плотная языковая модель серии MiniCPM5, разработанная OpenBMB. Она построена на архитектуре Transformer с причинной языковой моделью LlamaForCausalLM; метаданные указывают 837,6 млн параметров, а карточка модели — около 1,08 млрд. Модель поддерживает контекст до 131 072 токенов и распространяется в формате safetensors через Transformers. Модель предназначена для локальных помощников, программирования, агентных сценариев с вызовом инструментов и сложных рассуждений на устройствах с ограниченными ресурсами. Один чекпойнт предлагает быстрый режим без рассуждений и режим Thinking. В карточке заявлены сильные результаты для своего размерного класса, особенно в использовании инструментов, генерации кода и трудных рассуждениях; это оценка авторов в сравнении с выбранными моделями, а не гарантия качества для любого сценария. Модель рассчитана прежде всего на английский и китайский языки. Лицензия Apache-2.0. Как и другие языковые модели, она может выдавать неточные, предвзятые или небезопасные ответы; результаты следует проверять, особенно при использовании в важных решениях.

WhiskyAKM подготовил GGUF-квантизацию MiniCPM5-2B от OpenBMB для локального запуска на устройстве и в средах с ограниченными ресурсами. Это плотный трансформер LlamaForCausalLM примерно на 2,52 млрд параметров, представленный в формате NVFP4; файл весит около 1,4 ГБ. Модель предназначена для локальных ассистентов, программирования, сценариев с вызовом инструментов и рассуждений. Она поддерживает контекст до 131 072 токенов, режим рассуждений в шаблоне чата и вызовы инструментов в XML-формате. Квантизация выполнена из исходных весов BF16: большинство тензоров представлены в NVFP4, а эмбеддинги, выходные и нормализационные тензоры сохранены в более высокой точности. Репозиторий предназначен для использования с llama.cpp, Ollama и LM Studio; лицензия — Apache-2.0. Качество NVFP4 может отличаться от исходной версии BF16, а для обработки XML-вызовов инструментов может понадобиться совместимый парсер или обвязка.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

Mirai Nova — дообученная LocalAI модель на архитектуре Llama 3, созданная для генерации текста и диалогов. Разработчики ориентируют её на вызов функций и отмечают усиленные способности к рассуждению; модель также подходит для общих текстовых задач. В LocalAI она рассчитана на работу с вызовом функций через грамматики. Чекпойнт содержит 7,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Сведений о лицензии в использованных данных нет.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Это GGUF-квантизированная версия Devstral-Small-2505, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. README не уточняет её специализированные сценарии применения, однако формат и базовая модель ориентированы на работу с текстовыми запросами и, вероятно, задачами разработки, соответствующими семейству Devstral. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 11,47 до 47,15 ГБ. Указаны языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других. README не содержит сведений о числе параметров, архитектуре, размере контекста или точных характеристиках качества. Для vision предусмотрен файл mmproj от Mistral Small 3.1, но эта поддержка неофициальна и может работать неидеально. Сильными сторонами являются широкий выбор квантизаций для разного объёма памяти и возможность локального запуска; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как подходящий вариант по умолчанию. Ограничениями являются значительные требования к дисковому пространству и памяти, а также возможное снижение качества в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

Квантизированная версия Ministral-3-3B-Reasoning-2512, разработанной Mistral AI, подготовленная bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для задач генерации и анализа текста, а также сценариев image-text-to-text, однако подробные сведения о поддерживаемой обработке изображений в README не приведены. Заявлены языки: английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Модель имеет размер 3B параметров; доступны варианты от BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 1,93 до 6,87 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp, что позволяет выбирать между качеством, потреблением памяти и скоростью локального запуска. Конкретная архитектура, размер контекстного окна, требования к оборудованию и формат промптов в README не указаны; для исходной модели рекомендуется обращаться к её оригинальной странице. Распространение заявлено по лицензии Apache-2.0.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Mungert/Mistral-Small-3.1-24B-Instruct-2503-GGUF — это GGUF-квантизованная instruct-модель на базе Mistral-Small-3.1-24B-Base-2503 от Mistral AI, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Модель предназначена для генерации текста в диалоговых и прикладных сценариях, а также, согласно указанному pipeline tag, для задач image-text-to-text, то есть обработки сочетаний изображений и текста. Доступны варианты с разной степенью квантизации, включая форматы Q4, Q6, Q8 и ультранизкобитные IQ1–IQ3, ориентированные на снижение потребления памяти и запуск на CPU, устройствах с ограниченной VRAM и edge-оборудовании. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Размер модели составляет 24B параметров по обозначению в имени. README не указывает точную архитектуру и размер контекстного окна для этой модели; приведённые бенчмарки относятся к другой модели, Llama-3-8B-Instruct, поэтому их нельзя напрямую считать характеристиками данного экземпляра. Сильной стороной являются варианты квантизации, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти; особенно низкобитные варианты рассчитаны на ресурсоограниченные среды и исследование ультранизкобитного вывода. Ограничения включают возможное снижение точности при агрессивной квантизации и зависимость производительности от конкретного формата и оборудования. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-7B-DPO-Preview — диалоговая языковая модель Allen Institute for AI (AI2), основанная на плотной архитектуре OLMo 2 и содержащая 6,9 млрд параметров. Она дообучена методом DPO на варианте набора Tülu 3 после supervised fine-tuning; базовая модель в метаданных указана как allenai/OLMo-2-1124-7B-SFT. Модель принимает текст и генерирует текст, поддерживает диалоговый шаблон и контекст до 4096 токенов. Модель предназначена для диалога, выполнения инструкций, ответов на вопросы и решения разнообразных задач, включая математические задачи и следование формату. В первую очередь она рассчитана на английский язык. Веса доступны в формате PyTorch и распространяются по лицензии Apache 2.0. Карточка предупреждает, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Перед использованием в пользовательских сценариях следует самостоятельно оценить качество и организовать необходимые меры контроля.

Карточка модели OpenBuddy/openbuddy-qwq-32b-v24.2-200k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwq-32b-v24.1-200k, поэтому описание составлено по ней. OpenBuddy/openbuddy-qwq-32b-v24.1-200k — дообученная диалоговая языковая модель OpenBuddy на архитектуре Qwen2, основанная на Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на контекст до 200 000 токенов; она принимает текст и генерирует текстовые ответы в формате чат-бота. Модель предназначена для многоязычного общения и генерации текста. Карточка указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Лицензия — Apache 2.0. Для работы с форматом подсказок рекомендуется быстрый токенизатор Transformers; карточка также упоминает развёртывание через vLLM. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Её не следует применять для критических решений в медицине, финансах и праве, а также для управления потенциально опасным программным или аппаратным обеспечением.

OpenChat 3.6 8B 20240522 — языковая модель семейства OpenChat, разработанная командой OpenChat и основанная на Meta Llama 3 8B. Данный репозиторий содержит её GGUF-квантизации, предназначенные для локального запуска и эффективного развертывания. Модель работает в режиме генерации текста и диалогов, поддерживает совместимый с OpenAI ChatCompletion API сервер и может использоваться через OpenChat Web UI. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и обучалась с применением подхода C-RLFT на данных смешанного качества. README не указывает точный размер контекстного окна и перечень поддерживаемых языков. Для работы рекомендуется шаблон подсказок на основе формата Llama 3; сервер оптимизирован для высокой пропускной способности и, согласно README, может запускаться на потребительском GPU с 24 ГБ памяти. Квантизация снижает требования к ресурсам, но конкретные варианты GGUF могут различаться по размеру и качеству. Сильными сторонами заявлены производительность на уровне открытых 8B-моделей и улучшенное следование инструкциям и few-shot-шаблонам по сравнению с некоторыми альтернативами. Ограничениями являются зависимость качества и скорости от выбранного типа квантизации, а также отсутствие в предоставленных данных подробных результатов тестирования, точного контекстного окна и языкового охвата. Репозиторий распространяется по лицензии Llama 3; условия её применения следует учитывать при использовании модели.

VMware/open-llama-7b-v2-open-instruct — инструктивно дообученная версия OpenLLaMA 7B v2 от VMware на наборе Open-instruct. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов, предназначенная для генерации текста и ответов на инструкции. В карточке отмечено улучшение результатов на задачах программирования относительно первой версии OpenLLaMA; для инструктивного дообучения использован шаблон Alpaca. Основной язык карточки — английский. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, объяснения понятий и генерации примеров кода. Она распространяется в форматах PyTorch и safetensors по лицензии CC BY-SA 3.0. Для корректной токенизации в README рекомендуется отключить быстрый токенизатор, поскольку он может кодировать текст неверно.

Sara121/Ornith-1.0-9B-Engineering — плотная языковая модель семейства Qwen3.5, дообученная для ответов на инженерные вопросы. Она создана слиянием QLoRA-адаптера Epoch 2 с базовой моделью ornith-ai/Ornith-1.0-9B и опубликована как самостоятельная модель Transformers в формате Safetensors. Модель содержит 7,2 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для ответов на вопросы по инженерным темам и решения задач разработки. В оценке на фиксированной выборке из 902 примеров адаптер Epoch 2 превзошёл базовую модель по token F1; точное совпадение ответов оставалось низким. Лицензия — MIT. Результаты оценки основаны на лексических метриках и не подтверждают фактическую или нормативную корректность ответов. README рекомендует проверять модель перед применением в производстве и процессах, чувствительных к соблюдению требований.

Карточка модели sekkit/Ornith-1.5-35B-A3B на Hugging Face совпадает с карточкой ornith-ai/Ornith-1.5-35B-A3B, поэтому описание составлено по ней. Ornith-1.5-35B-A3B — разработанная Ornith AI диалоговая модель семейства Ornith-1.5 с архитектурой Qwen3.5 MoE. В модели около 35 млрд параметров, из которых примерно 3 млрд активируются на каждом токене. Она создана для генерации текста, агентного программирования и выполнения задач с помощью инструментов; README сообщает о результатах на бенчмарках кодирования и агентных задач. Модель принимает текст и выдаёт текст, включая структурированные вызовы инструментов. Поддерживает контекст до 262 144 токенов; README описывает расширение окна примерно до миллиона токенов с помощью YaRN, с возможным небольшим ухудшением качества на обычной длине контекста. Для запуска в bf16 требуется около 70 ГБ памяти модели; в примере обслуживания используются две GPU по 80 ГБ. Репозиторий распространяется по лицензии MIT.

Это компактная языковая модель Phi-3 Mini Instruct семейства Phi-3, представленная в репозитории tuong-nguyen-prd. Модель имеет плотную архитектуру Phi3ForCausalLM и около 3,7 млрд параметров; она дообучена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization. В README вариант назван 128K, однако метаданные этой копии указывают длину контекста 4096 токенов. Модель предназначена для генерации текста в диалоговом формате, включая рассуждения, математику и программирование. Её позиционируют для сценариев с ограниченными вычислительными ресурсами и требованиями к низкой задержке; карточка также описывает улучшения в следовании инструкциям, структурированном выводе и понимании длинного контекста. Основной заявленный язык — английский. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией MIT. Как и другие языковые модели, она может выдавать неточные, ненадёжные, предвзятые или оскорбительные ответы; её качество и безопасность следует оценивать для конкретного применения, особенно в сценариях с высокими рисками.

Richard Young из DeepNeuro подготовил эту версию Microsoft Phi-3.5-mini-instruct с помощью Heretic v1.4.0: модель подвергнута абляции, направленной на снижение числа отказов. Это плотная авторегрессионная языковая модель Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста, диалогов и задач с кодом. Метаданные указывают контекст 4096 токенов; модель распространяется в формате Safetensors по лицензии MIT. Модель подходит для чат-ботов, генерации текста и кода, а также для сценариев с ограничениями по памяти, вычислениям или задержке. README приводит результат оценки отказов: 12 отказов из 100 запросов против 95 у исходной модели; это указывает на заметно ослабленное поведение отказа, но не гарантирует точность или безопасность ответов. В README также приведено описание возможностей и оценок исходной Phi-3.5, поэтому их нельзя автоматически считать характеристиками этой производной версии. Проверяйте модель для конкретного применения, особенно в чувствительных сценариях.

OpenVINO/Phi-3.5-mini-instruct-int4-ov — это квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF. Она предназначена для генерации текста, диалоговых сценариев и других задач, поддерживаемых исходной instruction-tuned моделью; конкретные языки, размер контекста и дополнительные модальности в карточке не указаны. Сжатие выполнено в режиме int4_asym с размером группы 128 и коэффициентом ratio 1. Модель совместима с OpenVINO версии 2024.5.0 и выше, а также с Optimum Intel версии 1.21.0 и выше, и может запускаться через OpenVINO GenAI на CPU и других поддерживаемых устройствах. Ограничения следует оценивать по исходной карточке Phi-3.5-mini-instruct; подробности о качестве после квантизации в README не приведены. Модель распространяется по лицензии MIT.

Phi-3-medium-4k-instruct-IMat-GGUF — квантизированная версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Релиз подготовлен пользователем legraphista с использованием llama.cpp и представлен в формате GGUF для локального запуска и генерации текста. Модель предназначена для диалоговых сценариев, выполнения инструкций и других задач текстовой генерации. Исходная модель использует формат BF16, а репозиторий содержит варианты с разными уровнями точности и размером от 4,13 до 27,92 ГБ: FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели с сохранением качества по сравнению с обычной квантизацией. Указаны мультиязычная поддержка и контекст до 4096 токенов; доступна только текстовая модальность. Преимущества модели — широкий выбор вариантов квантизации, возможность подбора соотношения качества и требований к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при использовании наиболее компактных вариантов и высокие требования к ресурсам для полноточных версий; конкретные языки, архитектурные детали и результаты оценки в README не указаны. Модель распространяется по лицензии MIT.

Richard Young создал эту версию Microsoft Phi-4-mini-instruct с помощью Heretic 2.0.0.dev0: модель подвергнута аблерации, которая уменьшает склонность отказывать в ответах. Это плотная авторегрессионная языковая модель семейства Phi-3 с 3,8 млрд параметров и контекстом 4096 токенов; она распространяется в формате Safetensors и предназначена для генерации текста, диалогов, кода и рассуждений, в том числе в условиях ограниченных вычислительных ресурсов. Модель поддерживает множество языков, включая русский, английский, китайский, японский, арабский, украинский и другие. По данным карточки, в тесте на 100 запросах число отказов снизилось с 99 у исходной модели до 5 у этой версии; автор также сообщает о низком расхождении с исходной моделью по KL-дивергенции. Модель подходит для локального использования, творческого письма и изучения методов выравнивания, однако уменьшение отказов означает, что она может выдавать ответы на запросы, которые исходная модель отклоняет. Как и другие языковые модели, она может ошибаться; для высокорисковых сценариев автор рекомендует отдельную оценку точности, безопасности и справедливости. Лицензия — MIT.

QVikhr-3-4B-Instruction — русско-английская инструктивная языковая модель команды Vikhr, дообученная методом SFT на синтетическом датасете GrandMaster2 на основе Qwen/Qwen3-4B. Это плотная авторегрессионная модель с 3,7 млрд параметров и контекстом до 40 960 токенов; веса опубликованы в формате Safetensors под лицензией Apache-2.0. Модель предназначена для диалогов по инструкциям, генерации ответов с учётом контекста и анализа текста, с особым упором на русский язык при поддержке английского. Её можно встраивать в пользовательские приложения и сервисы. В карточке приведён результат 78,2 в Ru Arena General против 64,8 у базовой Qwen3-4B; это результат указанного теста, а не гарантия качества в других сценариях. Карточка не приводит систематических оценок ошибок или ограничений. Как и другие генеративные языковые модели, она может выдавать неточные ответы; перед использованием важной информации нужна проверка.