II.1Анализ требований и архитектура ПО

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

Это диалоговая языковая модель Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.2-slerp, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и pankajmathur/Mistral-7B-model_45k6e2e4 методом SLERP с помощью mergekit. В основе — плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса опубликованы в формате safetensors и BF16. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка не описывает отдельные оценки качества или специализированные области применения. Практическая эффективность зависит от задачи и способа использования; отдельные языковые приоритеты не заявлены.

Это базовая инструктивная языковая модель Mistral v0.3 с плотной авторегрессионной архитектурой MistralForCausalLM и 7,1 млрд параметров. Репозиторий опубликован Unsloth и содержит веса в формате safetensors; карточка описывает модель как основу для инструктивного дообучения, включая разговорные сценарии с шаблонами ShareGPT, ChatML и Vicuna, а также генерацию продолжений текста. Модель предназначена для генерации текста и ответов на инструкции. Указанное контекстное окно — 32 768 токенов, язык карточки — английский. Unsloth предоставляет ноутбуки для дообучения Mistral на доступном оборудовании и экспорта результатов в GGUF, vLLM или Hugging Face. Лицензия Apache-2.0 разрешает широкое использование при соблюдении её условий. Качество и поведение при конкретных задачах зависят от промпта и последующего дообучения; README не приводит результаты оценки модели.

Карточка модели grimjim/mistralai-Mistral-Nemo-Base-2407 на Hugging Face совпадает с карточкой mistralai/Mistral-Nemo-Base-2407, поэтому описание составлено по ней. Mistral-Nemo-Base-2407 — предварительно обученная генеративная языковая модель, совместно разработанная Mistral AI и NVIDIA. Это плотный трансформер Mistral с 12,1 млрд параметров, 40 слоями, группированным вниманием к запросам (GQA) и словарём примерно на 128 тысяч токенов. Модель выпущена в июле 2024 года и распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации под конкретные задачи. Она обучалась на многоязычных данных и коде; заявленное окно контекста составляет 128 тысяч токенов. Среди указанных языков — английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Для запуска рекомендован mistral-inference; README также описывает использование через Transformers. Карточка приводит результаты на общих и многоязычных бенчмарках и рекомендует для генерации температуру 0,3. Поскольку это базовая предварительно обученная модель, она не имеет механизмов модерации и не является специализированной инструкционной версией; поведение в прикладных сценариях может требовать дополнительной настройки. Для неё доступна также отдельная instruct-версия.

Mistral-NeMo-Minitron-8B-Base — базовая языковая модель NVIDIA для генерации текста и адаптации под различные задачи обработки естественного языка. Это плотный авторегрессионный Transformer-декодер семейства Mistral-NeMo с 7,9 млрд параметров, 40 слоями, Grouped-Query Attention и RoPE. Модель получена из Mistral-NeMo 12B pruning-ом размерностей эмбеддингов и промежуточного слоя MLP, а затем дообучена дистилляцией на 380 млрд токенов. Модель принимает и генерирует текст; заявленная длина контекста — 8192 токена. Обучающие данные включают английский и многоязычный текст, а также код, охватывая веб-страницы, диалоги, статьи и другие материалы. Модель подходит как основа для генерации и продолжения текста, ответов на вопросы и программирования. Это базовая, а не специализированная чат-модель, поэтому для конкретных сценариев может потребоваться адаптация. По данным разработчика, обучение завершилось в августе 2024 года, а срез предобучающих данных — июнь 2023 года. Модель может воспроизводить токсичный язык и социальные предубеждения, а также выдавать неточные, неполные или избыточные ответы. В метаданных указана лицензия «other»; конкретные условия использования следует проверять в лицензии NVIDIA.

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битная AWQ-квантизованная версия инструкционной языковой модели Mixtral 8X7B Instruct v0.1, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, работу в чат-ботах и локальный запуск через совместимые инструменты инференса. Для форматирования запросов используется шаблон [INST] {prompt} [/INST]. Модель основана на архитектуре Mixtral и имеет максимальную длину последовательности 8192 токена. Доступна в формате AWQ с 4-битными весами, группой 128 и размером файлов около 24,65 ГБ; файлы поставляются в формате sharded safetensors. Заявлена поддержка английского, французского, итальянского, немецкого и испанского языков. Квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, однако README не содержит точных требований к видеопамяти, результатов бенчмарков или подробных характеристик базовой архитектуры. Для работы рекомендуются Linux или Windows с NVIDIA GPU и совместимые версии Transformers, vLLM, Text Generation Inference, AutoAWQ или text-generation-webui. На macOS данный формат не рекомендуется; для этой платформы предлагаются GGUF-версии. Модель распространяется по лицензии Apache-2.0.

Это неизменённая копия Muse-Glimmer-30B от Meta, размещённая Positron AI как закреплённый снимок исходного репозитория для сборки и тестирования в CI. Веса, токенизатор и конфигурация побайтово совпадают с указанной ревизией upstream; изменений Positron AI нет. Базовая модель — плотная мультимодальная модель семейства Muse-Glimmer примерно на 29,6 млрд параметров, предназначенная для диалогов и локальных агентных задач, включая работу с инструментами, программирование и анализ изображений. Для этой копии не приведены отдельные оценки качества или подробные инструкции по использованию; назначение и оценки отсылаются к карточке базовой модели. Репозиторий содержит веса Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0.

OsaurusAI подготовила сборку JANG_4M модели Nanbeige4.2-3B для генерации текста и диалога. Это плотный Looped Transformer с 22 слоями, которые дважды проходят по общим весам, что даёт эффективную глубину 44 слоя. Веса квантованы для Apple Silicon: используются 4-битные affine routed-веса и 8-битное внимание; размер файлов составляет 2,9 ГБ. Модель насчитывает около 3,2 млрд параметров по метаданным; README указывает 4,17 млрд параметров исходной архитектуры. Контекст — до 256K токенов, основные языки — английский и китайский. Сборка предназначена для рассуждений, диалогов и агентных сценариев с вызовом инструментов. Для корректной работы требуется загрузчик, поддерживающий циклическое выполнение слоёв и 44 позиции KV-кэша; обычный универсальный загрузчик может выдавать неверные ответы. В README приведены измерения скорости и сравнение точности квантования на Apple Silicon, но они относятся к указанной конфигурации и тестам. Лицензия — Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.

Olmo-3-1125-32B — плотная авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это базовая модель семейства OLMo 3, обученная на 5,50 трлн токенов набора Dolma 3; в карточке также описаны этапы промежуточного обучения и обучения длинному контексту. Модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста на английском языке и может служить основой для прикладных систем, дообучения и экспериментов с языковыми моделями. В обучающих данных представлены веб-страницы, код, математика, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса Safetensors для использования через Transformers версии 4.57.0 или выше. Модель выпущена по лицензии Apache 2.0. Как базовая языковая модель без фильтрации безопасности, она может генерировать вредный или предвзятый контент, а фактические ответы могут быть неточными и требуют проверки.

Olmo-3-Think-AIO-GGUF — набор GGUF-квантизаций моделей Olmo-3-32B-Think и Olmo-3-7B-Think, разработанных Allen Institute for AI и подготовленных для использования через совместимые инструменты, включая llama.cpp. Модели относятся к семейству открытых плотных трансформерных языковых моделей Olmo 3 с вариантом Think, предназначенным для прозрачного пошагового рассуждения и исследовательских задач в области agentic AI. Модели предназначены для генерации текста, объяснения решений, декомпозиции формальных задач, математического рассуждения, генерации кода и исследований, связанных с reinforcement learning. Указан английский язык и сценарий text generation. Для версии 32B заявлена поддержка контекста до 65 000 токенов. В репозитории представлены варианты GGUF с разными форматами точности и квантования — от F32 и BF16 до компактных IQ- и Q-серий, что позволяет выбирать между качеством, размером файла и требованиями к оборудованию; размеры файлов 32B-версии составляют примерно от 7 до 129 ГБ. К сильным сторонам относятся открытость, возможность инспектировать промежуточные цепочки рассуждений, ориентация на задачи математики и кода, длинный контекст и широкий выбор локальных форматов. Ограничения включают значительные требования к памяти для крупных и высокоточных вариантов, возможное снижение качества при агрессивном квантовании, а также отсутствие заявленной поддержки мультимодальных входов и языков кроме английского. Указанная лицензия — Apache-2.0.

Omni-Reasoner3-Merged — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. В основе объединения лежит prithivMLmods/Llama-Deepsync-3B; также включены модели Codepy-Deepthink-3B, Llama-Doctor-3.2-3B-Instruct, Llama-Magpie-3.2-3B-Instruct и Llama-Sentient-3.2-3B-Instruct. Использован метод Model Stock, веса сохранены в формате bfloat16. Модель предназначена для генерации текста и диалоговых сценариев; среди объединённых моделей есть варианты для медицинских диалогов, программирования и инструктивных ответов. Архитектура — плотная LlamaForCausalLM, размер — 3,2 млрд параметров, нативное контекстное окно — 131 072 токена. Поддерживает текстовый ввод и выдаёт текст. Лицензия и конкретные ограничения в предоставленных данных не описаны. Результаты объединения могут различаться по качеству в зависимости от задачи; профиль одной из базовых моделей указывает на медицинские диалоги, но это не гарантирует точность медицинских ответов.

OpenBuddy-R10528DistillQwen-14B-v27.3-200K — диалоговая языковая модель OpenBuddy на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B-Base с использованием дистиллированных данных DeepSeek-R1-0528. Модель содержит 14 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для многоязычного чат-общения, ответов на вопросы и генерации текста. В карточке перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Для работы автор рекомендует быстрый токенизатор из transformers; формат диалога также задан в tokenizer_config.json и совместим с запуском через vLLM. Модель распространяется по лицензии Apache 2.0. Она может выдавать ошибочные, вредные или оскорбительные ответы; авторы предостерегают от применения в критически важных и высокорисковых сценариях, включая медицину, управление потенциально опасными системами, а также важные финансовые и юридические решения.

Open-Instruct CoT 13B — языковая модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Allen Institute for AI на подмножестве CoT из Flan v2. Она предназначена для генерации ответов на инструкции с пошаговыми рассуждениями, а также для общих задач генерации текста, включая вопросы и ответы, математические задачи и программирование. Модель принимает текст и выдаёт текст; карточка указывает английский язык, а контекст составляет 2048 токенов. В опубликованных бенчмарках модель оценивалась на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Для её использования требуется исходная модель LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельный полный чекпойнт. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Open-Instruct Dolly 13B — языковая модель AllenAI на архитектуре LLaMA, дообученная на наборе инструкций Databricks Dolly 15k. Она предназначена для генерации текста и выполнения инструкций, например для ответов на вопросы, рассуждений и написания кода. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов; для корректной генерации следует использовать формат инструкций, заданный авторами. В карточке приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это исследовательская работа по настройке моделей на открытых ресурсах, опубликованная в рамках статьи How Far Can Camels Go? Модель распространяется как diff и требует доступной базовой LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model из LICENSE.txt и исходной лицензией LLaMA.

Ornith-1.0-35B-1M-GGUF — GGUF-сборка модели Ornith-1.0-35B от DeepReinforce, опубликованная satgeze. Это текстовая генеративная модель на базе 35B MoE-архитектуры семейства Qwen3.5 с примерно 3B активных параметров. Сборка предназначена для локального запуска через llama.cpp и Ollama и расширена поддержкой длинного контекста, speculative decoding через MTP и обработки изображений. Ключевая особенность — контекстное окно до 1 048 576 токенов: масштабирование RoPE по YaRN встроено в метаданные GGUF, поэтому для llama.cpp и Ollama не требуются дополнительные параметры. В README заявлена проверка поиска информации по длинному контексту: 50 из 50 тестовых фрагментов найдены на диапазоне до 1M токенов. MTP-сборка Q6_K показала рост скорости декодирования с 267,9 до 382,9 токена в секунду, или примерно на 43%; для APEX-Compact заявлен прирост 14%. Визуальный модуль подключается отдельным файлом mmproj и, по данным README, распознаёт текст на изображениях и объекты. Модель подходит для генерации текста, работы с большими документами и другими задачами, требующими очень длинного контекста, а также для мультимодальных сценариев с изображениями. Доступны варианты квантования различного размера; рекомендуемые MTP-файлы занимают 17,0 и 29,2 ГБ, а визуальный модуль — 899 МБ. Ограничения включают высокие требования к оперативной или видеопамяти, зависимость производительности от оборудования и потенциальные потери качества при выборе более агрессивного квантования. Модель распространяется по лицензии MIT.

Ornith-1.5-35B-A3B — разработанная Ornith AI диалоговая модель семейства Ornith-1.5 с архитектурой Qwen3.5 MoE. В модели около 35 млрд параметров, из которых примерно 3 млрд активируются на каждом токене. Она создана для генерации текста, агентного программирования и выполнения задач с помощью инструментов; README сообщает о результатах на бенчмарках кодирования и агентных задач. Модель принимает текст и выдаёт текст, включая структурированные вызовы инструментов. Поддерживает контекст до 262 144 токенов; README описывает расширение окна примерно до миллиона токенов с помощью YaRN, с возможным небольшим ухудшением качества на обычной длине контекста. Для запуска в bf16 требуется около 70 ГБ памяти модели; в примере обслуживания используются две GPU по 80 ГБ. Репозиторий распространяется по лицензии MIT.

AtomicChat/Ornith-9B-GGUF — это квантизированная в формат GGUF версия языковой модели Ornith 1.0 9B, разработанной DeepReinforce и самостоятельно квантизированной командой Atomic Chat на основе оригинальных весов. Модель предназначена для локальной и полностью офлайн-работы, включая генерацию текста, диалоговые сценарии и задачи программирования. Она распространяется в нескольких вариантах квантизации, подходящих для запуска через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Модель имеет плотную decoder-архитектуру с 32 слоями, 16 attention heads и 4 KV heads; в README также указана реализация Qwen3_5ForConditionalGeneration. Заявленная длина контекста — до 262 144 токенов, размер словаря — 248 320 токенов. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые GGUF-версии без vision projector. Доступны варианты IQ4_XS, Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0; применение importance matrix должно снижать потери качества при низкой разрядности. Сильными сторонами являются большой контекст, офлайн-запуск, широкий выбор размеров файлов и ориентация исходной модели на coding agents и самоулучшающееся обучение с использованием reinforcement learning. Заявленные benchmark-результаты относятся к базовой модели DeepReinforce, а не к независимым измерениям этого репозитория; качество квантизированных версий может отличаться. Для корректного диалога требуется применять chat template Ornith 1.0 через параметр --jinja. Модель распространяется по лицензии MIT.

ihughes15234/Phi-3.5-mini-instruct_unslothcpy — разговорная инструктивная версия компактной языковой модели семейства Phi-3.5, представленная в карточке с материалами Unsloth по тонкой настройке. Модель содержит 3,7 млрд параметров, использует плотную архитектуру и предназначена для генерации текста и многоходового диалога. Метаданные указывают контекст 4096 токенов; заявленные в README 128K относятся к Phi-3.5-mini в целом и не подтверждены для этой конкретной копии. Модель подходит для генерации ответов и создания приложений на базе языковой модели в условиях ограниченных вычислительных ресурсов и требований к задержке. В README базовая Phi-3.5 описана как многоязычная модель с сильными сторонами в рассуждениях, коде, математике, логике, обобщении длинных документов и ответах на вопросы по ним; эти характеристики не являются отдельной оценкой данного репозитория. Указана лицензия MIT. Как и другие языковые модели, она может ошибаться; перед применением в рискованных сценариях следует проверять точность и безопасность ответов.

duyntnet/Phi-3-medium-128k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-128k-Instruct, разработанной Microsoft и опубликованной пользователем duyntnet. Репозиторий предназначен для локального запуска модели через совместимые инструменты, включая llama.cpp; указано, что квантизации созданы с использованием актуальной версии llama.cpp. Модель относится к классу text-generation и работает с текстом. Исходная Phi-3-Medium-128k-Instruct — инструкционная языковая модель для диалогов, ответов на вопросы, генерации текста и решения задач по пользовательским запросам. Она рассчитана на использование в chat-формате и поддерживает контекст до 128 000 токенов; размер словаря токенизатора — до 32 064 токенов. В README указан английский язык. Архитектура и точное число параметров в представленных данных не раскрыты. Сильной стороной модели является большой контекст и наличие готовых GGUF-квантизаций для более эффективного локального инференса. Ограничения включают зависимость от совместимого рантайма и конкретного варианта квантизации, а также отсутствие в README подробных характеристик качества, требований к ресурсам и данных о поддерживаемых модальностях помимо текста. Лицензия указана как other; её точные условия требуют отдельной проверки в исходном репозитории Microsoft.

Это сборка Phi-3 Mini-128K-Instruct в формате GGUF F16, опубликованная ProfessorF (Nick V. Flor); исходную модель разработала Microsoft. Это компактная языковая модель с 3,8 млрд параметров, рассчитанная на генерацию текста и диалог по инструкциям. Файлы GGUF предназначены для локального запуска через llama.cpp и совместимые интерфейсы, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. Модель рассчитана прежде всего на английский язык. Она подходит для ответов на вопросы, генерации текста, программирования, математики и логических рассуждений; окно контекста исходной модели составляет до 128 тыс. токенов. README описывает обучение и настройку исходной модели с помощью supervised fine-tuning и direct preference optimization. Репозиторий предоставляет 16-битные GGUF-файлы; лицензия — MIT. Модель может ошибаться, а её пригодность для конкретного применения требует проверки, особенно в сценариях с высокими рисками. Заявления о сильных результатах на бенчмарках относятся к описанию исходной модели Microsoft и не являются независимой оценкой этой сборки.

Phi-3-mini-4k-instruct-GGUF — квантованная версия легковесной языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной в формате GGUF для локального запуска. В README указано, что модель обучалась на наборах данных Phi-3, включающих синтетические данные и отфильтрованные общедоступные веб-материалы с акцентом на качество и задачи, требующие рассуждений. Модель предназначена для генерации текста, диалоговых сценариев и других задач обработки естественного языка, включая работу с кодом. Она поддерживает английский язык, имеет контекстное окно 4096 токенов и относится к текстовым моделям. Формат GGUF совместим с приложениями на базе llama.cpp, включая Backyard AI, и позволяет распределять вычисления между CPU и GPU. Ключевое преимущество модели — компактность и возможность локального запуска на более широком спектре оборудования благодаря квантованию, которое снижает требования к ресурсам. Ограничением является компромисс между эффективностью и качеством: при более низкой точности квантования могут снижаться связность и качество ответов. Конкретный уровень квантования в README не указан. Базовая модель распространяется по лицензии MIT; для этой версии также указана лицензия MIT.

bartowski/Phi-3-mini-4k-instruct-GGUF — набор GGUF-квантизированных версий Phi-3-mini-4k-instruct, исходно разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и контекстное окно на 4K токенов; модальность — текстовая. Ключевая особенность репозитория — квантизация с использованием llama.cpp и метода imatrix. Доступны варианты от Q8_0 до очень компактных IQ1_S, что позволяет выбирать между качеством и требованиями к памяти. Наиболее высокое качество дают Q8_0 и Q6_K, а Q4- и Q3-варианты ориентированы на более экономичное локальное использование; варианты с низкой разрядностью заметно уступают по качеству, хотя некоторые из них остаются пригодными для практических задач. Модель удобна для локального запуска через совместимую инфраструктуру llama.cpp, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантизации. README не содержит подробностей об архитектуре и точном числе параметров исходной модели. Распространение указано по лицензии MIT.

Phi-4-mini-instruct-mlx-fp16 — версия модели Microsoft Phi-4-mini-instruct, преобразованная SkyStar-tech в формат MLX для запуска на устройствах Apple с использованием mlx-lm. Это плотная авторегрессионная языковая модель с 3,8 млрд параметров и контекстом до 4096 токенов. Она предназначена для диалогов, генерации текста и кода, а также рассуждений в приложениях с ограниченными ресурсами. Поддерживает английский, русский и другие языки, перечисленные в карточке модели. Репозиторий использует формат safetensors и лицензию MIT; README указывает преобразование в MLX с помощью mlx-lm 0.31.2.

Project Norn V20 — экспериментальная текстовая генеративная модель Osakra Research, построенная на базе empero-ai/Qwen3.8-9B-Distill. В карточке описана архитектура NornV20ForCausalLM: чередование причинного внимания с окном 512 токенов и рекуррентной памяти Titans-HRR; заявлены обработка контекста до 32 768 токенов и реализация на Transformers. Репозиторий содержит веса Safetensors и GGUF F16, а метаданные указывают 3,7 млрд параметров. Модель предназначена для диалогов, рассуждений, математики, программирования и агентных сценариев. Карточка заявляет показатели внутренних бенчмарков, но приведённые описания и результаты не дают независимой проверки этих утверждений. В README упоминается работа с изображениями через Ollama и внешний mmproj, однако метаданные подтверждают только текстовую генерацию, поэтому мультимодальную поддержку нельзя считать установленной. Лицензия — Apache-2.0.

SAIFIINDUSTRIES/Qwen2.5-14B-Instruct-1M — чат-модель для генерации текста на основе Qwen2.5-14B, опубликованная под лицензией Apache-2.0. Это плотная причинная языковая модель семейства Qwen2 с 14 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Модель предназначена для диалога, ответов на вопросы, использования инструментов и работы с очень длинными текстами. Контекст достигает 1 010 000 токенов, а максимальная длина генерации составляет 8192 токена. Для эффективного инференса на контексте такого размера README рекомендует специальную версию vLLM и указывает потребность не менее чем в 320 ГБ видеопамяти суммарно. Поддерживаются также короткие запросы; для контекстов свыше 262 144 токенов на обычном фреймворке возможна потеря точности. Метаданные указывают английский язык; других языков источники не подтверждают.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Qwen-32B-Syntactic-Exploit-Core-BF16 — 32-миллиардная плотная языковая модель для генерации текста, собранная автором из Qwen/QwQ-32B и Qwen/Qwen2.5-Coder-32B-Instruct. Карточка заявляет слияние весов методом SLERP и изменение поведения отказов; эти заявления не сопровождаются проверяемыми результатами, поэтому их следует считать описанием автора, а не подтверждёнными свойствами. Модель использует архитектуру Qwen2ForCausalLM и формат safetensors; заявленная длина контекста — 32 768 токенов. Модель предназначена прежде всего для генерации и анализа кода, отладки и проектирования программных систем, а также для текстовых задач рассуждения. Поддерживаемые языки в метаданных не перечислены. Модель распространяется по лицензии Apache-2.0. Карточка не приводит воспроизводимых бенчмарков или подробностей оценки качества, поэтому заявленные преимущества в кодировании и рассуждении нельзя считать независимо подтверждёнными.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.