II.3Рефакторинг, миграция и модернизация

ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF — набор неравномерно квантованных версий базовой модели Qwen3.8-27B, разработанный лабораторией Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска текстовых и мультимодальных сценариев с обработкой изображений, включая генерацию текста, рассуждения и задачи, поддерживаемые базовой моделью Qwen3.8-27B. Формат GGUF обеспечивает совместимость с llama.cpp, Ollama и LM Studio. В набор входят варианты размером от 8,4 до 11,8 ГБ со средней разрядностью от 2,50 до 3,50 бит на вес. Квантование использует GSQ для оптимизации скалярных квантованных представлений и RCO для назначения разных типов квантования отдельным тензорам с соблюдением общего ограничения размера. Для мультимодальной работы используется отдельный vision-проектор mmproj в формате BF16 размером около 0,9 ГБ. Опциональные сборки с суффиксом -mtp содержат Multi-Token Prediction head для speculative decoding в llama.cpp и примерно на 0,35 ГБ больше. Рекомендуемым вариантом указан IQ3_S: по заявленным результатам он совпадает с базовой моделью на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая немногим более пятой части размера BF16-версии. Более компактные варианты уменьшают требования к хранилищу, но могут сильнее ограничивать качество. Языки и размер контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-MXFP8 — это квантизированная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем chriswritescode на базе модели Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0 по схеме MXFP8 (OCP microscaling FP8, размер блока 32). Модель предназначена для задач генерации текста и изображений с текстом, включая диалоговые сценарии, работу с кодом, мультимодальный анализ и использование инструментов через совместимые серверы инференса. Размер контрольной точки составляет 32 ГБ в восьми сегментах. Квантизированы линейные слои языковой модели, тогда как vision tower, отдельные компоненты гибридного внимания, embed_tokens, lm_head и встроенная MTP-голова сохранены в BF16. KV-кэш не квантизирован; поддерживается speculative decoding через MTP. Заявленный контекст — до 262 144 токенов при конфигурации vLLM из README. Точные языки и полный набор модальностей базовой модели в README не описаны, однако указана проверка на многоязычных данных и наличие vision tower. По результатам специального сравнения с BF16-версией модель показала более низкую дивергенцию, чем официальная Qwen3.8-27B-FP8, однако эти измерения характеризуют близость распределений, а не качество выполнения прикладных задач; публичные task-бенчмарки для этой контрольной точки не проводились. Практическое ограничение — аппаратная зависимость MXFP8: нативная поддержка заявлена для Blackwell (SM100+). В vLLM модель работает на SM80+ через Marlin с вычислениями в BF16, тогда как SGLang без специального пути конвертации требует SM100+. Лицензия Apache 2.0, унаследованная от базовой модели.

Qwen3-Swallow-32B-SFT-v0.2 — двуязычная языковая модель команды Swallow LLM, разработанная на базе Qwen3 и дообученная методом supervised fine-tuning (SFT) после этапа continual pre-training. Это плотная авторегрессионная модель семейства Qwen3 с 29,7 млрд параметров, рассчитанная на японский и английский языки. Она принимает текст и генерирует текст; длина контекста по метаданным — 40 960 токенов. Модель предназначена для диалогов и генерации ответов, а также для задач на японском и английском языках, включая перевод между ними, математику, программирование и рассуждения. Авторы сообщают о сохранении или улучшении STEM-навыков и усилении рассуждений; для воспроизводимого инференса рекомендуют vLLM и длину контекста до 32 768 токенов. Вызов инструментов не проходил специальное обучение, а отдельный переключатель режима рассуждений не поддерживается. Модель выпущена под лицензией Apache-2.0. В README отмечено, что она находится на раннем этапе исследований и разработки и не была специально настроена для соответствия намерениям пользователей и требованиям безопасности.

BenevolenceMessiah/QwQ-32B-Preview-abliterated-Self-instruct-3x-TIES-v1.0 — языковая модель на 32 млрд параметров, созданная BenevolenceMessiah слиянием предобученных моделей через TIES с помощью mergekit. В качестве базовой использована huihui-ai/QwQ-32B-Preview-abliterated; в слияние также вошли EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2, rombodawg/Rombos-Coder-V2.5-Qwen-32b и rombodawg/Rombos-LLM-V2.5-Qwen-32b. Модель построена на плотной архитектуре Qwen2 и предназначена для генерации текста и диалогов. Поддерживает контекст до 32 768 токенов, распространяется в формате safetensors и работает через Transformers. В каталоге также отмечен интерфейс вызова инструментов. Состав моделей предполагает применение для общих диалогов, работы с кодом и написания историй, однако отдельные языки и качество на конкретных задачах не подтверждены предоставленными данными. Условия лицензирования в предоставленных источниках не приведены, поэтому перед использованием следует проверить лицензию репозитория и условия базовых моделей. Модель создана слиянием и может наследовать особенности и ограничения включённых чекпойнтов.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-4x-TIES-MGS-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей TheBeagle, EVA-Qwen2.5 и Rombos. Она предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, рассуждений и помощи с программированием. Модель содержит 32 млрд параметров, принимает текст и выдаёт текст; нативное окно контекста — 32 768 токенов. Репозиторий содержит веса Safetensors для библиотеки Transformers. Карточка не сообщает лицензию и не описывает отдельные результаты оценки качества; характеристики базовой QwQ указывают на ориентацию на рассуждения и код, но не гарантируют их качество после слияния.

Solar Open2 250B — Nota NVFP4 — это 4-битная квантованная версия большой языковой модели Solar Open2 250B, разработанной Upstage и подготовленной Nota AI с использованием собственной технологии квантования Mixture-of-Experts (MoE). Модель предназначена для генерации текста и может обслуживать задачи рассуждения, программирования, следования инструкциям, работы с англоязычными и корейскоязычными заданиями, а также другие сценарии применения больших языковых моделей. В заявленных метаданных указаны английский, корейский и японский языки; модальность — текстовая. Размер контекста в README не указан. Модель использует формат NVFP4 с 4-битным квантованием весов и активаций (W4A4), group_size=16 и упаковкой compressed-tensors для прямого запуска через vLLM. Заявленный объём весов составляет 153,3 ГБ против 500,6 ГБ у версии BF16. Ключевое преимущество — существенно меньшие требования к памяти и более высокая пропускная способность при близком к BF16 качеству на приведённых тестах; средний результат составил 81,35 против 81,57 у BF16. Ограничение — необходимость GPU архитектуры NVIDIA Blackwell с поддержкой FP4 tensor cores, например B200 или GB200; Hopper, Ada и Ampere не поддерживаются. Для развёртывания требуется vLLM и Blackwell-класс GPU. Модель распространяется по лицензии Upstage Solar License. Для производных моделей указаны требования использовать префикс Solar в названии, размещать заметную атрибуцию «Built with Solar» в публичных материалах и включать копию лицензии Upstage Solar.

Spec-T1-Base-7B — плотная языковая модель на 7 млрд параметров от SVECTOR-CORPORATION, обученная с нуля для рассуждений. Она предназначена для генерации текста и диалогов, в частности для решения математических задач и рассуждений о коде. В карточке указаны интерфейс чата и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Модель предварительно обучали примерно на 5 трлн токенов в течение 5,5 месяцев на данных с акцентом на математику и программирование. Контекст составляет до 32 768 токенов. В README приведены результаты внутренних оценок; команда уточняет, что измерения проводились в контролируемой среде и не проверялись внешними организациями. Репозиторий содержит веса в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия лицензии в карточке модели. Заявления о сравнении с моделями большего размера относятся к оценкам авторов; результаты могут зависеть от условий тестирования.

Youssofal/Ternary-Bonsai-2-27B-MTPLX-Optimized-Speed — сборка модели Prism ML Ternary Bonsai 2 27B для ускоренного запуска через MTPLX на компьютерах Mac с Apple Silicon. В её основе лежит Qwen/Qwen3.8-27B, объединённая с prism-ml/Ternary-Bonsai-2-27B-mlx-2bit. Это плотная мультимодальная модель с поддержкой диалога, анализа изображений и интерфейса вызова инструментов. Весовые коэффициенты языковой части представлены значениями −1, 0 и +1 с масштабированием по группам; пакет для MTPLX занимает 8,85 ГБ и включает зрительную башню Qwen 3.8 27B. MTPLX использует специализированные GPU-ядра и многотокенное спекулятивное декодирование. В README приведены замеры на M5 Max: 64,4 токена/с при запросе на 4 061 токен и 57,1 токена/с при 16 350 токенах; заявлена работа на Mac с объединённой памятью от 16 ГБ. Модель рассчитана на локальные диалоги, анализ изображений, программирование и работу через агентские клиенты, поддерживающие инструменты. README указывает лицензию Apache-2.0. Для запуска требуется MTPLX версии 2.12.0 или новее; для агентских клиентов рекомендуется Mac с памятью от 18 ГБ. Приведённые скорости относятся к конкретной конфигурации M5 Max и не гарантируют такую же производительность на других устройствах.

Masterjp123/XOrcaSlimWin-13B — объединённая SLERP-модель на основе Xwin-Lm-13B, Xwin-math-13B, XwinCoder-13B и SlimOrca-13B. Она предназначена для генерации текста и сочетает возможности диалоговой модели, решения математических задач и работы с кодом. Модель построена на архитектуре Llama, содержит 12,9 млрд параметров и рассчитана на контекст до 4096 токенов. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README предупреждает о возможных проблемах при использовании формата Alpaca. Метаданные указывают лицензию Llama 2. README также упоминает GGUF-квантизацию, хотя в доступных метаданных формат файлов указан как safetensors.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

airoboros-7b-gpt4-1.2 — плотная причинно-языковая модель семейства LLaMA примерно на 6,6 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Она предназначена для диалоговых ответов и генерации текста по инструкциям; карточка описывает формат общения с ролями USER и ASSISTANT и шаблон Vicuna. Модель рассчитана на программирование, математические задачи и рассуждения, викторины, ролевые диалоги, вопросы с вариантами ответа и заполнением пропусков, а также ответы с учётом заданного контекста. Для запросов на генерацию кода обучалась выводить код без Markdown-разметки при добавлении маркера PLAINFORMAT, но это поведение не гарантируется. Контекст — 2048 токенов; формат репозитория — PyTorch. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Baanzon-Chenni-1.5-9B-i1-GGUF — это квантизированная версия модели Baanzon-Chenni-1.5-9B, разработанной Devopsopraiz и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, задач разработки программного обеспечения и автономных агентов. В метаданных также указано, что это vision-модель, однако подробности о поддерживаемых визуальных входах и способах их использования в описании не приведены. Модель содержит около 9 млрд параметров и связана с семейством Qwen3. Указан английский язык. Репозиторий предоставляет набор вариантов квантизации i1, включая IQ- и Q-форматы размером примерно от 2,8 до 7,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по сочетанию размера, скорости и качества; наиболее низкие уровни квантизации могут заметно снижать качество. Доступны imatrix-кванты и статические GGUF-файлы для локального запуска в совместимом программном обеспечении. Размер контекстного окна, точная архитектура, результаты оценивания, перечень языков помимо английского и характеристики мультимодальности не указаны. Модель распространяется по лицензии MIT.

MaziyarPanahi/DeepSeek-V3-0324-GGUF — это набор файлов модели DeepSeek-V3-0324 в формате GGUF. Исходную модель разработала команда deepseek-ai, а данную GGUF-версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями, включая варианты с ускорением на GPU и совместимыми API. Это делает модель пригодной для локальных чат-интерфейсов, серверов генерации текста и интеграции в приложения. В README указана 2-битная квантизация, которая может снизить требования к памяти, но потенциально сопровождается ухудшением качества по сравнению с полноразмерной моделью. В предоставленных данных не указаны архитектура, общее число параметров, поддерживаемые языки и размер контекста. Модель распространяется по лицензии MIT.

Это конвертированная в формат MLX модель Gemma 4 12B Unified, основанная на google/gemma-4-12B. Конверсию выполнило сообщество mlx-community с помощью mlx-vlm версии 0.6.0; модель предназначена для запуска на устройствах Apple с MLX. Базовая модель Google DeepMind поддерживает диалоги, код, рассуждения и анализ текста, изображений, видео и аудио. Репозиторий содержит веса safetensors в формате bf16. Лицензия — Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические для этой конверсии сведения о контекстном окне, языковой поддержке и качестве не приведены. Для запуска через описанный интерфейс требуется mlx-vlm.

Abiray/Gemma-4-12B-it-AEON-Abliterated-K4-GGUF — это GGUF-квантизированная версия инструкционной модели Gemma-4-12B-it-AEON-Abliterated, разработанной AEON-7 на основе Google Gemma-4-12B-it. Модель предназначена для генерации текста, чат-взаимодействия, выполнения инструкций, рассуждений, программирования, а также сценариев с tool calling и function calling. В карточке указана поддержка английского языка. Модель использует архитектуру gemma4_unified и содержит около 12 миллиардов параметров. Отличительная особенность — abliteration с применением пользовательской K=4 multi-direction norm-preserving biprojection, призванной сохранять качество генерации и устранять стандартные шаблоны отказов. Репозиторий предоставляет варианты квантизации от 3 до 8 бит: размеры файлов составляют примерно от 6,09 до 12,70 ГБ. Рекомендуемый вариант Q4_K_M занимает 7,38 ГБ и рассчитан на запуск на одной видеокарте уровня T4 или RTX 3060/4060; Q8_0 близок к точности BF16 и требует около 16 ГБ видеопамяти. В примере запуска указан контекст 4096 токенов, но максимальный размер контекста в README не заявлен. Сильными сторонами являются широкий выбор уровней квантизации, возможность запуска через llama.cpp и llama-cpp-python, поддержка локального развёртывания и ориентация на сценарии, где требуется меньше отказов. Ограничения включают отсутствие заявленных сведений о качестве на стандартных бенчмарках, неполные данные о мультимодальности и максимальном контексте, а также возможные риски, связанные с удалением стандартных механизмов отказа. Модель распространяется под лицензией Gemma.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.

Infinity-Instruct-3M-0613-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0613. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров с контекстом 32 768 токенов, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; карточка указывает английский язык. Модель обучена методом supervised instruction tuning без обучения с подкреплением по человеческим оценкам (RLHF). Авторы сообщают о результатах 25,5 на AlpacaEval 2.0 и 8,1 на MT-Bench, сопоставляя её с рядом более крупных и близких по размеру моделей. Эти результаты приведены авторами и не гарантируют качество на пользовательских задачах. Модель подходит для многошаговых диалогов, ответов на вопросы, написания текстов, а также задач по коду и математике. В README нет подробных сведений об ограничениях по конкретным сценариям; авторы предупреждают, что точность ответов не гарантируется. Лицензия метаданных — Apache-2.0, однако README ограничивает использование связанных ресурсов, включая веса, академическими исследованиями и запрещает коммерческое применение; это ограничение следует учитывать при использовании модели.

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

KONI-Llama3-8B-20240630 — языковая модель, разработанная Donghun Yang из KISTI. Это продолженное предварительное обучение Llama 3 с 8 млрд параметров на корпусе объёмом 200 ГБ на корейском и английском языках, включающем научно-технические материалы. Модель использует авторегрессионную архитектуру Transformer и принимает текст, генерируя текст и код; контекст составляет 8192 токена. Модель предназначена для генерации текста и кода, а также для адаптации к разным задачам генерации естественного языка. В карточке указана предварительная версия от 30 июня 2024 года. Ограничения лицензии: CC-BY-NC-SA-4.0 и лицензия Llama 3; перед использованием следует соблюдать условия обеих лицензий и применимые правила использования Llama 3.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

RedHatAI/Llama-3.1-8B-Instruct-NVFP4 — квантованная версия Meta-Llama-3.1-8B-Instruct, разработанная RedHatAI для коммерческого и исследовательского использования. Модель предназначена для диалоговых ассистентов и генерации текста на основе текстовых запросов; поддерживает ввод и вывод только в текстовой модальности. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако README отдельно ограничивает использование английским языком. Модель основана на архитектуре Meta-Llama-3.1 и имеет 8 млрд параметров. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4 с использованием LLM Compressor; размер группы для весов — 16. Это снижает количество бит на параметр с 16 до 4, а требования к дисковому пространству и GPU-памяти примерно на 75%, что делает модель подходящей для эффективного инференса с vLLM версии 0.9.1 и выше. Контекстная длина в README не указана; для калибровки использовалась максимальная последовательность длиной 2048 токенов. К сильным сторонам относятся уменьшенные требования к памяти и возможность производительного развертывания через vLLM, включая OpenAI-совместимый сервер. Ограничением является потенциальное снижение качества по сравнению с неквантизированной базовой моделью, хотя README сообщает о сравнительной оценке без подробных результатов. Модель распространяется по лицензии llama3.1; применение должно соответствовать действующему законодательству, включая требования торгового контроля.

Модель gradientai/Llama-3-8B-Instruct-Gradient-4194k — англоязычная диалоговая версия Llama 3, разработанной Meta и опубликованной Gradient AI. Это плотная авторегрессионная трансформерная языковая модель класса LlamaForCausalLM с Grouped-Query Attention; в репозитории заявлено около 7,5 млрд параметров. Она принимает текст и генерирует текст или код, подходит для чат-ассистентов и задач генерации естественного языка. Метаданные указывают поддержку чата и тег английского языка; README описывает исходную Llama 3 как предназначенную для английского. Модель распространяется в формате safetensors по лицензии llama3, то есть по условиям лицензии и политики допустимого использования Meta Llama 3. README описывает семейство Llama 3, а не изменения Gradient-варианта, поэтому дополнительные свойства, подразумеваемые суффиксом названия, здесь не подтверждены. Как и другие базовые генеративные модели, она может выдавать неточные или небезопасные ответы; для прикладного развертывания нужны проверки и защитные меры.

MiniCPM5-2B-Base — базовая плотная авторегрессионная языковая модель семейства MiniCPM5, разработанная OpenBMB. Она предназначена для локальных ассистентов, агентных сценариев, работы с инструментами и рассуждений на устройствах с ограниченными ресурсами. Модель содержит около 2,2 млрд параметров; в карточке указана архитектура LlamaForCausalLM с 42 слоями и поддержка длинного контекста. README указывает контекст 131 072 токена, тогда как метаданные каталога сообщают 524 288 токенов. Модель работает с текстом и ориентирована на английский и китайский языки. Среди заявленных сильных сторон — код, математика, понимание длинного контекста, использование инструментов и агентные задачи; это характеристики, заявленные разработчиком, а не независимая оценка. Для фактических результатов важны вычислительные ресурсы, среда запуска и проверка ответов: генерация может быть неточной, предвзятой или оскорбительной и уязвима к специально составленным запросам. Лицензия — Apache-2.0.

Mistral-7B-Uncensored — разговорная текстовая модель на базе архитектуры Mistral 7B с примерно 7 миллиардами параметров. Согласно карточке, её разработчик и сопровождающий — luvGPT; модель создана посредством дообучения, ориентированного на выполнение инструкций. Указанный язык — английский, основная модальность — текст. Репозиторий содержит квантованную версию для локального запуска. Модель предназначена для диалоговых сценариев, следования инструкциям, творческого письма, открытого обсуждения, помощи с кодом и техническими объяснениями. Она ориентирована на локальное и автономное использование, включая приватные или изолированные среды, исследование prompt engineering и alignment, а также эксперименты с пользовательской настройкой поведения. Поддерживается формат диалога с ролями system, user и assistant; заявлена стабильная работа в продолжительных разговорах и выполнение многошаговых задач. К сильным сторонам относятся компактный для локального развертывания размер, пригодность для квантованных и CPU-ориентированных сред, гибкость и сниженный уровень автоматической фильтрации. Ограничение модели заключается в отсутствии встроенного защитного фильтра: ответственность за применение и управление рисками возлагается на оператора. Модель распространяется по лицензии Apache 2.0.

Nemotron-H-4B-Base-8K — базовая языковая модель NVIDIA для продолжения текста. Она использует гибридную архитектуру Nemotron-Hybrid на основе Mamba-2 и слоёв MLP с четырьмя слоями Attention; размер модели — 4 млрд параметров, длина контекста — до 8 тысяч токенов. Модель создана с применением прореживания и дистилляции Nemotron-H-8B-Base-8K на 380 млрд токенов. Модель принимает и генерирует текст. Она поддерживает английский, немецкий, испанский, французский, итальянский, корейский, португальский, русский, японский и китайский языки; в обучающих данных также был код. Модель подходит для дополнения текста, генерации кода, математических задач и рассуждений. Это базовая модель без обязательного формата промпта; для специализированных сценариев NVIDIA рекомендует адаптацию с помощью инструментов NeMo. Модель предназначена для исследований и разработок и оптимизирована для систем с GPU NVIDIA; в карточке указана лицензия other, конкретные условия которой следует сверить с лицензией репозитория. Возможны неточные, неполные или избыточные ответы, токсичные высказывания и усиление предвзятости из обучающих данных; модель уязвима к атакам, нарушающим выравнивание.

Nil-PAPA-v1 — языковая модель на 1,5 млрд параметров, полученная pwg0218 слиянием методом SLERP моделей Qwen2.5-1.5B-Instruct и Qwen2.5-Coder-1.5B-Instruct. Она предназначена для генерации текста и диалогов, включая задачи, где полезны навыки работы с кодом. Архитектура — плотная Qwen2ForCausalLM; модель доступна в формате safetensors и поддерживает контекст до 32 768 токенов. Модель можно применять для диалоговых ответов, генерации текста и помощи с кодом. В метаданных также заявлен интерфейс вызова инструментов. Карточка не описывает языковой охват, сравнительные результаты или ограничения качества. Лицензия в предоставленных данных не указана.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.

OrakzaiX — это общественный GGUF-релиз модели класса 8B на архитектуре Llama, поддерживаемый и квантизированный Faisal Orakzai в рамках экосистемы Orakzai. В метаданных указана базовая модель meta-llama/Llama-3-8B-Instruct; данных о самостоятельном обучении новой фундаментальной модели нет. Модель предназначена для локальной генерации текста и диалоговых сценариев: создания частных ассистентов, офлайн-прототипирования, разработки инструментов, суммаризации, извлечения технической информации, объяснения кода, автоматизации и экспериментов с многоагентными рабочими процессами. Формат GGUF рассчитан на запуск через совместимые средства, включая llama.cpp, на потребительском оборудовании, рабочих станциях, периферийных устройствах и частных серверах. Локальное выполнение может помочь сохранять запросы и ответы в контролируемой среде, однако безопасность зависит от настроек и окружения. Доступны варианты квантизации от Q2_K до Q8_0; рекомендуемым начальным вариантом указан Q4_K_M, обеспечивающий компромисс между качеством, скоростью и потреблением памяти. Фактические требования к ресурсам выше размера файла из-за контекста, KV-кэша и служебных буферов. Языки, размер контекстного окна, результаты бенчмарков, точность в специализированных областях, надежность вызова инструментов и возможности автономной работы не указаны. Лицензия обозначена как other; перед распространением или коммерческим использованием необходимо проверить условия лицензии OrakzaiX и базовой модели Meta.

Phi-3-mini-128k-instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку естественного языка и кода; в метаданных указан английский язык. Это текстовая, а не мультимодальная модель. Ключевая характеристика модели — контекстное окно до 128 000 токенов. Репозиторий содержит варианты с квантизацией от 2 до 8 бит, а также версию f16 размером 7,64 ГБ. Рекомендуемыми считаются Q4_K_M как сбалансированный вариант, а также Q5_K_M и Q5_K_S с меньшими потерями качества. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; для Q2_K, Q3 и некоторых Q4-вариантов это прямо отмечено в описании. Модель может использоваться локально через совместимые инструменты GGUF и LlamaEdge; для запуска требуется LlamaEdge версии 0.12.2 или выше и шаблон запросов phi-3-chat. В README не приведены результаты тестирования, точное число параметров, требования к аппаратному обеспечению или сведения о качестве на конкретных задачах. Модель распространяется по лицензии MIT.