II.3Рефакторинг, миграция и модернизация

Qwen1.5-14B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2: плотная авторегрессионная языковая модель на архитектуре Transformer с 13,4 млрд параметров, предназначенная для генерации текста в диалоге и следования запросам пользователя. Модель поддерживает многоязычное общение и контекст длиной до 32 768 токенов. В основе семейства — декодерная архитектура Transformer; для Qwen1.5 описаны активация SwiGLU, смещение в QKV-внимании и адаптированный к разным естественным языкам и программным кодам токенизатор. Репозиторий содержит веса в формате Safetensors. Модель подходит для чат-ботов, ответов на вопросы, создания и преобразования текста. Карточка рекомендует использовать Transformers версии 4.37.0 или новее и предоставленные параметры генерации, чтобы уменьшить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует уточнять в карточке модели.

RedHatAI/Qwen3-14B-NVFP4 — квантизированная версия языковой модели Qwen3-14B, разработанная RedHatAI на базе Qwen/Qwen3-14B. Модель принимает текст и генерирует текст, предназначена для задач text generation и развёртывания в среде vLLM версии 0.9.1 и выше. В модели применена FP4-квантизация весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением FP16 это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно на 75%. Квантизация выполнена с использованием LLM Compressor, с калибровкой на данных UltraChat; параметры включают групповой размер 16. Модель имеет размерность 14B, работает с текстовой модальностью, однако размер контекста в представленном README не указан. В метаданных заявлены языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, при этом отдельно указано ограничение на использование в языках, отличных от английского. Основное преимущество модели — снижение требований к дисковой и GPU-памяти при сохранении совместимости с эффективным инференсом через vLLM и OpenAI-compatible serving. Ограничения включают возможное снижение качества из-за квантизации, зависимость от подходящей аппаратной и программной поддержки FP4, а также языковое ограничение на использование только английского языка согласно README. Модель распространяется по лицензии Apache-2.0; также указано ограничение на использование с нарушением применимых законов и нормативных требований.

Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1-GGUF — экспериментальная дистиллированная версия Qwen3.5-9B, разработанная Jackrong. Модель дообучена методом supervised fine-tuning с использованием Unsloth и LoRA на отфильтрованных данных рассуждений, созданных на основе GLM-5.1. В README также указана лицензия Apache-2.0. Модель предназначена для локального запуска и генерации ответов в диалоговых, инструкционных, математических, STEM- и кодовых сценариях. Основной акцент сделан на многошаговом рассуждении, декомпозиции задач, соблюдении инструкций и более структурированной организации ответов. Заявлена поддержка английского, китайского, японского и испанского языков. По метаданным репозитория модель относится к multimodal и image-text-to-text моделям с поддержкой vision, однако подробности о поддерживаемых форматах изображений и способах их обработки не приведены. Ключевая характеристика — размер 9 млрд параметров и дистилляция структуры рассуждений GLM-5.1, а не простое копирование ответов учителя. Ожидаемые преимущества включают более стабильное многошаговое рассуждение, лучшую декомпозицию задач и более последовательное следование инструкциям. При этом автор отмечает, что улучшения для модели такого масштаба, вероятно, будут постепенными, а не радикальными. README не содержит сведений о размере контекста, точной архитектуре мультимодальной части, количественных результатах бенчмарков и ограничениях безопасности, поэтому эти характеристики нельзя оценить дополнительно.

Avifenesh/Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия Qwen3.8-27B, разработанная Qwen и подготовленная Avifenesh как артефакт сервинга лаборатории tiyuvta. Модель предназначена для генерации текста, диалоговых приложений и агентных сценариев; встроенный MTP (multi-token prediction) позволяет использовать speculative decoding для ускорения инференса в совместимых движках, прежде всего memra. Модель использует NVFP4-квантизацию с 4-битными весами, эмбеддинги и выходную голову в формате Q5_K, а также включает отдельный MTP-блок и маскированную draft head для speculative decoding. Размер базовой модели — 27B параметров, словарь содержит 248 320 токенов, встроенный chat template поддерживает tool calling и thinking blocks. Заявлен нативный текстовый контекст до 262 144 токенов. Мультимодальный VL-компонент в этот артефакт не входит, а поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженный размер файла, поддержка длинного контекста и ускорение декодирования: для конфигурации MTP K=3 указаны медианная скорость 137,9 токена в секунду на RTX PRO 6000 Blackwell и 73,6 токена в секунду на RTX 5090 Laptop при коэффициенте принятия черновых токенов 0,74. Ограничения связаны с необходимостью движка, поддерживающего GGUF, NVFP4 и MTP, а также с оптимизацией под аппаратные платформы Blackwell; приведённые сервисные измерения относятся к уже закрытому endpoint и не являются текущей гарантией производительности. Модель распространяется по лицензии Apache-2.0.

ggml-org/Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, автоматически преобразованная в формат GGUF проектом ggml-org. Исходная модель разработана командой Qwen; в карточке также указаны связанные исходные модели Qwen/Qwen3-8B, z-lab/Qwen3-8B-DFlash-b16 и deepseek-ai/dspark_qwen3_8b_block7. Модель предназначена для генерации текста и может использоваться через совместимые инструменты, включая llama.app. Объём модели составляет 8B параметров; формат GGUF и квантизация ориентированы на более удобный запуск и эффективное использование ресурсов по сравнению с полноразмерной версией. Сведения о конкретном варианте квантизации, архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Модель распространяется по лицензии Apache-2.0. Ограничения по качеству, точности, требованиям к оборудованию и рекомендуемым сценариям использования отдельно не описаны.

Qwen3-Swallow-30B-A3B-RL-v0.2 — двуязычная языковая модель Swallow LLM на архитектуре Qwen3 MoE, дообученная методом обучения с подкреплением на проверяемых наградах (RLVR) поверх Qwen3-Swallow-30B-A3B-SFT-v0.2. Она предназначена для диалогов на японском и английском, перевода между этими языками, решения математических задач и программирования с рассуждениями. В репозитории указано 2,6 млрд параметров и контекст до 40 960 токенов; для воспроизводимого инференса авторы рекомендуют vLLM и советуют ограничивать контекст 32 768 токенами или меньше. Модель обучалась на японских и англоязычных корпусах, а также на данных по математике, коду и диалогам. Разработчики сообщают об улучшенных языковых и рассуждательных способностях при сохранении результатов в STEM-задачах. Модель не обучалась специально для вызова инструментов, а переключение режима рассуждений не поддерживается. Авторы отмечают, что модель находится на раннем этапе разработки и не настроена для гарантированного соответствия намерениям человека и требованиям безопасности. Лицензия — Apache-2.0.

SDLM-3B-D8 — диффузионная языковая модель семейства SDLM, разработанная OpenGVLab на основе Qwen2.5-3B. Это дообученная модель с плотной архитектурой Qwen2, примерно 3,1 млрд параметров и контекстом до 32 768 токенов; она доступна в формате Safetensors и рассчитана на генерацию текста и диалоговое использование на английском языке. Модель применяет последовательное блочное маскирование и декодирование по самому длинному уверенному префиксу, чтобы предсказывать несколько токенов за шаг. В отчёте авторов заявлены примерно двукратное ускорение относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; скорость можно настраивать порогом уверенности. Обучение включает математические, кодовые, научные, табличные и общие диалоговые данные, что делает модель пригодной для генерации ответов, решения задач и написания кода. Лицензия — Apache-2.0.

Yi-1.5-9B-Chat-16K-GGUF — это набор квантованных GGUF-версий диалоговой языковой модели Yi-1.5-9B-Chat-16K, разработанной 01.ai и квантованной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов в локальных приложениях, включая сценарии, совместимые с LlamaEdge. Для работы используется шаблон prompt типа chatml, а заявленный размер контекста составляет 16 384 токена. Доступны варианты квантования от Q2_K до Q8_0, а также версия f16; размеры файлов варьируются примерно от 3,35 до 17,7 ГБ. В README не указаны поддерживаемые языки, модальности и подробности архитектуры базовой модели. Основное преимущество набора — выбор между меньшим размером и сохранением качества: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Низкобитные версии занимают меньше места, но могут заметно терять в качестве. Модель распространяется по лицензии Apache-2.0. Для запуска требуется совместимое программное окружение, например llama.cpp или LlamaEdge; в README указано, что поддержка LlamaEdge на момент публикации ожидается.

CleverBoi-Nemo-12B-v2 — текстовая generative-модель, разработанная theprint. Она дообучена в течение одной эпохи на наборе CleverBoi-Data-20k, содержащем примеры, ориентированные на логику, рассуждения, математику и программирование. Модель предназначена для генерации текста и решения задач, требующих следования инструкциям, логического вывода, математического анализа и работы с кодом. Модель дообучена на базе unsloth/Mistral-Nemo-Instruct-2407-bnb-4bit и имеет размер 12B параметров согласно идентификатору модели. Доступная языковая метка — английский. Указана текстовая модальность; сведения о длине контекста в README отсутствуют. Для ускорения обучения использовались Unsloth и библиотека TRL от Hugging Face. В оценках Open LLM Leaderboard модель получила средний результат 17,57: 20,46 на IFEval, 31,65 на BBH, 8,61 на MATH Level 5, 8,50 на GPQA, 11,43 на MuSR и 24,76 на MMLU-PRO. Эти результаты указывают на специализацию в задачах рассуждения и математики, однако не подтверждают высокую точность во всех сценариях. Ограничениями являются отсутствие данных о контекстном окне, мультиязычной поддержке, требованиях к аппаратному обеспечению и практической производительности. Модель распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Llama-70B, разработанной deepseek-ai и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.21.1. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в средах, совместимых с MLX. Для работы используется библиотека mlx-lm; README показывает загрузку модели, применение chat template и генерацию ответа по текстовому запросу. Ключевые характеристики: 70 миллиардов параметров в базовой модели, 4-битное представление весов, текстовая модальность и архитектурная основа Llama, унаследованная от DeepSeek-R1-Distill-Llama-70B. Сведения о поддерживаемых языках, размере контекстного окна, точных возможностях рассуждения, ограничениях, лицензии и требованиях к оборудованию в README не указаны.

DeepSeek-R1-Distill-Llama-70B-GGUF — это набор GGUF-квантизаций 70-миллиардной языковой модели DeepSeek-R1-Distill-Llama-70B, подготовленный пользователем bartowski на основе модели DeepSeek AI. Квантизация выполнена с помощью llama.cpp релиза b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, а также для инференса с использованием llama.cpp и совместимых инструментов. Модель является текстовой, однако в README не указаны точная архитектура исходной модели, размер контекстного окна и поддерживаемые языки. Доступны варианты с различной степенью квантизации: от Q8_0 размером около 75 ГБ до низкобитных IQ2 и Q2 размером около 22–27 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, ориентированы на сохранение качества, тогда как варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. Сильной стороной набора является широкий выбор форматов для подбора компромисса между качеством, размером и требованиями к памяти; для большинства сценариев в README рекомендуются Q6_K, Q5_K и Q4_K_M. Ограничения включают очень высокие требования к оперативной или видеопамяти даже у компактных вариантов, а также возможное снижение качества при сильной квантизации. Лицензия в предоставленном README не указана.

bartowski/DeepSeek-R1-Distill-Qwen-14B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Qwen-14B, разработанной DeepSeek. Квантизация выполнена bartowski с использованием llama.cpp b4514 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio, с применением формата промпта, указанного в README. Доступны варианты от полных F32 и F16 весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, размером примерно от 6,66 до 59,09 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как рекомендуемые варианты высокого качества. Некоторые форматы оптимизированы для работы на CPU и Apple Silicon, включая online repacking для ARM и AVX. В README не указаны архитектурные детали, длина контекста, поддерживаемые языки и модальности, а также лицензия. Поэтому модель следует рассматривать как текстовую локальную модель, совместимость и фактические требования к памяти которой зависят от выбранного файла квантизации и используемого программного обеспечения.

dolphin-2.0-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и cognitivecomputations/dolphin-2.0-mistral-7b методом SLERP. Конфигурация указывает диапазон слоёв 0–32 для обеих моделей и формат весов bfloat16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов, язык в карточке — английский. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; качество ответов может зависеть от формулировки запроса и задач, на которых проверяется модель.

DPOpenHermes 7B v2 GGUF — квантизированная версия языковой модели Open Access AI Collective, подготовленная TheBloke в формате GGUF. Модель основана на архитектуре Mistral, содержит около 7 миллиардов параметров и предназначена для генерации текста на английском языке, включая диалоговые и инструкционные сценарии. Модель обучалась с использованием наборов данных teknium/openhermes, allenai/ultrafeedback_binarized_cleaned и Intel/orca_dpo_pairs. Для общения используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах с 2-, 3-, 4-, 5-, 6- и 8-битной квантизацией, что позволяет запускать модель с разными компромиссами между качеством, скоростью и требованиями к памяти на CPU и GPU. Модель совместима с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения включают поддержку только английского языка согласно карточке и отсутствие сведений о мультимодальности или размере контекстного окна. Лицензия — Apache 2.0.

Dracarys-Llama-3.1-70B-Instruct-GGUF — это квантованные версии инструкционной языковой модели Dracarys-Llama-3.1-70B-Instruct, разработанной AbacusAI. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и другие задачи, поддерживаемые текстовыми LLM. Варианты подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix; запуск рекомендуется через LM Studio или совместимое программное обеспечение. Модель основана на архитектуре Llama 3.1 и содержит 70 миллиардов параметров. Доступны уровни квантования от Q8_0 до IQ1_M, что позволяет выбирать между качеством ответов и требованиями к оперативной памяти: наиболее качественными считаются Q6_K, Q5_K_M и ряд вариантов Q4, тогда как версии Q2 и Q3 заметно уступают по качеству, хотя некоторые из них остаются пригодными для использования. Размер файлов составляет примерно от 16,75 до 74,98 ГБ. Мультимодальность, поддерживаемые языки и размер контекстного окна в README не указаны. Основные преимущества — большой размер модели, инструкционная настройка и широкий выбор квантований для локального запуска. Ограничения связаны с высокими требованиями к памяти, особенно для качественных вариантов, а также с потерей качества при сильном квантовании. Для корректной работы следует использовать указанный формат prompt с системным, пользовательским и ассистентским сообщениями. Лицензия указана как llama3; дополнительные условия лицензии в README не приведены.

EuroLLM-9B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-9B-Instruct, разработанной проектом utter-project и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций и локальный запуск через совместимые приложения, например LM Studio. Модель имеет около 9 миллиардов параметров и поддерживает широкий набор языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, украинский, китайский, японский, корейский, арабский и хинди. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты от F16 до Q2_K_L, различающиеся размером файлов, требованиями к памяти и качеством: старшие варианты обеспечивают качество, близкое к исходной модели, а младшие подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Модель удобна для локального инференса благодаря большому выбору квантизаций; рекомендованным вариантом по умолчанию назван Q4_K_M, а для максимального качества — Q6_K или Q6_K_L. Некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости, в частности отдельные сборки не рекомендуются для Mac или GPU. Лицензия — Apache-2.0.

Это квантизированная версия Gemma 3 12B IT, разработанная Google и преобразованная пользователем nocturne23 в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для запуска через llama.cpp в CLI-режиме или как сервер для генерации ответов и выполнения задач, поддерживаемых исходной инструкционной моделью. Известно, что модель основана на google/gemma-3-12b-it и имеет размер 12 миллиардов параметров. Вариант Q4_K_M использует 4-битную квантизацию, что уменьшает требования к памяти по сравнению с полной версией, но может снижать точность. В метаданных указана мультимодальная задача image-text-to-text, однако подробные сведения о поддерживаемых языках, длине контекста, архитектуре и возможностях работы с изображениями в README отсутствуют. В качестве ограничения также следует учитывать зависимость от llama.cpp и необходимость настройки под используемое оборудование. Для доступа и использования модели требуется принять лицензию Google Gemma на Hugging Face; в README лицензия обозначена как gemma. Условия коммерческого и иного применения следует проверять в исходной лицензии Google и оригинальной карточке модели.

noctrex/GLM-4.7-Flash-MXFP4_MOE-GGUF — квантизированная версия диалоговой MoE-модели GLM-4.7-Flash от Z.ai, представленная в формате GGUF. Репозиторий содержит вариант квантования MXFP4_MOE. Модель предназначена для диалоговой генерации текста. Базовая GLM-4.7-Flash также описана как модель для рассуждений и программирования; для общего чата README приводит рекомендуемые параметры генерации. Указан интерфейс чата и рекомендации для вызова инструментов. Квантование может снизить требования к памяти при запуске, но карточка не сообщает о замерах качества или скорости именно этой версии. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

Granite-4.1-30B (FP8) — это версия модели IBM Granite 4.1-30B, представленная в формате FP8. Репозиторий подготовлен для использования с библиотекой Transformers и предназначен для языковых задач; более подробные сведения о возможностях и сценариях применения приведены в карточке исходной модели ibm-granite/granite-4.1-30b, которая в предоставленных данных отсутствует. Ключевая характеристика этой версии — представление весов в формате FP8, что может быть полезно для более эффективного хранения и выполнения модели в совместимой инфраструктуре. Из доступного README не указаны архитектура, точный размер в параметрах помимо обозначения 30B, поддерживаемые языки, длина контекста, модальности, результаты тестирования, сильные стороны и ограничения. Модель распространяется по лицензии Apache-2.0.

Hercules-Mini-1.8B — разговорная языковая модель, разработанная M4-ai на основе Qwen1.5-1.8B. Модель дообучена на 700 тысячах примеров Hercules-v4 и имеет плотную архитектуру Qwen2 с 1,5 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для универсального ассистента: ответов на вопросы, математических задач, программирования, вызова функций и ролевых диалогов. В карточке указаны английский и, возможно, китайский языки; метаданные подтверждают английский. Лицензия обозначена в метаданных как other, а в README указана лицензия tongyi-qianwen. Известное ограничение — некорректно настроенный токен окончания последовательности: для предотвращения бесконечной генерации требуется самостоятельно задать критерий остановки. Оценка качества в карточке не приведена.

Hermes-4-14B-4bit — языковая instruction-модель, разработанная NousResearch и преобразованная сообществом mlx-community в формат MLX из NousResearch/Hermes-4-14B с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы общего назначения, рассуждения, ролевое взаимодействие, работу с функциями и инструментами, JSON Mode и структурированными ответами. Модель имеет размер 14 млрд параметров и использует 4-битное квантование. Она совместима с библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. В описании заявлены поддержка chat-сценариев, ChatML, function calling, tool use и long context, однако точный размер контекстного окна, архитектурные детали, модальности помимо текста и результаты benchmark-тестов не указаны. К сильным сторонам относятся instruction-настройка, возможности рассуждения, структурированной генерации и взаимодействия с инструментами, а также оптимизация в 4-битном формате для использования через MLX. Ограничения включают отсутствие подтверждённых количественных оценок качества и недостаток сведений о производительности, точной поддержке языков и поведении на задачах, не связанных с английским языком. Модель распространяется по лицензии Apache-2.0.

IberianLLM-7B-Instruct — мультиязычная авторегрессионная языковая модель на архитектуре Llama, разработанная LangTech. Модель содержит 6,7 млрд параметров, обучена с нуля на текстах и предназначена для генерации текста и диалогов на иберийских языках, английском и коде. Версия Instruct настроена для следования инструкциям и использует шаблон диалога ChatML; длина контекста составляет 8192 токена. Модель подходит для создания общего разговорного помощника, генерации текста и помощи с кодом. В README указано, что это ранняя демонстрационная версия без выравнивания с помощью RLHF; она может выдавать вредный или неподходящий контент, а качество может различаться между языками и диалектами. Выпущена под лицензией Apache 2.0, допускающей исследовательское и коммерческое использование.

Instruct Mixtral 8X7B V0.1 Dolly15K — это инструкционная языковая модель на архитектуре Mixtral, дообученная компанией Brillibits на наборе данных databricks-dolly-15k. Представленная версия распространяется в формате GGUF и подготовлена TheBloke с использованием квантования. Модель предназначена для генерации текста по инструкциям и может использоваться в локальных приложениях для диалога, ответов на вопросы и других задач text-generation. В названии указано 8 экспертов по 7B параметров, однако README не содержит дополнительных сведений о фактическом числе активируемых параметров, размере контекста, языках и поддерживаемых модальностях. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Формат совместим с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All и LM Studio. Сильной стороной модели является возможность локального запуска на CPU и GPU благодаря GGUF и нескольким уровням квантования. Ограничения включают возможные потери качества при сильном квантовании, а также отсутствие в README подробных результатов оценки и характеристик производительности. Лицензия модели — Apache-2.0.

Kimi-Linear-48B-A3B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Kimi Linear, разработанной Moonshot AI. Модель предназначена для генерации текста и работы в формате диалога, включая задачи с коротким и длинным контекстом, а также сценарии, связанные с reinforcement learning. В README указана поддержка Transformers и возможность развертывания через vLLM с OpenAI-совместимым API. Модель использует гибридную архитектуру с Kimi Delta Attention (KDA) и глобальными блоками MLA в соотношении 3:1. Всего она содержит 48 млрд параметров, из которых активируется около 3 млрд, и поддерживает контекст до 1 млн токенов. Архитектура снижает потребность в KV-кэше до 75% и обеспечивает ускорение декодирования до 6 раз на длинных последовательностях. README не указывает языки, поддерживаемые модальностями или результаты именно для AWQ-версии, поэтому эти характеристики нельзя достоверно оценить. К сильным сторонам относятся высокая эффективность на длинном контексте, уменьшенное потребление памяти и ускорение генерации. Для запуска требуются совместимые версии Python, PyTorch и fla-core, а при использовании Transformers может понадобиться trust_remote_code. Ограничениями являются значительные требования к ресурсам для модели такого размера и отсутствие в README подробных данных о качестве на конкретных прикладных задачах. Лицензия — MIT.

KoarAI/LFM2.5-350M-Thinking-0004 — компактная языковая модель для диалоговой генерации текста и пошаговых рассуждений. По карточке, модель разработана KoarAI на архитектуре LiquidAI LFM2.5 и дообучена методом двухэтапной дистилляции с несколькими учителями. В метаданных указаны плотная архитектура LFM2, около 443,4 млн параметров и контекст до 128 000 токенов. Модель предназначена для ответов на вопросы, многошаговых математических рассуждений, генерации кода и работы на маломощных устройствах. Карточка заявляет хорошее владение русским языком и генерацию структурированных рассуждений; метаданные также отмечают английский. Указана лицензия Apache-2.0. Результаты скорости и бенчмарков приведены авторами модели и не являются независимой оценкой.

Ling-3.0-flash-GGUF — это набор GGUF-конвертаций модели Ling-3.0-flash, разработанной inclusionAI и опубликованной пользователем bloomer010 для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых и агентских сценариев, включая вызов инструментов, рассуждения и speculative decoding. В основе лежит гибридная архитектура KDA и gated MLA с Mixture-of-Experts на 512 экспертов: общий размер составляет около 124 млрд параметров, из которых активно примерно 5,1 млрд. Конвертации напрямую созданы из BF16 safetensors и включают блок MTP/NextN, поэтому отдельная drafter-модель для этого режима не требуется. Поддерживается контекст до 256K токенов; README не указывает набор языков и наличие мультимодальных возможностей. Доступны варианты квантования от BF16 и Q8_0 до сильно сжатых IQ1 и MXFP4_MOE, что позволяет адаптировать модель к разному объёму памяти. Качество обычно выше у крупных файлов, а малые варианты требуют меньших ресурсов, но могут сильнее терять точность и стабильность. Для эффективного speculative decoding также предлагаются отдельные DSpark draft-модели. Агентское использование в llama.cpp зависит от поддержки актуальных изменений, связанных с Ling parser и обработкой некорректных UTF-8-последовательностей; без них возможны сбои при вызове инструментов в незавершённых блоках рассуждений. Модель распространяется по лицензии MIT.

QuantFactory/Llama3.1-8B-ShiningValiant2-GGUF — квантизированная версия чат-модели Shining Valiant 2, созданная QuantFactory с использованием llama.cpp на основе ValiantLabs/Llama3.1-8B-ShiningValiant2. Исходную модель разработала Valiant Labs; она дообучена на базе Meta-Llama-3.1-8B-Instruct, релиз от 6 августа 2024 года. Модель предназначена для диалогов и генерации текста, включая общие вопросы, объяснение научных и инженерных тем, технические задачи и структурированное рассуждение. Она ориентирована на дружелюбные, воодушевляющие, содержательные и познавательные ответы. Указан английский язык, текстовая модальность и архитектура Llama; размер — 8 миллиардов параметров. Модель использует формат промптов Llama 3.1 Instruct. Размер контекста в README не указан. К сильным сторонам относятся специализация на научно-технических знаниях, улучшенная согласованность ответов и гибкость общения. К ограничениям относятся зависимость качества от базовой модели и выбранного квантизированного формата; сведения о точности, конкретных вариантах квантования, системных требованиях и ограничениях безопасности не приведены. Лицензия указана как llama3.1.

mistral-7b-neuralhermes-2.5-dpo — разговорная модель семейства Mistral, созданная CorticalStack дообучением teknium/OpenHermes-2.5-Mistral-7B методом DPO на наборе Intel/orca_dpo_pairs. Она предназначена для диалогов и генерации ответов на текстовые запросы; метаданные также отмечают возможность общения в формате чата. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В карточке указаны параметры LoRA: r=16, alpha=16 и dropout=0,05. Модель распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные области применения или подтверждённые языки.

Это GGUF-квантизированная версия Mistral-Medium-3.5-128B, разработанной Mistral AI и квантизированной пользователем bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку текстовых запросов и изображений в совместимых инструментах. Доступны варианты для llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI, vLLM и других решений. Модель содержит 128 миллиардов параметров. В README заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Представлены варианты квантования от Q3 до Q8 с размером файлов примерно от 63 до 133 ГБ; более качественные варианты требуют больше оперативной или видеопамяти. Для мультимодального режима требуется совместимый mmproj-файл, при этом указано, что корректно работают варианты bf16 и f32, а f16 может давать некогерентные результаты. Исправлены настройки RoPE и связанные параметры квантования. Сильными сторонами являются большой размер, широкая языковая поддержка и наличие вариантов квантования, позволяющих выбирать между качеством и требованиями к памяти. Ограничениями выступают очень высокие аппаратные требования, необходимость совместимого ПО и возможные проблемы мультимодального режима с отдельными настройками mmproj. Лицензия указана как other; конкретные условия в README не приведены.