I.7Речь, диалоги и встречи

btbtyler09/Qwen3.6-27B-GPTQ-8bit — это 8-битная GPTQ-квантизованная версия модели Qwen/Qwen3.6-27B, разработанной командой Qwen. Модель представляет собой плотную мультимодальную систему примерно с 27 млрд параметров, предназначенную для генерации и понимания текста, работы с изображениями и ускоренного вывода с использованием MTP (Multi-Token Prediction). Контрольная точка опубликована с лицензией Apache-2.0. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, чередующихся в соотношении 3:1. Размер скрытого представления составляет 5120, размер промежуточного слоя — 17408, максимальная длина контекста — 262 144 токена. В состав входят полноразмерный 27-блочный ViT-энкодер для обработки изображений и MTP-модуль для speculative decoding. Языки и специализированные языковые возможности отдельно не указаны. Линейные модули текстового декодера квантизованы в INT8 с помощью GPTQ, тогда как vision-энкодер, MTP, эмбеддинги, нормы и выходная голова сохранены в BF16 или FP16. Размер модели составляет около 32 ГБ вместо примерно 50 ГБ в BF16. По заявленным измерениям, ухудшение perplexity на wikitext-2-raw-v1 составляет всего 0,07%, что указывает на близкое к исходному качество. Модель подходит для мультимодального сервинга и длинного контекста, однако для запуска рекомендуется vLLM; прямое использование через GPTQModel и transformers на момент публикации не поддерживается, а для некоторых версий vLLM может потребоваться исправление ошибки разбора конфигурации.

Qwen3.8-27B-Intel-Arc-Tuned-GGUF — это квантованная GGUF-версия модели Qwen3.8 с примерно 27 млрд параметров, подготовленная Greatjedi при участии Gemini для ускоренного запуска на видеокартах Intel Arc через llama.cpp, oneAPI SYCL и аппаратные матричные блоки DPAS. В качестве базовых моделей указаны empero-ai/Qwen3.8-27B-Ridge-GGUF и ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF. Модель предназначена для генерации текста, рассуждений, программного кода и структурированных ответов, включая извлечение JSON. Заявлены английский и китайский языки, а тип задачи в каталоге обозначен как text-generation. Ключевая особенность — преобразование неподдерживаемых на Intel Arc I-Quant-тензоров в преимущественно Q4_K-блоки с сохранением отдельных высокоточных компонентов, rotary embeddings, layer normalization и, в вариантах с MTP, встроенной NextN prediction head. Это устраняет переход к медленной CPU-деквантизации в SYCL-бэкенде. Для Intel Arc Pro B60 24GB заявлена скорость авторегрессионной генерации около 21–22 токенов в секунду, а со встроенным speculative decoding и MTP — до 41,88 токена в секунду; фактические показатели зависят от версии файла, сценария, оборудования и конфигурации запуска. Сильными сторонами являются оптимизация под Intel Arc поколений Battlemage Xe2 и Alchemist Xe, отсутствие необходимости во внешней draft-модели для вариантов со встроенным MTP и заметное ускорение относительно исходных I-Quant-вариантов. Ограничения включают узкую аппаратную специализацию, зависимость от совместимого SYCL-стека и llama.cpp, а также отсутствие в README точных сведений о максимальном контексте и единой архитектурной конфигурации всех вариантов. Модель распространяется по лицензии Apache-2.0.

wbydc/Qwen3.8-27B-TFCF-HU-CODER-GGUF — это GGUF-квантизированная мультиязычная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Репозиторий содержит обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью. В README указаны английский и китайский языки, а также лицензия Apache-2.0. Модель опубликована пользователем или организацией wbydc; обучение выполнялось с использованием Unsloth и многоэтапных методов Cold Fusion и Fable Fusion. Модель предназначена для широкого спектра сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых диалогов и других универсальных применений. Основной акцент сделан на подробных ответах, сокращении объёма внутренних рассуждений и повышении скорости генерации, в том числе в режиме MTP. README заявляет о заметном снижении числа thinking-токенов по сравнению с исходной версией Qwen3.8 и о высоких результатах на ARC-C и ARC-E, однако эти показатели приведены автором модели и не сопровождаются независимой методикой проверки. Ключевое ограничение — отсутствие в README точных сведений о длине контекста, поддерживаемых режимах мультимодальности и фактической архитектуре vision-компонентов, несмотря на тег image-text-to-text. Также заявлены uncensored-поведение и возможность генерации контента разных жанров, поэтому пригодность модели для чувствительных сценариев требует самостоятельной проверки. Для использования необходимо выбрать совместимый GGUF-квант и учитывать требования к памяти, зависящие от его разрядности.

Qwen3.8-27B Uncensored Heretic T10 BF16 — экспериментальная производная модели Qwen3.8-27B, размещённая пользователем nerkyor. Модель создана на основе официальной Qwen3.8-27B с применением метода C0/T10, направленного на снижение склонности к отказам. В репозитории доступны полные веса BF16, а также варианты Q8_0 для llama.cpp, черновая MTP-модель и vision projector. Модель предназначена для локального запуска в текстовых и мультимодальных сценариях, включая ответы на вопросы, рассуждения, программирование и обработку изображений. Указана поддержка мультимодальности и vision projector; конкретные языки не перечислены. Архитектура основана на Qwen3.8-27B, однако точные параметры контекста в README не указаны. Для работы рекомендуется использовать официальный chat template Qwen3.8 и актуальную сборку llama.cpp; thinking включён по умолчанию. Для ускорения вывода доступен MTP-вариант. В опубликованных тестах версия Q8_0 получила 87,0% на MMLU500, 85,35% на GPQA198 и 76/100 на LCB100. Главная особенность модели — крайне низкая частота жёстких отказов, но это одновременно означает сниженные защитные ограничения. Известное ограничение мультимодальной версии — неполное качество OCR: строгий синтетический тест не воспроизвёл заданную строку точно. Релиз носит исследовательский характер, требует самостоятельной проверки результатов и ответственного использования. Лицензия — Apache License 2.0; дополнительно необходимо соблюдать условия официальной Qwen3.8-27B и применимое законодательство.

Qwen3.8-9B — плотная языковая модель на 9 млрд параметров от Empero, полученная дистилляцией рассуждений модели-учителя Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. Это полное дообучение всех параметров базовой модели на SFT-примерах: примерно 70 тысяч отобранных трасс учителя по математике, программированию, общим рассуждениям, следованию инструкциям и работе с инструментами. Модель использует архитектуру Qwen3.5 и формат весов Safetensors; нативный контекст составляет 262 144 токена. Она предназначена для генерации ответов с пошаговыми рассуждениями, решения математических задач, написания кода и вызова инструментов. В карточке приведены результаты тестирования на GSM8K и MMLU; на MMLU модель заметно превзошла базовую Qwen3.5-9B, тогда как на GSM8K показала немного более низкий результат. Интерфейс вызова функций поддерживается без дополнительной обёртки. Лицензия — Apache-2.0. Тонкая настройка проводилась только для текста; визуальные возможности унаследованы от мультимодальной базы, но в карточке не оценивались.

Accio-Lab_occamy-1.0-GGUF — это квантизированная версия модели occamy-1.0, разработанной Accio-Lab и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 35 млрд параметров и предназначена для локального запуска в задачах агентного взаимодействия, совместной работы, использования инструментов и программирования. Модель поддерживает мультимодальный ввод: текст и изображения при наличии файла mmproj. В карточке также заявлены архитектура mixture-of-experts и поддержка длинного контекста, однако точный размер контекстного окна и перечень поддерживаемых языков не указаны. Спекулятивное декодирование не поддерживается, а для квантизации использована imatrix. Доступны варианты от BF16 до низкобитных Q2–Q8, что позволяет выбирать между качеством, требованиями к памяти и скоростью; рекомендуемым универсальным вариантом назван Q4_K_M размером 22,32 ГБ. К сильным сторонам относятся большой размер, поддержка изображений, сценариев tool-use и агентных приложений, а также широкий выбор уровней квантизации. Ограничения связаны с высокими требованиями к памяти даже для компактных вариантов, необходимостью отдельного mmproj-файла для работы с изображениями и отсутствием в README подробных результатов тестирования, сведений о языках и точном контексте. Модель распространяется по лицензии Apache-2.0.

Airoboros 33B GPT-4 1.2 — плотная авторегрессионная языковая модель семейства LLaMA с 32,3 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Версия 1.2 расширяет набор данных версии 1.1 и добавляет примеры, позволяющие запрашивать код в простом формате без Markdown-обрамления. Модель предназначена для диалоговых инструкций, генерации кода, математических задач и рассуждений, викторин, ролевого общения, вопросов с выбором ответа и ответов по заданному контексту. Обучающий набор также включает задания на понимание намерений и общие темы. Модель принимает текстовые запросы и генерирует текст; карточка описывает шаблон чата с ролями USER и ASSISTANT. Родной контекст составляет 2048 токенов. Модель ориентирована на широкий круг текстовых задач и включает примеры кода для разных языков программирования и библиотек. Автор отмечает, что режим PLAINFORMAT работает не всегда. Это ранняя версия модели, выпущенная в 2023 году; её лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

MiMo-V2.6-Flash-RL UNCENSORED GGUF — квантованная сборка модели Xiaomi MiMo-V2.6-Flash-RL, подготовленная cafonez для Framework Desktop с AMD Ryzen AI Max 400 (Gorgon Halo). Это текстовая MoE-модель с 309,8 млрд параметров и 256 экспертами, из которых на токен выбираются 8. Сборка занимает около 154,6 GiB и сочетает исходные веса экспертов MXFP4 с квантованием Q5_K для компонентов внимания и плотных слоёв; заявленный контекст запуска — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, в том числе для задач программирования и использования агентами с инструментами. Это версия без отказов, созданная на уровне весов dealignai. Вариант GGUF содержит только текстовую часть исходной модели: визуальный и аудиокодеры исключены. Для загрузки требуется специальная сборка ROCmFPX; веса рассчитаны на машину с большим объёмом GPU-доступной памяти, а приведённые в карточке скорости измерены на конкретной конфигурации и не гарантируют такую же производительность на другом оборудовании. В карточке указана лицензия MIT.

Mistral-NeMo-Minitron-8B-Base — базовая языковая модель NVIDIA для генерации текста и адаптации под различные задачи обработки естественного языка. Это плотный авторегрессионный Transformer-декодер семейства Mistral-NeMo с 7,9 млрд параметров, 40 слоями, Grouped-Query Attention и RoPE. Модель получена из Mistral-NeMo 12B pruning-ом размерностей эмбеддингов и промежуточного слоя MLP, а затем дообучена дистилляцией на 380 млрд токенов. Модель принимает и генерирует текст; заявленная длина контекста — 8192 токена. Обучающие данные включают английский и многоязычный текст, а также код, охватывая веб-страницы, диалоги, статьи и другие материалы. Модель подходит как основа для генерации и продолжения текста, ответов на вопросы и программирования. Это базовая, а не специализированная чат-модель, поэтому для конкретных сценариев может потребоваться адаптация. По данным разработчика, обучение завершилось в августе 2024 года, а срез предобучающих данных — июнь 2023 года. Модель может воспроизводить токсичный язык и социальные предубеждения, а также выдавать неточные, неполные или избыточные ответы. В метаданных указана лицензия «other»; конкретные условия использования следует проверять в лицензии NVIDIA.

NeoHorse-1-4B-GGUF — набор общественных GGUF-квантизаций модели NeoHorse-1-4B, опубликованный пользователем ngquocvinh на основе модели TokenRhythm/NeoHorse-1-4B. Это текстовая авторегрессионная языковая модель примерно на 4 млрд параметров, дообученная из Qwen3.5-4B для агентских сценариев, использования инструментов, программирования, следования инструкциям и диалогового общения. Модель работает через llama.cpp и поддерживает форматы квантизации GGUF; варианты представлены с разным балансом между размером файлов и точностью сохранения поведения исходной BF16-модели. Модель предназначена для генерации текста, рассуждений, ответов на инструкции, кодирования и текстового tool use. Заявлена нативная длина контекста 262 144 токена, однако практически доступный контекст зависит от используемого runtime, объёма памяти, настроек KV-cache и рабочей нагрузки. Поддерживаются текстовые сценарии; vision-веса отсутствуют. Проверка поведения охватывала английский, вьетнамский и китайский языки, а также код, JSON и текстовый формат вызовов инструментов. Варианты Q8_0 и Q6_K лучше сохраняют исходное поведение, Q5_K_M является сбалансированным выбором, а Q4_K_M — более компактным практическим вариантом. К преимуществам относятся локальный запуск через llama.cpp, большой заявленный контекст, несколько вариантов размера и подтверждённая загрузка всех опубликованных квантизаций на NVIDIA A10M. Ограничения связаны с потерей качества в низкобитных вариантах: Q3 и более низкие версии отмечены как экспериментальные, а тест строгого вывода по JSON Schema завершился ошибкой инициализации runtime-сэмплера. Проверка tool use оценивала только формат сериализации, а не полноценное выполнение инструментов. Указана лицензия Apache-2.0; в данном репозитории изменён только формат хранения посредством квантизации, без дополнительного обучения.

Noema 1.5 2B GGUF — локальная языковая модель с открытыми весами, разработанная NoemaAI-labs и распространяемая в формате GGUF для запуска через llama.cpp. Это вариант модели Noema 1.5 2B, ориентированный на восстановление знаний, генерацию кода, строгое следование инструкциям, многоходовые диалоги и более эффективное рассуждение. Модель имеет около 2 млрд параметров, 24 слоя и размерность скрытого состояния 2048. В основе используется гибридная архитектура Qwen3.5 с Gated DeltaNet и gated attention. Поддерживается только текстовая модальность; основной оценённый язык — английский. Архитектурный лимит контекста составляет 262 144 токена, однако разработчик независимо проверил работу только до 24 576 токенов. MTP отключён. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; последний рекомендован как компактный вариант по умолчанию. Сильными сторонами модели являются небольшой размер, возможность локального запуска, улучшенная генерация кода, строгое выполнение инструкций и повышенная надёжность многоходового взаимодействия. В режиме без рассуждений она подходит для кратких инструкций, структурированной генерации и кода, а режим рассуждений предназначен для более сложных задач, но может выдавать длинные или повторяющиеся ответы. README не содержит полной информации об обучении, бенчмарках, ограничениях применения и целевых сценариях исходной модели. Веса доступны для скачивания, но репозиторий не предоставляет открытой лицензии и не является open source.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

OpenChat-3.5-0106-128k — диалоговая языковая модель OpenChat, созданная на основе дообученной Mistral-7B-v0.1. Она содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и предназначена для генерации ответов в чате, программирования, общих задач и математических рассуждений. Поддерживает контекст до 131 072 токенов; в README также описан режим оценивания ответов, обозначенный как экспериментальный. Модель рассчитана на текстовый ввод и генерацию текста. README приводит результаты бенчмарков по коду и математике, но не описывает поддерживаемые естественные языки. Веса опубликованы в формате safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

Qwen3.6-27B-OBLITERATED — текстовая модель на базе Qwen/Qwen3.6-27B, изменённая разработчиком с помощью метода OBLITERATUS source-tethered ASPA. В карточке указано 26,9 млрд параметров; метаданные каталога сообщают 22,3 млрд. Доступны веса BF16 в safetensors и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на локальную генерацию текста и диалог, включая программирование, выполнение инструкций и работу с заданными форматами; основное изменение направлено на снижение отказов при сохранении полезных возможностей исходной модели. Контекстное окно составляет 262 144 токена. Модель принимает текст и выдаёт текст; визуального энкодера нет. Разработчик сообщает о проверках отказов и сохранения возможностей, однако это результаты локальных оценок, а не официальные результаты бенчмарков. Для запуска подходят Transformers и современные локальные среды, включая llama.cpp; для GGUF рекомендуется начинать с Q4_K_M. Лицензия — Apache-2.0.

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

DeepSeek-V4-Flash-0731-GPTQ-Int4-V1 — это 4-битная GPTQ-квантизованная версия модели DeepSeek-V4-Flash-0731, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 и предназначена для более эффективного запуска исходной модели при ограниченных ресурсах GPU. Данные о точном размере модели, архитектуре, поддерживаемых модальностях, полном наборе языков и исходном размере контекста в README не указаны. Модель использует схему W4A16 с 4-битными весами, group size 128, симметричной квантизацией и упаковкой в int32; параметр lm_head не квантизован. Калибровка проведена на 128 примерах на китайском, английском, японском языках и Python-коде с длиной последовательности 2048 токенов. В README приведены результаты на 4 GPU Ampere: по сравнению с неквантизованным fp8-чекпойнтом модель показала меньшее время до первого токена и более высокую производительность, особенно при параллелизме 8. Основные ограничения связаны с инфраструктурой: для запуска через vLLM требуется специальная сборка с поддержкой DeepSeek-V4 GPTQ для GPU Ampere, а полный чекпойнт занимает около 153 ГБ и может потребовать выгрузки части весов в CPU. Релиз является первой калибровочной версией V1; заявлена возможная последующая версия V2 с другим набором калибровочных данных. Лицензия — MIT, унаследованная от базовой модели.

Это 4-битная MXFP4-квантизация инструкционной модели Google Gemma 4 12B-it, подготовленная FreedomAISVR в формате GGUF. В основе лежит плотный декодерный трансформер Gemma4ForCausalLM с 12,08 млрд параметров; README указывает размер файла 6,3 ГБ и целевую платформу — видеокарты NVIDIA Blackwell, включая RTX 50-й серии. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений и задач по коду. Базовая Gemma 4 поддерживает мультимодальное понимание, однако в этой карточке репозитория заявлена задача text-generation и возможность чата; другие входные модальности для данной сборки не подтверждены. README сообщает о контексте до 256 тыс. токенов и приводит результаты скорости на RTX 5060 Ti 16 ГБ. Квантизация уменьшает требования к памяти и ориентирована на запуск локально с llama.cpp на совместимом оборудовании; качество и скорость могут зависеть от реализации и аппаратуры. Модель распространяется по лицензии Apache-2.0. Sведения о поддерживаемых естественных языках в карточке ограничены английским языковым тегом.

Locutusque разработала Hyperion-3.0-Mistral-7B-DPO — языковую модель на базе Mistral-7B-v0.1, дообученную методом Direct Preference Optimization на предпочтениях для диалогов и решения задач. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста на английском языке: она может отвечать на вопросы, вести диалоги, помогать с кодом, математическими и логическими задачами, а также работать с медицинскими текстами. Среди возможных сценариев — техническая поддержка, обучающие приложения и помощь в разработке программного обеспечения. Карточка приводит результаты оценки на наборе MMLU и предупреждает о возможных несогласованностях и смещениях в данных. Модель склонна отвечать на большинство запросов, поэтому её результаты, особенно в медицинских сценариях, следует проверять. Распространяется по лицензии Apache-2.0.

Jarvis-Titan-M4-MoE-CSA3 — диалоговая языковая модель Dhanesh для генерации текста, рассуждений, математических задач и кода. Она представлена как дообучение Jarvis-Titan-V15-MoE-Decoupled и предназначена для сложных вычислений, синтеза алгоритмов, длинных диалогов и работы с протяжённым контекстом. Метаданные указывают 7,1 млрд параметров, архитектуру JarvisTitanMoEForCausalLM, библиотеку Transformers и контекст 32 768 токенов; README заявляет основу DeepSeekMoE размером 14,8 млрд параметров, память M4 Tri-Brid, механизм внимания CSA3 и предсказание нескольких токенов. Эти заявления о размере и контексте расходятся, поэтому ориентироваться следует на значения метаданных каталога. Модель принимает текст и генерирует текст; карточка заявляет поддержку интерфейса вызова инструментов. Указана лицензия other, условия которой следует проверять в репозитории перед использованием.

Llama-3.1-Swallow-70B-v0.1 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института и AIST. Она создана продолжительным предварительным обучением Meta Llama 3.1 на примерно 200 миллиардах токенов японских и английских текстов, включая веб-материалы, Википедию, математику и код. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом 8192 токена. Модель рассчитана на генерацию текста на японском и английском языках: ответы на вопросы, суммаризацию, машинный перевод, рассуждения, понимание текста и генерацию кода. README сообщает об улучшении японских языковых возможностей при сохранении возможностей английской исходной модели; оценка проводилась на японских и англоязычных бенчмарках. Это базовая версия, не Instruct-вариант, поэтому она не настроена для следования инструкциям и не гарантирует соответствия ответов намерениям пользователя или требованиям безопасности. Распространяется по лицензии Llama 3.1.

Abiray/MiniCPM5-2B-GGUF — набор квантованных весов модели MiniCPM5-2B, разработанной OpenBMB и входящей в серию MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, представленная в формате GGUF для локального запуска через llama.cpp, Ollama и LM Studio, включая сценарии on-device и edge AI. Модель ориентирована на генерацию текста и поддерживает английский и китайский языки. Модель предназначена для генерации кода и текста, решения математических задач, работы с длинным контекстом до 128 тысяч токенов, вызова инструментов и многошаговых агентских сценариев. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ; Q4_K_M указан как рекомендуемый баланс скорости, качества и занимаемой памяти, а Q8_0 — как вариант с минимальными потерями относительно исходных весов. Квантование уменьшает требования к памяти, но может влиять на точность, особенно в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

insraq/MiniCPM5-2B-heretic-abliterated — производная версия MiniCPM5-2B, опубликованная пользователем insraq. Это плотная причинная языковая модель на 2,2 млрд параметров с архитектурой LlamaForCausalLM, рассчитанная на локальных помощников, программирование, математику, длинный контекст и сценарии с вызовом инструментов. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Модель серии MiniCPM5 разработана для локального запуска на устройствах и в условиях ограниченных ресурсов; карточка заявляет сильные результаты среди моделей сопоставимого размера в программировании, математике, понимании длинного контекста и использовании инструментов. В названии указано abliterated, а теги описывают модель как uncensored/decensored, однако README не объясняет метод получения этой версии и не приводит её отдельную оценку. README базовой модели предупреждает о возможных неточностях, предвзятых или оскорбительных ответах и отсутствии экспертной проверки чувствительных тем. Модель распространяется по лицензии Apache-2.0.

Карточка модели ausascsdas/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

Карточка модели Openintelligent123/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

Qwen3.5-4B-Clarity-1.0-GGUF — экспериментальная дообученная версия Qwen3.5-4B, опубликованная пользователем Regic1d3 и основанная на модели Qwen от Qwen. Модель предназначена для генерации текста, рассуждений, решения многошаговых задач, проверки согласованности, выявления ошибок и некорректных предположений, а также для более точной генерации кода на Python. В обучении использовались дополнительные примеры рассуждений на английском и русском языках, а основная часть данных была дистиллирована из Qwen3.8-27B. Дообучение выполнено как относительно тонкая поведенческая настройка, сохраняющая общие возможности исходной модели. Модель имеет размер 4B параметров и доступна в формате GGUF, совместимом с llama.cpp. Предоставлены варианты квантования Q5_K_M и Q8_0. README также упоминает возможность мультимодального запуска, однако подробные характеристики поддерживаемых модальностей и контекстного окна не указаны. Рекомендуемые параметры генерации различаются для общих задач и кода. К сильным сторонам относятся потенциально улучшенные логическое, причинно-следственное и ограничительное рассуждение, арифметика в несколько шагов, обнаружение и исправление ошибок, а также различение фактов и предположений. Ограничения включают экспериментальный статус, отсутствие стандартизированных бенчмарков, возможность ошибочных рассуждений, недостаточную калибровку и склонность к чрезмерно уверенным или избыточно подробным ответам. Лицензия в README не указана.

ionos/Qwen3.8-27B-GPTQ-Int4 — неофициальная 4-битная GPTQ-квантизация мультимодальной модели Qwen/Qwen3.8-27B, созданная сообществом с использованием LLM Compressor. Модель предназначена для работы с текстом и изображениями: она поддерживает понимание документов, визуальное восприятие и рассуждения, математические задачи по изображениям, работу с инструментами и выполнение инструкций. В README явно приведены результаты для английского и немецкого языков; полный список поддерживаемых языков и размер контекстного окна не указан. Используется схема W4A16 с группами по 128 весов и симметричной GPTQ-квантизацией. Большинство линейных модулей языковой части модели в 64 слоях квантизированы до 4 бит, тогда как vision tower, эмбеддинги, lm_head и некоторые небольшие чувствительные компоненты сохранены в BF16. Архитектура, токенизатор, chat template и конфигурация процессора не изменены относительно базовой модели, а объём весов составляет примерно треть от версии BF16. Модель рассчитана на запуск, в частности, через vLLM; для неё требуется свежая версия transformers. По приведённым сравнениям модель в целом сохраняет качество базовой версии в задачах понимания документов, визуального рассуждения и английских знаний. Отдельно отмечено снижение результата на немецком языке примерно на 3 процентных пункта, поэтому немецкоязычные сценарии требуют собственной проверки. Результаты для tool calling и instruction following близки к базовой модели, но их абсолютные значения в тесте снижены особенностями измерения с включённым reasoning. Для табличного вывода рекомендуется использовать JSON-схему или грамматику с последующей валидацией. Модель распространяется по лицензии Apache-2.0, однако сама квантизация не является официальной и не проверялась командой Qwen или Alibaba Cloud.