I.6Перевод и языковая адаптация

VisualInference/Qwen3.8-27B-AEON-Ultimate-Uncensored-Multimodal-MLX-6bit — мультимодальная 6-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. Модель предназначена для локального запуска на компьютерах Apple Silicon с использованием MLX и поддерживает текстовые, графические и видео-сценарии через mlx-vlm. Визуальный модуль сохранён полностью, поэтому доступны задачи понимания изображений и видео, а также обычный диалог, генерация текста и агентские сценарии. Модель имеет размер 27B параметров, мультимодальную vision-language архитектуру и 6-битное квантование с group size 64. В карточке заявлены поддержка английского, китайского и других языков, а также функции reasoning, hybrid attention, gated-deltanet и native MTP для speculative decoding. С отдельной моделью-драфтером MTP декодирование может ускоряться примерно в 1,4–1,9 раза без изменения результата. Для работы требуется около 21 ГБ памяти под веса; комфортный запуск рекомендуется на Mac с 48 ГБ и более unified memory, хотя заявлена работоспособность на 36 ГБ. Сильные стороны модели — локальное мультимодальное выполнение на Apple Silicon, сохранённая vision tower, высокая скорость при использовании speculative decoding и отсутствие дополнительной цензуры в варианте AEON. Ограничения включают повышенное потребление памяти, зависимость производительности от пропускной способности памяти и возможные обрывы ответа внутри reasoning при ограничении в 4096 токенов. Также отмечено, что распределение модели заметно сильнее отличается от стандартной Qwen3.8-27B, чем у некоторых альтернативных сборок, а качество 6-битного vision-компонента отдельно не измерялось. Модель распространяется по лицензии Apache-2.0.

williamliao/Qwen3.8-27B-NVFP4-GGUF — экспериментальная GGUF-сборка модели Qwen3.8-27B, подготовленная William Liao для llama.cpp. Репозиторий содержит два варианта квантования: собственную смешанную сборку Qwen3.8-27B-NVFP4-Quality-v2 на основе BF16-модели Qwen/Qwen3.8-27B и производную от unsloth/Qwen3.8-27B-NVFP4 сборку Qwen3.8-27B-Unsloth-NVFP4-Q8. Это текстовая генеративная модель для запуска и инференса через llama.cpp; обе сборки включают нативные MTP-тензоры и не требуют отдельной draft-модели для speculative decoding. Quality-v2 использует NVFP4 для большинства вычислительно затратных матриц, Q4_K_M для отдельных K/V- и MTP-тензоров, Q6_K для эмбеддингов и выходной головы и F32 для нормализаций. Её размер составляет около 16,0 ГБ в десятичном исчислении, или 14,95 GiB, при эффективной плотности около 4,70 BPW. Вариант Unsloth-NVFP4-Q8 сохраняет NVFP4-части через перепаковку, но преобразует исходные FP8-тензоры в Q8_0, поэтому он существенно больше и не является побитной, численно или форматно точной копией исходной модели. Для работы требуется свежая сборка llama.cpp с поддержкой архитектуры Qwen3.5/Qwen3.8, нативных NVFP4-тензоров и Qwen MTP speculative decoding; в протестированной конфигурации использовались CUDA и видеокарты NVIDIA. Сильные стороны модели — уменьшенный размер квантованных файлов, возможность запуска на совместимых GPU и поддержка ускорения через speculative decoding. Ограничения — экспериментальный статус, различия между вариантами квантования и отсутствие гарантии идентичного поведения с исходной моделью в Transformers, compressed-tensors, vLLM или других средах. Лицензия — Apache-2.0.

Это пакет слоёв GGUF-модели Qwen3.8-27B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Он создан на основе unsloth/Qwen3.8-27B-GGUF и сохраняет исходную GGUF-модель, разделённую на артефакты по слоям. Вариант квантования — Q4_K_XL. Пакет предназначен для локального приватного чата и генерации текста, в том числе на нескольких машинах, когда целиком разместить модель на одном хосте затруднительно. Через Mesh LLM модель можно предоставлять по локальному API, совместимому с OpenAI Chat Completions. Репозиторий использует библиотеку mesh-llm и формат GGUF; лицензия — Apache-2.0. В README не приведены размер контекста, точное число параметров, перечень поддерживаемых языков и подробные результаты оценки качества. Возможности и качество диалога зависят от исходной модели и конфигурации Mesh LLM.

Qwen3.8 27B Uncensored — GGUF — это набор общественно подготовленных квантованных версий языковой модели Qwen3.8 с примерно 27 млрд параметров. Репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки; конкретный разработчик исходной модели в README не указан, указано лишь семейство Qwen и формат community GGUF quantizations. Модель предназначена для локальной генерации текста, диалоговых сценариев, экспериментов с инференсом и сравнения компромиссов между качеством, скоростью и потреблением памяти. Доступны варианты от исходной точности F16 размером около 52 ГБ до Q2_K размером около 11 ГБ. Рекомендуемым универсальным вариантом назван Q4_K_M размером примерно 16 ГиБ; более высокие уровни квантования обычно требуют больше памяти, а варианты Q3 и Q2 рассчитаны на ограниченные ресурсы. Ключевое преимущество набора — широкий выбор форматов квантования, полученных непосредственно из исходной F16-версии, что позволяет подбирать конфигурацию под оборудование и рабочую нагрузку. Ограничения включают потери качества, неизбежные при квантовании, причём они становятся заметнее на низких разрядностях. Результаты также зависят от контекста, промптов, параметров сэмплирования, оборудования и движка инференса; авторитетные сравнительные бенчмарки на момент описания отсутствуют. В README указана лицензия Apache-2.0, при этом условия исходной модели, включая требования к использованию и атрибуции, сохраняются.

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-NInfer — это конверсия модели orcarouter/Qwen3.8-27B, основанной на Qwen/Qwen3.8-27B, в самодостаточный формат .ninfer. Артефакт подготовлен для runtime NInfer-4090 и видеокарты RTX 4090 с архитектурой sm_89; конверсия является только изменением формата развертывания и не включает дополнительное обучение или изменение поведения исходной модели. Разработчик и автор конверсии указаны как pyros-vault. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и видео через режим Vision. В комплект встроены веса, токенизатор, chat template, конфигурации генерации и ресурсы обработки изображений и видео. Размер модели — 27B параметров; используется смешанная точность и групповая квантизация, включая варианты Q4G64, Q5G64, Q6G64 и W8G32. Поддерживается speculative decoding с MTP на один–пять черновых токенов. В проверенных конфигурациях использовалась емкость контекста 4096 токенов, но фактическое потребление памяти также зависит от KV-состояния, рабочих областей и уровня параллелизма. Сильной стороной является оптимизация под RTX 4090 и возможность существенно ускорить декодирование с MTP: в одном интеграционном тесте был зафиксирован результат 155,42 токена в секунду против 46,68 токена в секунду в базовом режиме. Эти измерения относятся к одному сценарию и не являются универсальным бенчмарком. Артефакт требует совместимого native-сборки NInfer-4090 с целевым Qwen3.8; он не предназначен для Transformers, llama.cpp или сторонних форков NInfer. Заявления об «uncensored» и «abliterated» не подтверждены независимо в рамках этой конверсии. Лицензия — Apache-2.0.

Qwen3.8-35B-A3B-Distill GGUF — это набор общественных GGUF-квантизаций текстовой MoE-модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленный пользователем ngquocvinh. Модель предназначена для локальной генерации текста с помощью llama.cpp и совместимых сред. Это неофициальный релиз Qwen3.8 и не результат дополнительного обучения или дообучения. Исходная модель содержит 35 млрд параметров, из которых примерно 3 млрд активируются для каждого токена, использует 256 экспертов и маршрутизацию к 8 экспертам. Архитектура включает гибридные компоненты внимания, а заявленная длина контекста в конфигурации исходной модели составляет 262 144 токена. В карточке указана поддержка английского языка и текстовой модальности. Доступны варианты квантизации от Q8_0 размером около 35,22 GiB до IQ2_XS размером около 10,01 GiB, что позволяет выбирать между качеством и требованиями к памяти. Сильной стороной релиза является возможность запуска крупной MoE-модели локально на совместимом оборудовании, а также наличие измерений отклонения квантизированных вариантов от BF16-источника. Q4_K_M обозначен как практичный баланс качества и потребления памяти; варианты Q3_K_M, Q2_K и IQ2_XS имеют существенно большее отклонение и считаются экспериментальными. Поддержка длинного контекста, вызова инструментов и других специализированных функций зависит от исходной модели и используемой среды, поэтому требует отдельной проверки. Релиз распространяется по лицензии Apache-2.0, унаследованной от исходной модели. Квантизации являются общественным проектом и не означают официального одобрения со стороны авторов исходной модели.

Qwen3.8-Distilled-9B-NPU2 — это квантизированный порт модели empero-ai/Qwen3.8-9B-Distill, подготовленный Atomic-Germ для инференса на NPU AMD XDNA. Модель скомпилирована для среды выполнения FastFlowLM версии 1.0.1 и поставляется в формате Q4NX, а не GGUF. Размер файла весов model.q4nx составляет 7,11 ГБ; конверсия выполнена 26 августа 2026 года. Модель предназначена для языковых и визуально-языковых задач, включая работу с изображениями, рассуждения и function calling. В репозитории также присутствует отдельный файл vision_weight.q4nx, а конфигурация и шаблон диалога рассчитаны на использование с FastFlowLM. Архитектура, точное число параметров, поддерживаемые языки и размер контекстного окна в карточке не указаны. Ключевое преимущество модели — адаптация к инференсу на AMD XDNA NPU с использованием квантизации Q4NX и специализированного runtime FastFlowLM. Ограничения связаны с зависимостью от FastFlowLM и совместимого оборудования AMD XDNA, а также с отсутствием подробных сведений о качестве, языковом охвате и контексте. Лицензия — Apache-2.0.

lmstudio-community/Seed-OSS-36B-Instruct-MLX-8bit — 8-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи, поддерживаемые исходной instruct-моделью. В README указаны архитектурная база Seed-OSS-36B-Instruct, размер 36B параметров, текстовая модальность и 8-битное квантование. Сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевые преимущества — снижение требований к памяти по сравнению с полноразмерной версией и оптимизация для экосистемы Apple Silicon. Ограничения связаны с зависимостью от совместимого оборудования и MLX, а также с общими рисками генеративных моделей: возможны неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

Tess-34B-v1.4 — универсальная большая языковая модель семейства Tess, опубликованная migtissera. Она дообучена на базе Yi-34B-200K и предназначена для генерации текста и диалоговых сценариев. Модель использует плотную архитектуру LlamaForCausalLM, содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Карточка описывает общий профиль модели, без специализации на конкретной предметной области. Для диалога приведён формат с ролями SYSTEM, USER и ASSISTANT. Модель опубликована в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнять по полным сведениям репозитория.

Tess-3-Llama-3.1-70B — большая языковая модель общего назначения из серии Tess, созданной Migel Tissera. Вычислительные ресурсы для модели предоставила KindoAI. Модель построена на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия. Она содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Доступны веса в формате PyTorch. Для использования модели действует лицензия Llama 3.1. Карточка называет её моделью общего назначения, но не приводит конкретных результатов оценки качества или подробных ограничений.

Villanova-2B-2512-Preview — текстовая языковая модель VillanovaAI, полученная постобучением Villanova-2B-Base-2512-Preview. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 2,4 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. Модель принимает текст и генерирует текст. В карточке заявлена поддержка английского, немецкого, испанского, французского и итальянского языков. Длина контекста составляет 4096 токенов. Модель выпущена как предварительная версия, поэтому её характеристики и качество могут измениться. Распространяется по лицензии Apache-2.0.

Карточка модели xDAN2099/xDAN-APUS4-MoE-v3.1-0410 на Hugging Face совпадает с карточкой xDAN2099/APUS-xDAN-4.0-MoE-v2, поэтому описание составлено по ней. APUS-xDAN-4.0-MoE-v2 — авторская decoder-only трансформерная языковая модель с архитектурой Mixture of Experts, разработанная командой xDAN. В карточке указаны 136 млрд параметров и активация двух экспертов на токен; метаданные репозитория классифицируют веса как MixtralForCausalLM с 33,9 млрд параметров. Модель продолжает обучение на архитектуре LLaMA и опирается на возможности серии xDAN-L2; README сообщает об использовании обратной связи от людей для улучшения рассуждений, математических и логических задач. Модель предназначена для генерации текста и диалогового использования. Заявленная длина контекста — 32 768 токенов; метаданные указывают английский и китайский языки. README также описывает варианты квантования от 1,5 до 4 бит и совместимость открытой версии с потребительскими GPU. Репозиторий распространяется по лицензии CC BY 4.0.

Модель anton-l/xtreme_s_xlsr_300m_voxpopuli_en — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания английской речи. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на английском языке в текст, в частности для распознавания речи из набора VoxPopuli.EN. На оценочной выборке указаны WER 0,1549 и CER 0,0966. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает ограничения распознавания и условия работы с разными акустическими условиями.

YOYO-AI_Qwen3-30B-A3B-Mixture-2507-GGUF — это GGUF-квантизированная версия текстовой генеративной модели Qwen3-30B-A3B-Mixture-2507, разработанной YOYO-AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска задач генерации текста через llama.cpp, LM Studio и другие совместимые проекты. В названии указано 30B параметров и обозначение A3B Mixture, однако подробности архитектуры, число активных параметров, поддерживаемые языки, длина контекста и доступные модальности в представленном README не описаны. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Варианты Q6 и Q5 позиционируются как обеспечивающие очень высокое или высокое качество, Q4 — как оптимальные по соотношению качества и размера, а Q3 — как подходящие для систем с ограниченным объёмом оперативной памяти. Сильная сторона этой версии — широкий выбор размеров файлов и возможность локального запуска на совместимом оборудовании; рекомендованным вариантом по умолчанию указан Q4_K_M. Более агрессивная квантизация уменьшает требования к памяти, но снижает качество генерации. Формат prompt не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в README не приведена.

32B-Qwen2.5-Kunou-v1-GGUF — это набор квантизированных моделей для генерации текста, созданный пользователем bartowski на основе Sao10K/32B-Qwen2.5-Kunou-v1. Модель предназначена для диалогов и других сценариев текстовой генерации; в README приведён шаблон промпта в формате ChatML с ролями system, user и assistant. Модель имеет размер 32B параметров и поставляется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до низкоразрядных Q2 и IQ-квантизаций объёмом примерно от 13 до 66 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев рекомендуются варианты Q4_K_M, Q5 или Q6. Сведения о поддерживаемых языках, максимальном контексте и мультимодальности в README не указаны. К преимуществам относятся широкий выбор квантизаций, возможность локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения зависят от выбранного варианта и доступных аппаратных ресурсов; низкоразрядные сборки имеют более низкое качество, а полноразмерная F16-версия требует значительного объёма памяти. Лицензия указана как qwen и other; в README приведена ссылка на лицензию Qwen/Qwen2.5-32B-Instruct.

blossom-v3-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная путём слияния Mistral-7B-Instruct-v0.1 и Azure99/blossom-v3-mistral-7b методом SLERP. Она рассчитана на ответы на инструкции и диалоговые запросы; в метаданных также указаны наборы данных для чата, математики и следования инструкциям. Модель имеет плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Поддерживаемые по карточке языки — китайский и английский. Модель принимает текст и генерирует текст. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества или подробных ограничений применения, поэтому пригодность для конкретных задач стоит проверять на собственных примерах.

CausalLM 14B — языковая модель на архитектуре LLaMA с 14 миллиардами параметров, разработанная CausalLM. TheBloke подготовил её квантованные версии в формате GGUF, предназначенные для локального запуска и инференса через llama.cpp и совместимые инструменты. Модель относится к классу text-generation и поддерживает английский и китайский языки. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона ChatML. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, включая запуск на CPU и GPU. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, ctransformers, llama-cpp-python и другими клиентами. К сильным сторонам относятся широкий набор обучающих данных, поддержка локального инференса и несколько уровней квантования. Ограничения включают отсутствие сведений о размере контекста, точных характеристиках производительности и мультимодальных возможностях; по представленным данным модель следует рассматривать как текстовую. Исходная модель заявлена под лицензией WTFPL, а квантованные версии также сопровождаются условиями Meta Llama 2 License, поэтому применимость и взаимодействие этих лицензий необходимо проверять перед использованием.

ChatGLM-6B-INT4-QE-Slim — компактная по потреблению памяти версия диалоговой модели ChatGLM-6B, подготовленная командой THUDM. Она создана на основе ChatGLM-6B-INT4-QE: из словаря удалены 20 тысяч зарезервированных токенов изображений, которые не используются текстовой моделью. Остальная структура и заявленное качество сохранены, а при инференсе и дообучении требуется меньше памяти и вычислений для выходных логитов. Модель основана на архитектуре GLM и содержит 8,1 млрд параметров по метаданным; в README базовая ChatGLM-6B указана как модель с 6,2 млрд параметров. Весовые блоки, эмбеддинги и LM Head квантизованы до INT4. Модель рассчитана на диалог и ответы на вопросы на китайском и английском языках, а также может использоваться для извлечения признаков. README сообщает, что для INT4-инференса достаточно примерно 6 ГБ видеопамяти или оперативной памяти при запуске на CPU. Код распространяется по Apache-2.0, но для использования весов необходимо соблюдать отдельную лицензию модели. Указанная в README экономия памяти относится к удалению неиспользуемой части словаря; конкретные результаты и совместимость зависят от аппаратуры и программных зависимостей.

Chuluun-Qwen2.5-72B-v0.01-GGUF — набор GGUF-квантизаций модели Chuluun-Qwen2.5-72B-v0.01, подготовленный bartowski на базе оригинальной модели DatToad. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указан английский язык и формат диалога с ролями system, user и assistant. Модель основана на архитектуре Qwen2.5 с заявленным размером 72B параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-серии, объёмом примерно от 27,94 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Квантизация выполнена с использованием imatrix и llama.cpp версии b4418. Основные преимущества — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью инференса, а также поддержка локального запуска. Низкобитные варианты требуют меньше оперативной памяти, но могут заметно уступать более крупным версиям по качеству; варианты Q2 и Q3 характеризуются как низкокачественные или пригодные при ограниченных ресурсах. Сведения о контекстном окне, точных возможностях исходной модели, мультимодальности и лицензии в представленном README отсутствуют.

MaziyarPanahi/Experiment26Neuralsirkrishna_Experiment27Inex12 — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Inex12-7B. Модель предназначена для генерации текста и диалогов; размер контекстного окна составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Gemma-2-9b-it-4bit — языковая модель семейства Gemma 2, разработанная Google и доработанная сообществом mlx-community для формата MLX. Модель преобразована из google/gemma-2-9b-it с использованием mlx-lm версии 0.15.0 и предназначена для запуска в экосистеме MLX. Это instruction-tuned модель для генерации текста и диалоговых сценариев: она может использоваться для ответов на запросы, ведения беседы и других задач, связанных с обработкой и созданием текста. В карточке указано обозначение размера 9B, а также 4-битное квантование, которое снижает требования к памяти по сравнению с полноточным представлением. Поддерживаются библиотека transformers как метаданные и библиотека mlx-lm для загрузки и генерации. README не содержит сведений о поддерживаемых языках, длине контекста, результатах тестирования, точных архитектурных характеристиках, сильных сторонах или ограничениях качества. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; конкретные условия следует проверять в тексте этой лицензии.

llmfan46 — дообученная на базе Google Gemma 3 12B IT мультимодальная модель для диалогов с текстом и изображениями. По данным карточки, она принимает текст и изображения и формирует текстовые ответы; подходит для вопросов по изображениям, генерации и суммаризации текста, а также диалоговых сценариев. Архитектура — плотная Gemma 3, размер базовой модели — 12 млрд параметров. Для семейства Gemma 3 в README указано контекстное окно 128 тыс. токенов и поддержка более 140 языков; подтверждения, что эти характеристики полностью сохранены в этой производной версии, нет. Автор называет модель uncensored и heretic; отдельные сведения о методе такого изменения или его оценке в карточке не приведены. Модель распространяется в формате safetensors через Transformers. Лицензия указана как gemma; перед использованием следует учитывать её условия. Как и другие генеративные модели, она может выдавать фактически неверные ответы, отражать смещения обучающих данных и ошибаться при сложных или неоднозначных запросах.

Gemma 4 26B A4B it GGUF — это квантизированный набор файлов модели google/gemma-4-26B-A4B-it, подготовленный пользователем giladgd в формате GGUF для запуска через node-llama-cpp и llama.cpp. Модель относится к классу conversational и имеет тег image-text-to-text, что указывает на поддержку сценариев диалогового взаимодействия и обработки текста совместно с изображениями. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16 размером от 10,6 до 50,5 ГБ. README не содержит сведений о точной архитектуре, максимальной длине контекста, поддерживаемых языках, результатах оценки или конкретных ограничениях качества. Квантование уменьшает требования к хранению и памяти по сравнению с полноформатной версией, однако более компактные варианты могут уступать ей по качеству. Модель предназначена для локального использования в приложениях и чат-сценариях через node-llama-cpp или llama.cpp; доступны CLI и программный интерфейс на TypeScript. Лицензия указана как Apache-2.0, при этом для Gemma приведена отдельная ссылка на условия лицензии Google.

Gemma 4 31B it — мультимодальная инструкционная модель Google, представленная в 4-битной квантизированной версии MLX. Исходная модель — google/gemma-4-31B-it, а квантизацию с использованием mlx_vlm выполнила команда LM Studio. Версия оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для задач генерации текста и обработки изображений с текстом, включая сценарии, поддерживаемые классом image-text-to-text. Благодаря инструкционному варианту она рассчитана на выполнение запросов пользователя в диалоговых и прикладных задачах. Размер исходной модели составляет 31 млрд параметров, однако точные сведения о поддерживаемых языках, размере контекста и архитектурных особенностях в README не указаны. Ключевое преимущество версии — снижение требований к памяти за счёт 4-битной квантизации и оптимизация под экосистему Apple Silicon. Ограничения включают возможное снижение точности по сравнению с полной версией, зависимость производительности от оборудования Apple и отсутствие в предоставленных данных подробных результатов тестирования. Модель распространяется по лицензии Apache 2.0.

Heretic-Scalpel-TriTier-E2B — экспериментальная разговорная языковая модель, опубликованная пользователем feifei. По карточке, она построена на Gemma 4 E2B и использует архитектуру Hierarchical Tri-Tier Mixture-of-Adapters: плотный адаптер для STEM-задач и разреженно активируемые микроадаптеры для тематического управления генерацией. Метаданные классифицируют её как дообучение модели aifeifei798/Heretic-Scalpel-E2B; репозиторий содержит веса SafeTensors, а заявленная лицензия — Apache-2.0. Модель предназначена для диалоговой генерации текста, включая рассуждения по STEM и алгоритмам, программирование, а также литературные, гуманитарные и творческие задачи. Карточка описывает базовую модель как Gemma 4 E2B, но не приводит надёжных сведений о контекстном окне и поддержке мультимодального ввода; текстовые задачи и английский язык подтверждаются метаданными. Заявленный размер артефакта — 121,6 МБ. README заявляет 32 специализированных микроадаптера и 50 шагов обучения, однако не предоставляет достаточных независимых оценок качества или подробных воспроизводимых результатов. Поэтому пригодность для конкретных задач следует проверять отдельно; совместимость с пользовательским кодом требует загрузки с trust_remote_code=True.

OpenMOSE Hy3-REAP-200B-21B — сжатая pruning-методом REAP версия диалоговой MoE-модели Tencent Hy3. В каждом MoE-слое число маршрутизируемых экспертов уменьшено с 192 до 128; маршрутизатор, выбор восьми экспертов на токен и общий эксперт сохранены. По README, активный путь остаётся на уровне 21 млрд параметров, а общий размер — около 200 млрд; метаданные указывают 16,6 млрд параметров. Контекстное окно составляет 262 144 токена. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки, диалог, режимы рассуждения и вызов инструментов, унаследованные от Hy3. Модель предназначена для диалоговой генерации и рассуждений при меньшем объёме весов, чем у исходной Hy3. В приведённой оценке MMLU снизился с 85,65% до 82,37%, а результат GSM8K практически не изменился. Это сжатие без последующего дообучения или восстановления: авторы отмечают заметное снижение качества при более глубоком pruning и ограниченность оценки двумя бенчмарками. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия чат-модели InternLM2.5-20B-Chat, исходно разработанной командой internlm, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, например LM Studio. Для корректного взаимодействия следует использовать указанный в карточке шаблон prompt format с ролями system, user и assistant. Модель основана на архитектуре InternLM2.5 и имеет 20 млрд параметров; доступна в форматах от F32 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов составляет примерно от 6,97 до 79,45 ГБ, поэтому требования к памяти зависят от выбранного варианта. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а компактные варианты позволяют запускать модель на системах с меньшим объёмом RAM, но могут заметно снижать точность. Для некоторых вариантов embeddings и output weights сохранены в Q8_0, что потенциально повышает качество. В карточке не указаны поддерживаемые языки, размер контекста, точная архитектура, результаты оценивания и ограничения по безопасности. Лицензия обозначена как other, без дополнительных условий в README, поэтому перед использованием необходимо проверить лицензию исходной модели InternLM2.5-20B-Chat и условия распространения конкретных файлов.

NANI-Nithin/LFM2.5-VL-3B-GGUF — неофициальная наборка GGUF-квантизаций модели LFM2.5-VL-3B, разработанной Liquid AI, для запуска через llama.cpp. Модель предназначена для локального и периферийного использования и поддерживает работу с текстом и изображениями. Модель имеет плотную архитектуру LFM2.5-VL: языковую основу LFM2.5-2.6B и визуальный энкодер SigLIP2 NaFlex 400M. Она содержит около 3,1 млрд параметров, поддерживает контекст до 32 768 токенов и словарь из 128 000 токенов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Основные сценарии применения — понимание экранов и пользовательских интерфейсов, OCR с учётом структуры документа, распознавание текста на изображениях, привязка объектов к областям изображения и вызов инструментов на основе текста или изображений. Доступно несколько вариантов квантизации, позволяющих выбирать между качеством, скоростью и потреблением памяти; Q4_K_M указан как сбалансированный вариант, а более точные квантизации предпочтительны для OCR и grounding. Модель менее подходит для длительного визуального рассуждения и анализа сложных технических чертежей. Для работы требуется свежая сборка llama.cpp, поскольку старые версии могут не поддерживать эту архитектуру. Весовые файлы распространяются по лицензии LFM Open License v1.0; перед коммерческим использованием необходимо изучить её условия. Это неофициальная общественная квантизация, созданная на основе официальной модели Liquid AI, поэтому для официальных GGUF-файлов рекомендуется использовать репозиторий LiquidAI.

M7Yamshadowexperiment28_Experiment27Experiment24 — объединённая модель Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Experiment27Experiment24-7B. Она предназначена для генерации текста и диалоговых сценариев. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов; репозиторий распространяет веса в формате safetensors. Лицензия — Apache-2.0. README и метаданные не описывают специализированные области применения или конкретные ограничения качества.