I.1Поиск и навигация по информации

Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3.8-27B. Квантование выполнено разработчиком Ar4ikov с BF16-весов базовой модели с использованием llm-compressor и формата compressed-tensors/pack-quantized. Модель предназначена для генерации и понимания текста, а также работы с изображениями через image-text-to-text сценарии. Она поддерживает режимы рассуждения и обычной генерации, параметр reasoning_effort и нативный контекст до 262 144 токенов; расширение до 1 млн токенов возможно через YaRN согласно данным базовой модели. Языковой стек и полный список поддерживаемых языков в README не указаны. Модель использует схему W4A16_ASYM с asymmetric zero-point, размером группы 128 и BF16-активациями; основные линейные слои текстовой части хранятся в INT4. Эмбеддинги, lm_head, vision-башня, чувствительные компоненты Gated DeltaNet и MTP-голова оставлены в BF16, что сохраняет визуальную часть и спекулятивное декодирование. Ключевое преимущество — снижение потребления памяти и ускорение инференса в рантаймах с нативными INT4-ядрами, например vLLM или SGLang. При загрузке через transformers веса распаковываются в BF16, поэтому экономии VRAM не будет. Квант не прошёл полноценную benchmark-валидацию, проверена только связность генерации, поэтому перед промышленным использованием необходимы собственные оценки качества. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-3bit-MTP — это 3-битная MLX-конверсия мультимодальной модели Qwen/Qwen3.8-Flash-Next, созданная на основе официального BF16-чекпойнта. Модель предназначена для запуска на устройствах Apple Silicon через совместимые MLX-VLM и oMLX. Она поддерживает работу с текстом и изображениями, а также использует архитектуру qwen4_exp с vision-language стеком и разреженной mixture-of-experts моделью. Общий объём языковой части составляет 125B параметров, из которых активны около 6B; дополнительно указаны 51B параметров в hashed bigram/trigram embedding и 4B параметров в блоке native MTP. Контекст рассчитан на 262 144 токена. Ключевые компоненты включают Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, gated residual streams, vision encoder и один draft-блок native MTP для speculative decoding. Квантизация выполнена методом uniform affine quantisation с группой 32; мультимодальные модули и роутеры MoE сохранены в BF16. Размер весов — около 90,774 GB. Сильные стороны модели — существенное снижение размера по сравнению с полноформатным чекпойнтом, поддержка мультимодальных сценариев и возможность ускорения генерации с помощью native MTP. В приведённом тесте на Apple M3 Studio скорость выросла с 28,0408 до 30,5895 токена в секунду, то есть примерно на 9,09%, при принятии 65,4% предложенных токенов. Ограничения включают необходимость runtime с явной поддержкой qwen4_exp и native MTP; старые версии MLX-VLM или oMLX могут быть несовместимы, а поддержка изображений зависит от используемых версий компонентов. Модель распространяется по лицензии Qwen Community License 1.0.

Agnes-3.0-Flash Preview GGUF — набор квантизированных сборок базовой модели Agnes-AI/Agnes-3.0-Flash, опубликованный quimmedes. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, а также для локального запуска через совместимый runtime llama.cpp. Доступны варианты квантования от Q3 до Q9 и несколько альтернативных сборок с разным распределением точности между компонентами модели. Архитектура основана на гибридной схеме с recurrent SSM- и attention-слоями: 72 слоя, включая 54 delta-rule и 18 global attention, дополнительная параллельная SwiGLU-ветвь в каждом слое, около 32,63 млрд параметров, размер скрытого состояния 5120, словарь из 248 320 токенов и один MTP-слой. Поддерживаются текст, изображения и видео; точный набор языков и максимальная длина контекста в README не указаны, хотя приведён пример запуска с контекстом 32 768 токенов. Модель использует тот же токенизатор и шаблон чата, что и Qwen3.8-27B, но имеет дополнительные слои и переобученные проекционные матрицы. Ключевое преимущество сборок — сочетание гибридного внимания, поддержки длинного контекста, мультимодальности и выбора размера файла: от 12,12 до 32,28 GiB для основной линейки. Для работы требуется патченная версия cafe-llama.cpp; стандартная llama.cpp не поддерживает необходимые тензоры и может завершиться ошибкой или некорректно загрузить модель. Указанные требования к видеопамяти и параметры запуска ориентированы на карту 24 ГБ, однако фактические возможности зависят от выбранного квантования и длины контекста. Модель и сборки распространяются по лицензии Apache-2.0.

Apollo-1-4B — инструктивно дообученная языковая модель Noema Research на базе Qwen3-4B с архитектурой decoder-only Transformer и примерно 3,7 млрд параметров. Она предназначена для диалогов, следования инструкциям и рассуждений общего назначения, включая многошаговые запросы, образовательные сценарии, помощников по знаниям и прототипирование агентов. Модель принимает текст и генерирует текст; поддерживает широкий набор языков, включая русский. В README заявлен контекст до 32 тыс. токенов, тогда как метаданные указывают нативный контекст 131 072 токена. Модель рассчитана на сочетание качества и эффективности и может использоваться на мощном пользовательском оборудовании и облачных GPU. README сообщает о внутренних оценках улучшения рассуждений и следования инструкциям относительно Apollo-1-2B, но полный отчёт по бенчмаркам пока не представлен. Лицензия указана как anvdl-1.0 в README и как other в метаданных Hugging Face.

Bielik-PL-Minitron-7B-v3.0-Instruct — генеративная языковая модель SpeakLeash и ACK Cyfronet AGH с архитектурой causal decoder-only и 7,35 млрд параметров. Это дообученная и сжатая версия Bielik-11B-v3-Base-20250730: модель прошла структурное прореживание и дистилляцию, затем настройку на следование инструкциям и выравнивание предпочтений. Для диалога используется шаблон ChatML. Модель предназначена для генерации ответов и выполнения языковых задач на польском и других европейских языках. Она обучалась на корпусе из 32 европейских языков с особым акцентом на польский; README сообщает о сохранении около 90% производительности исходной модели и ускорении вывода до 50% после сжатия. Лицензия Apache 2.0. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы; встроенных механизмов модерации нет, поэтому результаты следует проверять, а для сценариев с требованиями к модерации нужны внешние меры контроля.

Citaman/command-r-33-layer — языковая модель семейства Cohere, созданная автором репозитория с помощью слияния моделей через mergekit и метод SLERP. В конфигурации использована Citaman/command-r-34-layer с диапазонами слоёв [0, 33] и [1, 34]; результат предназначен для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель содержит 29,2 млрд параметров, построена на плотной архитектуре CohereForCausalLM и принимает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.

Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

GLM-5.3-Flash-GGUF — это квантизированные GGUF-версии языковой модели GLM-5.3-Flash от zai-org, подготовленные пользователем 6block с помощью llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp; заявлены поддерживаемые языки английский и китайский. Она подходит для сценариев, где требуется большая языковая модель с длинным контекстом и возможностью подобрать объём файлов под доступные ресурсы. Модель содержит 320 млрд параметров, из которых 18 млрд активируются на токен, и поддерживает контекст до 1 млн токенов. Архитектура включает 45 слоёв с гибридным вниманием: 34 слоя KDA linear attention чередуются с 11 слоями DSA sparse attention; используется MLA, Manifold-Constrained Hyper-Connections (mHC) и MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. В репозитории представлены варианты IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M размером примерно от 65 до 155 GiB, каждый разделён на 15 частей. Квантизация выполнена из официальных BF16-весов с калибровкой imatrix; слой MTP NextN исключён. IQ4_XS и IQ3_XXS рекомендуются авторами как предпочтительные варианты: IQ2_XS и IQ1_M заметно теряют качество, хотя требуют меньше места. Для запуска необходимо скачать все 15 частей выбранного варианта и указать первый файл в llama-cli; распределение слоёв по доступной памяти llama.cpp выполняет автоматически. Лицензия MIT, унаследованная от исходной модели zai-org/GLM-5.3-Flash.

GLM-5.3-Flash-MLX-8bit — это квантованная 8-битная сборка модели GLM-5.3-Flash, разработанной организацией zai-org и адаптированной PipeNetwork для MLX на Apple Silicon. Модель относится к классу смесей экспертов (Mixture-of-Experts), имеет 320 млрд параметров, из которых активно используется 18 млрд (320B-A18B). Архитектура включает 34 слоя Kimi-Delta с линейным вниманием и 11 слоёв DeepSeek sparse attention с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Мультитокенная предсказательная прослойка исключена, а vision tower сохранена в формате bfloat16. Модель предназначена для генерации текста и работы с изображениями и текстом; в README указана модальность image-text-to-text. Сборка рассчитана на запуск через MLX и совместимый runtime на компьютерах Apple Silicon. Размер файлов на диске составляет около 334,1 ГБ. Основная масса параметров, включая маршрутизируемых экспертов, квантована в 8 бит с группами по 64 значения; отдельные служебные параметры хранятся в float32, а vision tower — в bfloat16. Языки и размер контекстного окна в README не указаны. Сильной стороной сборки является существенное уменьшение размера по сравнению с исходной версией bfloat16 объёмом около 642,7 ГБ при близком качестве: заявленная perplexity на wikitext-2 составляет 3,4607. Для корректной работы рекомендуется пропатченный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит расхождения в вычислениях. Модель распространяется по лицензии MIT; в README также указано, что файлы были конвертированы из upstream-релиза и архитектура модели не изменялась.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

Это версия модели OpenAI gpt-oss-20b, подготовленная Richard Young с помощью Heretic v1.4.0 методом abliteration для снижения частоты отказов. Модель построена на архитектуре GPT-OSS с разреженной смесью экспертов (MoE) и предназначена для генерации текста и диалогов; её можно использовать для рассуждений, задач разработчика и агентных сценариев с вызовом инструментов. Карточка сообщает о формате Harmony и возможности менять уровень рассуждений, а также приводит результат: 77 отказов из 100 запросов против 98 у исходной модели. Метаданные указывают 1,6 млрд параметров, контекст до 131 072 токенов и веса safetensors в формате MXFP4. Это производная модель от openai/gpt-oss-20b; лицензия Apache 2.0. Меньшее число отказов не означает их полного отсутствия и не гарантирует точность ответов. Для корректной работы следует использовать формат Harmony.

CombinHorizon/huihui-ai-abliteratedV2-Qwen2.5-14B-Inst-BaseMerge-TIES — объединённая текстовая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-14B и huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2. Она предназначена для диалоговой генерации текста и ответов на запросы. Модель содержит 14 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В метаданных указан английский язык. Лицензия — Apache-2.0.

KRONOS-8B-V6 — объединённая языковая модель, созданная разработчиком T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B-Instruct. В объединение также вошли T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и mukaj/Llama-3.1-Hawkish-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет до 131 072 токенов. Модель опубликована в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценки, включая 70,22% на IFEval и средний показатель 24,49 по указанной таблице, но без полного контекста этих метрик они не позволяют оценить качество для конкретного применения. Сведения о лицензии и поддерживаемых естественных языках в доступных данных отсутствуют.

LFM2.5-1.2B-Thinking-MLX-bf16 — версия модели рассуждений Liquid AI, подготовленная командой LM Studio Community на базе LFM2.5-1.2B-Thinking. Это плотная авторегрессионная модель семейства LFM2 с примерно 1,5 млрд параметров, представленная в исходной точности bfloat16 в формате safetensors и адаптированная для запуска на Apple Silicon через MLX. Модель предназначена для генерации текста в диалогах, задач рассуждения и агентных сценариев; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 128 000 токенов. В карточке указаны английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Компактный размер и оптимизация MLX подходят для локального запуска на устройствах Apple Silicon. Репозиторий указывает лицензию «other», поэтому конкретные условия использования следует сверять с лицензией исходной модели.

Карточка модели meta-llama/Llama-3.1-405B-Instruct-FP8 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-405B, поэтому описание составлено по ней. Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

Llama3.1-Flammades-70B — диалоговая языковая модель на архитектуре Llama 3.1, разработанная FlammenAI. Это дообученная версия nbeerbower/Llama3.1-Gutenberg-Doppel-70B: модель адаптировали методом ORPO на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1, используя два ускорителя H100 в течение трёх эпох. Модель содержит 69,5 млрд параметров, работает с текстом и имеет контекст длиной до 131 072 токенов. Модель предназначена для диалоговой генерации текста и ответов на инструкции. В карточке приведены результаты Open LLM Leaderboard: средний балл 35,74, IFEval — 70,58, BBH — 52,55; эти показатели отражают оценки на указанных тестах, а не гарантируют качество в конкретном сценарии. Для запуска доступен формат Safetensors и библиотека Transformers. Лицензия — Llama 3.1 Community License.

Llama-SEA-LION-v3.5-70B-R — гибридная языковая модель AI Singapore, разработанная командой Products Pillar при финансировании NRF Сингапура. Это плотная авторегрессионная модель-декодер на архитектуре Llama 3.1 с 69,5 млрд параметров, дообученная на инструкциях на базе Llama-SEA-LION-v3-70B-IT. Режим рассуждений или обычной генерации выбирается через шаблон чата токенизатора. Модель предназначена для диалога, генерации текста, рассуждений и выполнения инструкций, в том числе на языках Юго-Восточной Азии. Поддерживает бирманский, китайский, английский, филиппинский, индонезийский, яванский, кхмерский, лаосский, малайский, сунданский, тамильский, тайский и вьетнамский языки. Контекст составляет до 128 тыс. токенов по README; метаданные указывают 131 072 токена. Доступна в формате Safetensors и запускается через Transformers. Модель оценивалась на задачах вопросов и ответов, анализа тональности, обнаружения токсичности, перевода, суммаризации, причинного рассуждения и следования инструкциям. Она может галлюцинировать и давать нерелевантные или непоследовательные ответы. Модель не прошла настройку безопасности, поэтому ответы следует проверять, а для развёртывания предусмотреть собственные меры безопасности. Лицензия — Llama 3.1 Community License.

Карточка модели Openintelligent123/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

bartowski/Mistral-Large-Instruct-2411-GGUF — квантизированная версия инструкционной языковой модели Mistral Large, подготовленная bartowski. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям; формат GGUF ориентирован на использование в совместимых локальных инструментах инференса. README не содержит сведений о точном размере модели, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках или дополнительных модальностях. К сильным сторонам относятся инструкционная настройка и возможность локального запуска в формате GGUF, однако количественные характеристики, требования к ресурсам, результаты тестирования и ограничения качества в предоставленных данных не указаны. Модель распространяется по Mistral AI Research License: использование, модификация и распространение разрешены на установленных лицензией условиях, но применение моделей, производных моделей и результатов ограничено исследовательскими целями. При распространении требуется сохранять текст лицензии и указанное уведомление об атрибуции.

Sakalti/mont-xl-agi — языковая модель для генерации текста, созданная слиянием моделей с помощью mergekit и метода SLERP. В неё вошли allknowingroger/Qwen2.5-42B-AGI и Qwen/Qwen2.5-0.5B-Instruct; в метаданных также указан Qwen2 как семейство архитектуры и класс Qwen2ForCausalLM. Модель содержит 747,4 млн параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, выполнения инструкций и генерации текста. Метаданные отмечают интерфейс для вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии и поддерживаемых естественных языках отсутствуют в предоставленной карточке и метаданных.

NeuralOmniWestBeaglake-7B — объединённая модель для генерации текста на архитектуре Mistral, созданная с помощью LazyMergekit из WestBeagle-7B, Beaglake-7B и NeuralOmniBeagle-7B. В конфигурации указан mistralai/Mistral-7B-v0.1 как базовая модель; слияние выполнено методом DARE-TIES с параметрами плотности и весов для компонентов. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

Sohailhosseini/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-AWQ-W4A16 — квантизированная версия модели Jackrong/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная пользователем Sohailhosseini. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая диалоговые и инструкционные сценарии; в карточке она обозначена как image-text-to-text и заявлена как подходящая для мультиязычных моделей. Модель содержит 9,7 млрд параметров и использует квантизацию AWQ-W4A16 с 4-битными весами в формате compressed-tensors. Размер на диске составляет 8,6 ГБ, что в 2,24 раза меньше исходных 19,3 ГБ. Визуальные компоненты, включая vision tower, vision model и multi-modal projector, а также слой lm_head оставлены без квантизации, поэтому сохраняется мультимодальная функциональность. Рекомендуемая длина контекста при запуске через vLLM — до 32 768 токенов. Ключевое преимущество — уменьшенные требования к хранению и потенциально более эффективный запуск по сравнению с исходной моделью; квантизация калибровалась на 256 примерах из HuggingFaceH4/ultrachat_200k. Ограничения включают возможное снижение качества из-за 4-битного представления и совместимость с реализациями vLLM: некоторые старые ядра могут предпочитать симметричную схему W4A16, тогда как данная версия асимметричная. В README указана лицензия Apache-2.0, унаследованная от исходной модели.

WaveCut/Qwen3.8-27B-MXFP8-CRACK-NInfer — артефакт модели в формате .ninfer, подготовленный для движка NInfer компанией или пользователем WaveCut на основе community fine-tune dealignai/Qwen3.8-27B-MXFP8-CRACK и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для локального инференса на одной CUDA-видеокарте, поддерживает текстовые и визуальные входные данные и может использоваться через CLI либо совместимый с OpenAI/Anthropic сервер NInfer для генерации и задач понимания изображений. Точные прикладные возможности fine-tune в README не раскрыты. Архитектура соответствует Qwen3.8-27B; артефакт содержит 1118 тензоров и 6 ресурсов интерфейса, включая токенизатор, chat template и конфигурации препроцессора. Используется профиль NInfer groupwise-int с групповой квантизацией, включающей Q4/Q5/Q6/W8 и BF16; исходные веса были деквантизированы в BF16 и повторно квантизированы, поэтому возможна немного меньшая точность по сравнению с нативной BF16-версией того же fine-tune. Максимальный контекст зависит от конфигурации и оборудования: в примере запуска указан 16384 токена, а вариант ninfer-3090 заявляет до 171K токенов INT8-контекста на RTX 3090. Основное преимущество — запуск 27-миллиардной мультимодальной модели на одной видеокарте с оптимизированным CUDA/C++-движком; артефакт проверен пробным запуском с согласованным выводом. Основные ограничения — зависимость от NInfer, CUDA и совместимой видеокарты, специализация upstream-движка на RTX 5090-классе и одна GPU, а также потенциальная потеря качества из-за двойной квантизации. Для RTX 3090 рекомендуется отдельная ветка ninfer-3090. В README не указаны языки модели и точные значения параметров или размер контекста официальной архитектуры. Лицензия — Apache-2.0, как у указанного артефакта и upstream-моделей.

Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8 — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная сообществом Freaksterz на базе оригинальной модели Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений и текста, а также для задач, где важны высокая скорость инференса и умеренное потребление памяти. В основе используется архитектура Qwen3.8-27B с 27 миллиардами параметров. Квантизация выполнена по схеме W8A8: веса представлены в симметричном INT8 с округлением GPTQ, а активации квантизуются динамически для каждого токена. В процессе применены офлайн-ротация QuaRot-подобного типа, SmoothQuant и GPTQ; отдельные компоненты, включая vision tower, embeddings, lm_head, нормы и модуль MTP для speculative decoding, сохранены в BF16. Модель распространяется в формате compressed-tensors и ориентирована на запуск через vLLM с нативным INT8 tensor-core kernel. Заявленная скорость prefilling составляет около 3500 токенов в секунду на двух RTX 3090 в режиме TP2, а средняя дивергенция относительно BF16-версии измерена на уровне KLD 0,0110. Сильными сторонами являются низкое отклонение от BF16-оригинала среди рассматриваемых INT8 W8A8-вариантов, высокая скорость prefilling и сохранение поддержки speculative decoding благодаря BF16 MTP. Ограничения включают неизбежную потерю точности из-за квантизации, зависимость производительности от совместимого оборудования и программного стека, а также отсутствие в предоставленных данных сведений о языковом охвате и размере контекстного окна. Лицензия — Apache-2.0.

Vishva007/Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным входам, включая анализ изображений и задачи оптического распознавания символов (OCR). В README она обозначена как vision-language model с поддержкой сценария image-text-to-text. Модель содержит около 27 млрд параметров и использует формат квантизации W4A16: веса представлены в 4-битном формате, а активации — в 16-битном. Квантизация выполнена с помощью Intel AutoRound с размером группы 64, симметричной схемой, 512 калибровочными образцами и 600 итерациями настройки. Визуальная башня сохранена в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество визуального рассуждения и OCR. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели, поэтому вариант подходит для запуска на одной видеокарте с 24 ГБ VRAM и для высокопроизводительного сервинга через vLLM. К преимуществам относятся существенно сниженные требования к памяти и потенциально более высокая скорость декодирования при сохранении визуальных компонентов в BF16. Ограничения включают возможную потерю точности из-за 4-битной квантизации, а также отсутствие в README сведений о поддерживаемых языках, точном размере контекста, результатах бенчмарков и детальных ограничениях применения. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-6bit-MTP — это 6-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, подготовленная Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для Apple Silicon и реализована в архитектуре qwen4_exp: vision-language модель с разреженной Mixture-of-Experts архитектурой, поддерживающая работу с текстом и изображениями. Общий размер языковой части составляет 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно указаны 51 млрд параметров hashed bigram/trigram embeddings и 4 млрд параметров native MTP-блока. Модель использует Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, vision encoder и контекст до 262 144 токенов. Квантование выполнено методом uniform 6-bit affine с group size 32; мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Встроенный native MTP с одним draft-блоком предназначен для speculative decoding и может ускорять генерацию. Сильными сторонами являются большой контекст, поддержка изображений, высокая вычислительная эффективность за счёт MoE и native MTP, а также проверенная совместимость с MLX-VLM, MLX и oMLX. В тестах на Apple M3 Studio включение MTP увеличило скорость генерации с 20,65 до 25,94 токена в секунду. Ограничения включают значительный размер весов — около 158,08 ГБ, необходимость совместимого runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Языки и точные мультимодальные возможности в предоставленных данных не указаны. Модель распространяется по Qwen Community License 1.0. Токенизатор, chat template, vision processor, конфигурации генерации и native MTP унаследованы от исходной модели.

ClaudioItaly/QwenTies-14B — плотная языковая модель семейства Qwen2.5, созданная автором репозитория с помощью TIES-слияния предварительно обученной Qwen2.5-14B и инструкционной Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors; для работы указан стек Transformers. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая структурированные ответы и интерфейс вызова инструментов. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также для сценариев, где требуется длинный контекст. Карточка не приводит результатов оценки качества. Сведения о лицензии в доступных данных отсутствуют.

RecurrentGemma-9B-IT — инструктивно дообученная языковая модель из семейства RecurrentGemma, разработанного Google. Это плотная авторегрессионная модель с рекуррентной архитектурой; в метаданных указано 13,9 млрд параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, суммаризации и рассуждений. По карточке, архитектура RecurrentGemma требует меньше памяти, чем Gemma, и ускоряет генерацию длинных последовательностей. Модель принимает текст и генерирует текст. Семейство представлено англоязычными предварительно обученными и инструктивными версиями; для этой модели карточка описывает разговорное применение. Модель доступна в формате Safetensors и запускается через Transformers. Лицензия — Gemma; применяются условия использования Gemma. Как и другие большие языковые модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, нюансами языка и сложными открытыми задачами. Для приложений с пользовательскими ответами необходимы проверка результатов и меры безопасности.