I.1Поиск и навигация по информации

ThinkingCap-Qwen3.6-27B-int4-AutoRound-v1 — это общественная INT4-квантизация модели ThinkingCap-Qwen3.6-27B, исходно выпущенной BottleCap AI. Квантизацию выполнил Josef Prusa с использованием Intel AutoRound 0.14.0. Модель предназначена для локального инференса и агентных сценариев с длинным контекстом, включая работу с инструментами, вызов функций, оркестрацию задач и обслуживание через vLLM. Модель основана на архитектуре Qwen3.6 с 27 млрд параметров и использует текстовую генерацию. Применена весовая схема W4A16 с 4-битными весами, group size 128 и симметричной квантизацией; размер файлов составляет около 20 ГБ. Тензоры Multi-Token Prediction сохранены в BF16 для поддержки speculative decoding. В рекомендуемой конфигурации vLLM заявлен максимальный контекст до 262 144 токенов, а KV-кэш может дополнительно квантизироваться в 4-битный формат. Поддерживаются режимы рассуждений, tool calling и соответствующие парсеры Qwen3. Сильные стороны модели — уменьшенное потребление памяти, высокая скорость локального инференса, возможность размещения на видеокарте класса RTX 5090 с 32 ГБ памяти и сохранение поведения исходной ThinkingCap в задачах рассуждений и работы с инструментами. По локальным предварительным тестам модель показала результаты 81 в Hermes Agent, 90 в наборе tool-call-style, 89 в instructfollow-15, 73 в bugfind-15 и 65 в cli-40. Эти показатели получены на локальных тестах и не являются полной независимой оценкой качества. Ограничения связаны с потерями качества, возможными для 4-битной квантизации, а также с тем, что приведённые оценки и показатели производительности являются предварительными измерениями на одной конфигурации. Параметр group size 128 выбран в пользу скорости, меньшего потребления VRAM и запаса для длинного KV-кэша; меньшие группы могут повысить качество, но требуют больше памяти. Лицензия в представленном README не указана.

Aya-23-8B — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная Cohere For AI и Cohere. Это версия на 8 млрд параметров семейства Aya 23, дообученная следовать инструкциям на основе предварительно обученной модели семейства Command и коллекции Aya. Модель предназначена для диалогов, ответов на вопросы, написания и преобразования текстов на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Поддерживает текстовый ввод и генерацию текста, а также интерфейс вызова инструментов. Контекстное окно составляет 8192 токена. Веса доступны по лицензии CC-BY-NC-4.0; применение также регулируется политикой допустимого использования Cohere For AI. Для работы с моделью требуется версия Transformers с необходимыми изменениями. Модель ориентирована на мультиязычное следование инструкциям, но карточка не приводит подробностей об ограничениях качества по отдельным языкам.

onnx-community/granite-4.0-350m-ONNX-web — веб-ориентированная ONNX-версия Granite-4.0-350M, разработанная командой Granite компании IBM. Это компактная instruct-модель, дообученная на открытых наборах инструкций с разрешительными лицензиями и внутренних синтетических данных с использованием supervised fine-tuning, reinforcement learning и model merging. Модель предназначена для запуска через Transformers.js, включая браузерные и on-device сценарии, а также для исследовательского применения и дообучения под специализированные области без значительных вычислительных ресурсов. Модель поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; дополнительные языки могут быть добавлены посредством дообучения. Указанный размер — 350 млн параметров; модель является текстовой, а размер контекста в README не указан. К сильным сторонам относятся малый размер, пригодность для локального и веб-запуска, следование инструкциям, многоязычность и широкий набор прикладных сценариев. Ограничениями являются меньшая емкость по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей о контекстном окне, точности на конкретных задачах и безопасности применения. Модель распространяется по лицензии Apache 2.0.

Многоязычная инструкционно настроенная языковая модель Meta на архитектуре авторегрессионного трансформера Llama 3.1. Репозиторий unsloth/Llama-3.1-8B-Instruct основан на meta-llama/Llama-3.1-8B-Instruct и содержит плотную модель примерно на 7,5 млрд параметров в формате Safetensors; для настройки использовались supervised fine-tuning и обучение с обратной связью от людей. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов, а длина контекста составляет до 131 072 токенов. Модель предназначена для диалоговых помощников и генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Её можно применять для ответов на вопросы, составления и преобразования текстов, суммаризации и генерации синтетических данных. К сильным сторонам относятся широкий контекст, многоязычность и возможность интеграции с инструментами. Качество и безопасность ответов могут различаться между языками и сценариями; карточка рекомендует осторожность при использовании неподдерживаемых языков и интеграции сторонних инструментов. Модель распространяется по лицензии Llama 3.1 Community License с условиями коммерческого и исследовательского использования.

bunnycore/Llama-3.1-8B-TitanFusion — объединённая языковая модель семейства Llama, созданная с помощью mergekit методом DARE TIES. Базой слияния служила bunnycore/LLama-3.1-8B-Matrix; также в объединение вошли akjindal53244/Llama-3.1-Storm-8B, bunnycore/HyperLlama-3.1-8B, DreadPoor/Heart_Stolen-8B-Model_Stock и refuelai/Llama-3-Refueled. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Она предназначена для генерации текста; заявленная длина контекста — 131072 токена. В составе объединения есть англоязычная инструктивная модель Refuel AI, предназначенная для генерации текста, классификации, извлечения атрибутов и разрешения сущностей. Карточка не сообщает о специализированных областях применения или ограничениях качества. Лицензия в предоставленных данных не указана.

Llama-3.1-Storm-8B — языковая модель команды Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная авторегрессионная модель семейства Llama на 7,5 млрд параметров, предназначенная для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Контекст составляет до 131 072 токенов. Модель дообучена на основе Llama-3.1-8B-Instruct: авторы отобрали около миллиона примеров с упором на образовательную ценность и сложность, провели целевое дообучение с заморозкой половины слоёв, а затем объединили результат методом SLERP с Llama-Spark. В карточке сообщается об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков; это заявление авторов, и оно не гарантирует аналогичных результатов на прикладных данных. Модель рассчитана на общее применение, в том числе на локальный запуск при ограниченных вычислительных ресурсах; поддерживает работу через Transformers и vLLM, а также сценарии function calling при использовании соответствующего формата запроса. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Чекпойнт представлен в safetensors и использует формат bfloat16 для рекомендованного запуска. Лицензия — Llama 3.1; перед использованием следует учитывать её условия. Авторы отмечают, что отдельного этапа выравнивания модель не проходила.

Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs/Qwen3.8-27B-OnlyText — текстовая причинно-следственная языковая модель, созданная на основе Qwen/Qwen3.8-27B: из исходной модели удалены компоненты обработки изображений и аудио, а текстовая часть и языковая голова сохранены. Это плотная архитектура Qwen3_5ForCausalLM; README указывает 27,32 млрд параметров, 64 слоя, размер скрытого состояния 5120 и сохранённую MTP-голову для чернового предсказания токенов. Метаданные указывают 22,3 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Она принимает и выдаёт текст, без поддержки изображений и аудио. В карточке указан английский язык; языковые возможности унаследованы от базовой модели, но конкретный список языков в README не приведён. Модель выпущена по лицензии Apache-2.0. Она удаляет мультимодальные компоненты, но не добавляет нового обучения; точность и поведение зависят от возможностей исходной Qwen3.8-27B.

Qwen3-VL-235B-A22B-Thinking — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте с архитектурой MoE и режимом рассуждений Thinking. Репозиторий содержит веса в формате safetensors; модель предназначена для диалога по тексту, изображениям и видео, визуального анализа и взаимодействия с инструментами. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и видео, OCR и разбору длинных документов, STEM-задач, пространственного анализа, генерации кода и разметки интерфейсов по визуальным примерам, а также управления GUI через инструменты. В README заявлены контекст 256K токенов с расширением до 1M и поддержка OCR на 32 языках. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и привязку видео-событий к временным меткам. Карточка описывает широкие возможности мультимодального рассуждения и понимания текста, но не приводит здесь конкретных результатов бенчмарков. Для развёртывания модели такого размера требуются значительные вычислительные ресурсы; фактическая поддержка видео и вызова инструментов зависит от используемого окружения.

Qwen3-VL-2B-Thinking-FP8 — мультимодальная vision-language модель из серии Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-2B-Thinking с мелкозернистой квантизацией и размером блока 128; согласно README, её показатели почти идентичны исходной BF16-модели. Модель предназначена для обработки изображений, видео и текста, включая генерацию и понимание текста, визуальное рассуждение, OCR, анализ документов, пространственное восприятие, STEM- и математические задачи, а также взаимодействие с графическими интерфейсами и инструментами. Модель поддерживает нативный контекст до 256K токенов с возможностью расширения до 1M, понимает длительные видео и использует механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена поддержка OCR на 32 языках, однако полный перечень языков в README не приведён. Среди сильных сторон — детальное визуальное восприятие, анализ пространственных отношений и видео, мультимодальное рассуждение, распознавание текста в сложных условиях и снижение требований к памяти благодаря FP8-квантизации. README указывает на ограничения совместимости: Transformers пока не поддерживает прямую загрузку этих весов. Для запуска рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

Rombos-LLM-V2.6-Nemotron-70b — текстовая генеративная модель на архитектуре Llama, опубликованная разработчиком rombodawg. По README, это результат последнего этапа непрерывного дообучения модели Nemotron-70B от NVIDIA; метаданные также указывают на слияние моделей Llama 3.1 70B Base, Llama 3.1 70B Instruct и Nemotron-70B-Instruct. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Весовые файлы представлены в формате safetensors. Лицензия — Llama 3.1; условия её использования определяются этой лицензией.

jondurbin/bagel-8x7b-v0.2 — экспериментальный SFT-чекпойнт, созданный jondurbin на основе Mixtral-8x7B-v0.1 с помощью инструментария Bagel. Это языковая модель с архитектурой Mixtral MoE и 7,1 млрд параметров; она поддерживает контекст до 32 768 токенов и представлена в формате safetensors. Модель предназначена для диалогов и следования инструкциям, ответов на вопросы по предоставленному контексту, задач на рассуждение, математику, программирование и SQL, а также для ролевых диалогов. Для настройки использовались обучающие части разнообразных наборов данных: среди прочего, датасеты для чтения и понимания текста, общих знаний, математики, кода, чатов и ролевых сценариев. Карточка описывает модель после этапа SFT и до применения DPO; для общения предусмотрено несколько шаблонов промптов, а шаблон по умолчанию основан на Llama 2. Модель лицензирована по Apache 2.0. README называет настройку экспериментальной, поэтому качество на отдельных задачах следует проверять в целевом сценарии.

Bonsai-2-27B-CRACK-Ternary-JANG — дообученная dealign.ai версия тернарно-квантованной модели PrismML Ternary-Bonsai-2-27B на архитектуре Qwen 3.5, предназначенная для генерации текста, диалога и агентных сценариев. Модель рассчитана на запуск в vMLX на компьютерах Apple Silicon; использует формат JANG с 2-битными аффинными весами, групповой квантизацией 128 и сохранённым Hadamard-преобразованием. В карточке указаны контекст до 262 тыс. токенов, режимы рассуждения low, medium и xhigh, XML-вызовы инструментов, а также поддержка изображений и видео. Модель ориентирована на англо-китайские сценарии, включая ответы на вопросы, кодирование и работу с инструментами. По заявлению автора, поведение отказов удалено на уровне весов; приведены результаты MMLU и HarmBench на данной сборке. Для запуска требуется vMLX с JANG-Hadamard runtime: стандартный путь загрузки MLX, согласно карточке, выдаёт некорректные результаты. Лицензия — Apache 2.0.

unsloth/DeepSeek-V3-bf16 — версия DeepSeek-V3 в формате BF16, размещённая Unsloth и предназначенная для генерации текста и диалогового использования. Согласно карточке модели, DeepSeek-V3 — языковая модель архитектуры Mixture-of-Experts с 671 млрд параметров, из которых около 37 млрд активируются на каждом токене; используются DeepSeekMoE и Multi-head Latent Attention. Метаданные этой версии указывают 37,6 млрд параметров, контекст до 163 840 токенов и поддержку интерфейса вызова инструментов. Модель подходит для диалогов, ответов на вопросы, написания и преобразования текста, а также сценариев с вызовом инструментов. В карточке заявлена поддержка английского языка. Репозиторий использует Transformers и формат safetensors; лицензия — MIT. Для запуска требуются значительные вычислительные ресурсы, характерные для крупной языковой модели.

gaunernst/gemma-3-12b-it-int4-awq — инструкцияно дообученная мультимодальная модель семейства Gemma 3, разработанная Google DeepMind. Данный репозиторий содержит QAT INT4 Flax-чекпойнт, преобразованный в формат HF+AWQ для использования с Transformers; при этом квантование AWQ непосредственно не применялось. Базовая модель — google/gemma-3-12b-it. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений, включая описание визуального содержимого. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Контекстное окно составляет 128K токенов, максимальный объём генерируемого вывода — 8192 токена. Заявлена поддержка более 140 языков. Ключевые преимущества — мультимодальность, большое контекстное окно и сниженные требования к ресурсам благодаря представлению INT4, что может упростить развёртывание на локальной инфраструктуре или в облаке. Ограничения включают зависимость от совместимой версии Transformers и необходимость учитывать особенности формата конвертированного чекпойнта; README не содержит результатов бенчмарков или подробностей о качестве на отдельных языках и задачах. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия соответствующей лицензии.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

Granite-4.0-H-1B-Base — базовая языковая модель команды Granite компании IBM для генерации текста. Это декодерный плотный трансформер семейства GraniteMoeHybrid с компонентами GQA, Mamba2, SwiGLU и RMSNorm. Модель содержит 1,2 млрд параметров, обучена с нуля примерно на 15 трлн токенов и поддерживает контекст до 131 072 токенов. Модель предназначена для краткого и эффективного запуска, в том числе на устройствах с ограниченными ресурсами, и для офлайн-сценариев, где важна приватность. Она может использоваться для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода; поддерживается заполнение пропусков в коде в формате Fill-in-the-Middle. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. Она не проходила выравнивание безопасности, поэтому может генерировать проблемный или недостоверный текст; авторы также отмечают риск дословного воспроизведения обучающих данных. Качество следует проверять для конкретной задачи.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

MiniCPM-V 4.5 int4 — мультимодальная vision-language модель, разработанная OpenBMB. Она предназначена для анализа одиночных и нескольких изображений, видео, документов и текстовых запросов, включая распознавание текста, разбор PDF, визуальные вопросы и ответы, а также понимание коротких и длинных видеоматериалов. Модель поддерживает более 30 языков и ориентирована в том числе на локальный запуск на мобильных устройствах и компьютерах. В основе лежат языковая модель Qwen3-8B и визуальный энкодер SigLIP2-400M; общий размер составляет около 8 млрд параметров. Архитектура включает unified 3D-Resampler для совместной обработки изображений и видео: до шести кадров 448×448 могут сжиматься в 64 видеотокена, что снижает вычислительную стоимость и позволяет анализировать видео с частотой до 10 кадров в секунду. Для изображений поддерживаются произвольные пропорции и разрешение до 1,8 млн пикселей. Модель также использует подходы LLaVA-UHD для работы с изображениями высокого разрешения и отличается сильными заявленными результатами в OCR, понимании документов и мультимодальном рассуждении. К сильным сторонам относятся высокая эффективность для модели такого размера, поддержка изображений, нескольких изображений и видео, развитое распознавание текста, режимы быстрого и глубокого рассуждения, а также варианты запуска через llama.cpp, Ollama, vLLM и SGLang. Представленная версия использует квантование int4, поэтому может требовать меньше памяти, но потенциально уступает полноразмерным вариантам по точности. README не указывает максимальную длину текстового контекста и не приводит подробный перечень ограничений; фактическая скорость и качество зависят от оборудования, формата инференса и сложности входных данных. Модель распространяется по лицензии Apache 2.0.

Ornith-1.5-35B-A3B-NInfer — квантованный артефакт модели Ornith-1.5-35B-A3B, разработанной shisa-ai на базе архитектуры Ornith и с компонентами, связанными с Qwen3.6-35B-A3B. Модель упакована в единый файл формата NInfer и предназначена для локального сервинга через NInfer, включая совместимый с OpenAI API интерфейс. Она ориентирована на текстовые и визуально-текстовые сценарии, а также на ускоренную генерацию с использованием speculative decoding. Модель построена по архитектуре Mixture-of-Experts размером 35B параметров: используется 256 экспертов, из которых 8 активируются для каждого токена. Архитектура включает 40 гибридных слоёв с линейным и полным вниманием, vision tower, однос слой MTP и контекст длиной до 262144 токенов. В артефакт встроены квантованные groupwise-int веса, MTP-голова, DFlash draft-модель, vision tower, токенизатор и официальный frontend Qwen. Размер файла составляет около 21,22 GiB; заявлена работа на одной видеокарте RTX 5090 с 32 ГБ памяти, при этом NInfer ориентирован на sm_120a. Сильными сторонами являются большое контекстное окно, поддержка изображений, единый переносимый артефакт и ускорение генерации за счёт MTP и DFlash. В README указано ожидаемое принятие спекулятивных токенов около 80% и примерно 3,4 токена за раунд для окна из 3 токенов, однако на дообученных сценариях скорость может снижаться, поэтому производительность следует измерять на собственных данных. Артефакт распространяется по лицензии Apache-2.0; он не является официальным релизом Qwen, shisa-ai, ornith-ai или NInfer.

NVIDIA Qwen3-30B-A3B-NVFP4 — это квантизированная версия авторегрессионной языковой модели Qwen3-30B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer версии 0.31.0. Модель предназначена для генерации текста и ориентирована на разработчиков, создающих AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель использует трансформерную архитектуру Qwen3-30B-A3B, принимает текстовые последовательности и возвращает текст. Поддерживается контекст длиной до 131K токенов. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в FP4, что примерно в 3,3 раза сокращает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Модель рассчитана на запуск через TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, предпочтительно в Linux. К сильным сторонам относятся уменьшенные требования к памяти и готовность к высокопроизводительному инференсу на совместимом оборудовании. Ограничения включают зависимость от TensorRT-LLM и NVIDIA GPU, а также возможное снижение точности из-за квантизации; конкретные языковые возможности и результаты для отдельных языков в README не указаны. В README приведены результаты на MMLU Pro, GPQA Diamond, HLE, LiveCodeBench, SciCode, MATH-500 и AIME 2024, а для калибровки использован датасет CNN/DailyMail. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

geoffmunn/Qwen3-4B-f16 — конверсия языковой модели Qwen3-4B от Alibaba в формат GGUF для локального запуска через llama.cpp и совместимые приложения. Модель содержит около 4 млрд параметров и предназначена для диалогов, рассуждений, агентных сценариев, генерации кода и многоязычных задач; карточка также приводит варианты квантования и сравнение их скорости, размера и качества. Модель принимает текст и генерирует текст. В карточке заявлена поддержка английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Для некоторых вариантов требуется специальная сборка llama.cpp; доступная длина контекста в этой версии снижена ради скорости. Репозиторий распространяется по лицензии Apache-2.0. Автор конверсии — Geoff Munn; проект не связан с Alibaba или командой Qwen.

RedHatAI/Qwen3.5-9B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе модели Qwen от Qwen. Она принимает текст и изображения, а генерирует текст; модель предназначена для диалоговых приложений, анализа визуальной информации, выполнения инструкций и задач рассуждения. Для работы рекомендуется использовать vLLM, поддерживаются мультимодальный и текстовый режимы. Модель содержит около 9 млрд параметров и использует квантование весов INT4 по схеме W4A16 при сохранении исходной точности активаций. Квантируются линейные операторы в трансформерных блоках, тогда как vision encoder, токенизаторные embeddings и linear attention layers остаются в BF16. Размер на диске составляет около 11 ГБ против 19,3 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена максимальная длина контекста 262144 токена. К сильным сторонам относятся существенное сокращение размера и возможность эффективного инференса при сохранении близкой к исходной точности: на опубликованных тестах результаты квантованной версии составили 97,9–100,1% от показателей базовой модели на задачах следования инструкциям. Ограничения связаны с частичным, а не полным квантованием, зависимостью от совместимого стека vLLM и отсутствием в представленном описании сведений о поддерживаемых языках и подробных характеристиках архитектуры. Модель распространяется по лицензии Apache-2.0.

Это GGUF-представление модели Qwen3.6-35B-A3B от команды Qwen компании Alibaba, подготовленное FreedomAISVR и основанное на NVFP4 Fast-квантизации Unsloth. Модель мультимодальная, с архитектурой MoE: 35 млрд параметров всего и около 3 млрд активных на токен; текстовая часть использует 40 слоёв с гибридом Gated DeltaNet и полнослойного внимания, а для изображений и видео предусмотрен визуальный энкодер на базе SigLIP. В репозитории есть файл модели NVFP4 и отдельный vision-проектор F16. Модель предназначена для диалогов, анализа изображений и видео, работы с инструментами и агентных задач, включая программирование. Заявлены контекст 262 тыс. токенов с возможностью расширения через YaRN и поддержка Multi-Token Prediction для ускорения декодирования. README сообщает о более высокой пропускной способности Fast-варианта по сравнению с другими NVFP4-квантованиями при конкурентных результатах бенчмарков; фактическая скорость зависит от оборудования и среды запуска. Для полной выгрузки на GPU рекомендуется не менее 32 ГБ видеопамяти; оптимальная производительность заявлена на NVIDIA Blackwell B200. Модель распространяется по лицензии Apache-2.0. Это производная модель в формате GGUF с NVFP4-квантизацией; для обработки изображений нужен отдельный файл vision-проектора. Указаны английский и китайский языки, поэтому качество на других языках не следует считать подтверждённым.

PocketAiHub/Qwen3.8-27B-Abliterated-MTPLX-Optimized-Speed — производный вариант модели Qwen3.8-27B, созданной командой Qwen. PocketAiHub выполнила проекцию, подавляющую выученное поведение отказа, а также конвертацию, оптимизацию и проверку модели. Для ускорения используется MTPLX 2.7.1 и нативный механизм multi-token prediction с глубиной 3. Модель предназначена для генерации текста, рассуждений, структурированного выбора инструментов и работы с изображениями через OpenAI-совместимый API. Поддерживаются входные изображения в форматах PNG, JPEG и WebP; работоспособность видео в серверном режиме не подтверждена. Конфигурационное контекстное окно составляет 262 144 токена, однако для ускоренного MTPLX-режима рекомендуется использовать не более 32 000 токенов. Квантование смешанное: основная часть весов имеет 4-битную точность, отдельные чувствительные компоненты — 8-битную или BF16. Размер загрузки — около 21,31 ГБ. Главное преимущество — высокая скорость декодирования на Apple Silicon: на Apple M5 Max измерено до 58,05 токена в секунду, что соответствует ускорению до 2,35 раза относительно авторегрессионного режима. Ограничения включают зависимость производительности от оборудования, возможный дрейф поведения из-за квантования и аблитерации, а также подавление отказов, которое может приводить к ошибочным, вредным или непредсказуемым ответам. Модель не является более безопасной и требует собственных защитных механизмов. Распространяется по лицензии Apache-2.0.

Cyronius/Qwen3.8-Flash-Next-131B-A6B-GGUF — это оптимизированная GGUF-версия Qwen3.8-Flash-Next, основанная на модели Qwen от Qwen и подготовленная автором Cyronius. Модель предназначена для генерации текста, рассуждений и агентских сценариев с вызовом инструментов через llama.cpp. Это текстовая сборка; отдельные vision-тензоры поставляются отдельно, а работа визуального контура после модификации не тестировалась. Модель использует MoE-архитектуру с 48 слоями и 512 экспертами, из которых активируются параметры объёмом около 6B на токен. Общее число параметров сокращено примерно с 176B до 131B за счёт уменьшения n-gram hash-embedding-таблицы с 51,2B до 6,4B параметров: сохранено по одной из восьми голов для каждого типа n-грамм. Основная сборка Q3_K_XL занимает 64,8 GB, также доступна версия Q4_0 размером 75,4 GB. Заявлена поддержка контекста до 256K токенов в исходной архитектуре, но поведение на длинном контексте для этой модификации не проверялось; опубликованные тесты проведены при контексте до 8K. По небольшому набору тестов сборка сохранила показатели базовой модели в tool calling, GSM8K и MMLU, однако perplexity на WikiText-2 ухудшилась с 2,40 до 4,66. Поэтому модель хорошо подходит для рассуждений, задач общего назначения и вызова инструментов, но может быть менее качественной в точном воспроизведении цитат, шаблонного текста и других сценариях, зависящих от поверхностного предсказания продолжений. Q4_0 структурно проверена, но отдельно не тестировалась. Для запуска требуется llama.cpp от 2026-08-27 или новее с поддержкой qwen4exp, а также значительный объём VRAM или оперативной памяти. Модель распространяется по лицензии qwen-community-1.0.

Myric/Qwen3.8-Flash-Next-APEX-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста, мультимодального анализа изображений и агентного программирования с использованием llama.cpp. В комплект входят основной файл MIDDLE для инференса, BF16-файл как источник для квантования и отдельный vision projector для работы с изображениями. Архитектура представляет собой мультимодальную MoE-модель общим размером около 180 млрд параметров и примерно 6,8 млрд активных параметров. Она содержит 48 слоёв, 512 маршрутизируемых экспертов с выбором top-10, гибридную архитектуру gated-delta-net с полноценным attention в каждом четвёртом слое, разреженное QSA-внимание и n-gram embeddings на уровне слоёв. Заявленный контекст составляет до 262 144 токенов. Поддержка языков в README не указана. Сильные стороны модели — большой контекст, мультимодальные возможности, эффективная MoE-архитектура и хорошие результаты в описанном тесте агентного программирования: 9 из 9 задач и 154 из 154 тестов. Ограничения включают высокие требования к памяти: для MIDDLE требуется около 85,4 GiB под веса, а также дополнительная память под KV-кэш и вычислительные буферы. Для llama.cpp рекомендуется использовать f16 KV-кэш и один параллельный слот; q8_0 KV может приводить к сбоям или некорректным результатам. Параметр reasoning effort high не поддерживается, допустимы xhigh, medium и low. Для работы с изображениями требуется vision projector. Модель распространяется по лицензии Apache-2.0. Для запуска опубликованных файлов необходима актуальная версия llama.cpp с поддержкой qwen4exp; самостоятельная конвертация требует специальной ветки конвертера, поскольку соответствующее исправление ещё не включено upstream.

Sakalti/ultiima-72B-v2.0 — объединённая методом DARE TIES языковая модель, созданная с помощью mergekit на основе Sakalti/ultiima-72B с добавлением моделей Homer-v1.0-Qwen2.5-72B и shuttle-3. Модель разработана для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Это плотная архитектура Qwen2 с 71,5 млрд параметров, рассчитанная на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; модель использует библиотеку Transformers. Указана лицензия «other», поэтому условия использования следует сверять с лицензиями исходных моделей и карточкой репозитория.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.