I.6Перевод и языковая адаптация

princeton-nlp/gemma-2-9b-it-SimPO — диалоговая причинно-языковая модель, разработанная Yu Meng, Mengzhou Xia и Danqi Chen. Авторы дообучили Google Gemma 2 9B Instruct на наборе предпочтений princeton-nlp/gemma2-ultrafeedback-armorm с помощью SimPO — метода оптимизации предпочтений, который не требует отдельной эталонной модели и задаёт целевой отрыв вознаграждения. Модель предназначена для диалога, ответов на вопросы и генерации текста с учётом человеческих предпочтений. Это плотная архитектура Gemma 2 с 9 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса Safetensors. В карточке приведены результаты оценки на нескольких бенчмарках, но они не гарантируют качество в конкретном сценарии. Лицензия в метаданных Hugging Face указана как MIT, тогда как README называет лицензию Gemma; условия использования следует сверить с лицензией базовой модели Google Gemma 2 9B Instruct.

Gemma-3-1b-it-GGUF — квантизированная GGUF-версия модели gemma-3-1b-it, разработанной Google и подготовленной в квантизированном виде компанией Second State Inc. Это инструкционно настроенная модель генерации текста, предназначенная для диалогов, обработки пользовательских запросов и запуска локальных приложений и сервисов, включая LlamaEdge. Поддерживается контекст размером до 32 000 токенов. Сведения о языках, мультимодальности и точной архитектуре в README не указаны. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в формате f16, с размером файлов примерно от 689 МБ до 2,01 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более низкие уровни квантования уменьшают требования к ресурсам, но могут существенно снижать качество; README отдельно указывает, что Q2_K и некоторые Q3- и Q4-варианты имеют значительные потери. Для использования заявлена лицензия Gemma.

harrier-oss-v1-0.6b — разработанная Microsoft мультиязычная модель эмбеддингов текста на архитектуре Qwen3 с 507,9 млн параметров. Она использует pooling по последнему непустому токену и L2-нормализацию, формируя плотные векторы размерности 1024. Максимальная длина контекста — 32 768 токенов. Модель предназначена для поиска и ранжирования текстов, кластеризации, оценки семантического сходства, классификации и поиска параллельных текстов. Для запросов рекомендуется задавать краткую инструкцию, описывающую задачу; для документов инструкция не требуется. Семейство обучалось контрастивным методом на мультиязычных данных, а варианты 270M и 0.6B дополнительно дистиллированы из более крупных моделей эмбеддингов. В README заявлены высокие результаты на Multilingual MTEB v2. Поддерживаются многие языки, включая русский, английский, китайский, японский и ряд европейских и азиатских языков. Модель распространяется в формате Safetensors по лицензии MIT. Качество зависит от формулировки инструкции для запроса; небольшие различия результатов могут возникать из-за версий Transformers и PyTorch.

Hazy-Llama-70b — объединённая диалоговая языковая модель, созданная tdot604 с помощью mergekit методом TIES. В слиянии использованы mattshumer/Reflection-Llama-3.1-70B как базовая модель и Sao10K/L3-70B-Euryale-v2.1; конфигурация задаёт им веса 0,8 и 0,2 соответственно. Модель построена на архитектуре Llama, содержит 69,5 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы. Поддерживает контекст до 8192 токенов и рассчитана на диалоговое использование. Модель подходит для ведения диалога и генерации ответов на текстовые запросы. Метаданные базовой модели описывают её как диалоговую модель с этапом самопроверки и исправления ошибок, однако README не подтверждает, что это поведение сохраняется в данном слиянии. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Карточка модели dhanesh-hf/Jarvis-Titan-M4-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

JOSIE-4B-Thinking — дообученная модель языкового моделирования, разработанная Гёкденизом Гюльмезом на основе Goekdeniz-Guelmez/Qwen3-4B-Instruct-2507-gabliterated. Это плотная авторегрессионная модель семейства Qwen3 примерно с 3,7 млрд параметров; она предназначена для многошаговых рассуждений, математики, STEM-задач, творческого письма и анализа длинных документов. В README заявлена длина контекста 65 536 токенов, а метаданные указывают 262 144 токена. Поддерживаются английский, испанский, французский, португальский, итальянский, арабский, японский, корейский, индонезийский, русский, вьетнамский, немецкий и тайский языки. Модель обучена на более чем 600 млн токенов с использованием дистиллированных трасс рассуждений и примеров расширения ответов. Разработчик описывает её стиль как прямой и подробный, с упором на связные рассуждения и без встроенной фильтрации контента. По заявлению карточки, модель выпущена под лицензией MIT. Она требует ресурсов для запуска модели на 4 млрд параметров; критически важные ответы следует проверять, а для пользовательских приложений с открытым содержанием может потребоваться отдельная модерация.

Llama-3.1-Niitorm-8B — объединённая диалоговая языковая модель на архитектуре Llama 3.1, созданная слиянием Sao10K/L3.1-8B-Niitama-v1.1 и akjindal53244/Llama-3.1-Storm-8B методом NEARSWAP с параметром t=0.0001. В README также указано включение варианта Niitama с LoRA для abliteration. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции и вызова функций через соответствующий интерфейс. В карточке заявлена преимущественно выполненная abliteration, однако подробные оценки качества и гарантии поведения не приведены. Доступны веса в формате safetensors; README также упоминает сторонние квантизированные сборки GGUF. Лицензия в предоставленных данных не указана.

LFM2-8B-A1B от Liquid AI — гибридная языковая MoE-модель для локального запуска на телефонах, планшетах и ноутбуках. Вариант unsloth/LFM2-8B-A1B дообучен на основе LiquidAI/LFM2-8B-A1B; архитектура включает 18 блоков коротких свёрток и 6 блоков внимания GQA. В README указаны 8,3 млрд параметров всего и 1,5 млрд активных; метаданные Hugging Face сообщают 1,4 млрд параметров. Контекст — до 128 000 токенов. Модель предназначена для диалогов, следования инструкциям, вызова инструментов, извлечения данных, RAG, творческого письма и агентных сценариев. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки; карточка рекомендует использовать её для узких задач после дополнительной настройки. Лицензия обозначена как other. По карточке, модель не рекомендуется для задач, требующих обширных знаний или программирования; сведения о конкретных условиях лицензии в предоставленных данных отсутствуют.

Llama-3.1-8B-FixedReferenceNBPO — диалоговая языковая модель на архитектуре Llama, опубликованная организацией promotion. Это дообученная версия meta-llama/Llama-3.1-8B-Instruct с 7,5 млрд параметров, предназначенная для генерации текста и общения в формате чата. В названии NBPO и тегах указана многокритериальная оптимизация предпочтений. Модель принимает текст и выдаёт текст; её контекстное окно составляет 131 072 токена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Llama 3.1 Community License. README не содержит дополнительных сведений о методе обучения или оценке качества.

voidful опубликовал в формате Transformers разговорную языковую модель семейства Llama 3.2 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Метаданные указывают на генерацию текста, чат и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Заявленная длина контекста составляет 131 072 токена. Карточка README называет модель «Patched LLama 3.2 8B from LLaMA 3.2 11B Model» и упоминает изменение весов, но не объясняет метод и результат патчинга. Языки и лицензия в карточке не заполнены. Перед использованием следует учитывать, что README не описывает качество, обучающие данные, ограничения и условия лицензии; оценить их по представленным сведениям нельзя.

Llama-3-8B-Instruct-Gradient-1048k-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Gradient-1048k, разработанной Gradient AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона сообщений Llama 3; заявленный контекст — до 1 048 000 токенов. Указан английский язык, поддерживается текстовая модальность. Модель основана на архитектуре Llama 3 с примерно 8 млрд параметров. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2–IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными в README названы Q8_0 и Q6_K, а Q5_K_M, Q5_K_S, Q4_K_M и другие варианты рекомендованы как компромисс между качеством и потреблением ресурсов. Файлы предназначены для запуска через llama.cpp; квантизация выполнена с использованием imatrix. Сильными сторонами являются большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с разным объёмом памяти. Более сильное сжатие уменьшает размер модели, но снижает качество генерации; варианты Q2 и часть Q3 описаны как низкокачественные или пригодные главным образом при жёстких ограничениях памяти. В README указана лицензия llama3; отдельные требования исходной модели и ограничения применения следует уточнять в условиях этой лицензии.

eewwann/me5-ruhnp — модель Sentence Transformers, дообученная автором на базе intfloat/multilingual-e5-large для представления предложений и абзацев в виде плотных текстовых эмбеддингов. В основе лежит XLM-RoBERTa; модель формирует векторы размерности 1024, применяет mean pooling и нормализацию, а сходство текстов можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текстов. README приводит оценку cosine accuracy 0,993 на TripletEvaluator для набора vk_e5, а также описывает обучение на наборе из 100 000 примеров. Поддерживает многоязычные текстовые входы; максимальная длина последовательности — 512 токенов (514 токенов в метаданных). Это производная модель с весами в формате safetensors. Лицензия в предоставленных данных не указана. Как и другие модели эмбеддингов, она выдаёт векторы, а не готовые ответы; качество зависит от языка, домена и соответствия запроса обучающим данным.

MeliodasPercival_01_Strangemerges_32Ogno — объединённая модель семейства Mistral, созданная на основе automerger/MeliodasPercival_01-7B и automerger/Strangemerges_32Ogno-7B. Она содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоги, с контекстом до 32 768 токенов. Модель принимает текст и выдаёт текст. Веса доступны в формате safetensors; лицензия — Apache-2.0. README не приводит сведений о специализации модели или результатах оценки качества.

MeliodasPercival_01_YamExperiment24 — объединённая модель на архитектуре Mistral, созданная из automerger/MeliodasPercival_01-7B и automerger/YamExperiment24-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Лицензия — Apache-2.0.

MiniMax-M2.5-UNCENSORED-JANG_2L — производная модель MiniMaxAI/MiniMax-M2.5, подготовленная Jinho Jang. Это языковая модель с архитектурой MiniMax M2 MoE и интерфейсами чата и вызова инструментов. В README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен; смешанная квантизация JANG_2L задаёт 8 бит для внимания, 6 бит для эмбеддингов и 2 бита для экспертов. Метаданные указывают 2,9 млрд параметров, поэтому оценку размера из README следует считать расходящейся с ними. Для хранения требуется около 63 ГБ; формат JANG поддерживается MLX Studio и пакетом jang-tools на Apple Silicon. Контекст — 196 608 токенов. Модель предназначена для генерации ответов в чате, рассуждений и работы с инструментами. README также описывает CRACK — изменение весов, удаляющее отказы, связанные с защитными настройками; это может позволить получать вредоносные или опасные ответы. В README приведены результаты тестов MMLU и HarmBench, но они не являются независимой оценкой качества. Лицензия в метаданных — Apache-2.0; модель рассчитана на английский, китайский и корейский языки.

QuantTrio/MiniMax-M2.7-AWQ — AWQ-квантизированная версия языковой модели MiniMax-M2.7, разработанной MiniMax AI. Модель предназначена для генерации текста и может использоваться в задачах диалогового взаимодействия, обработки запросов и других сценариях, поддерживаемых базовой text-generation-моделью. Данные о точной архитектуре, числе параметров, поддерживаемых языках и исходной длине контекста в README не приведены. Квантизация выполнена без калибровочного набора данных с использованием data-free quantization tool. Модель ориентирована на запуск через vLLM и Transformers; в конфигурации сервера указан максимальный контекст 32 768 токенов, а также поддержка tool calling и reasoning parser для MiniMax M2.7. Размер файлов модели составляет около 122 GiB. Для распределённого запуска рекомендуется конфигурация с tensor parallelism на восемь GPU и expert parallelism. Основные преимущества — уменьшенный по сравнению с исходной моделью объём хранения и возможность производительного инференса через vLLM. Ограничения включают потенциальное снижение качества из-за квантизации, отсутствие опубликованных количественных оценок качества и высокие требования к аппаратному обеспечению и версиям программных компонентов: vLLM 0.19.0 или новее, Transformers 5.5.4 или новее и CUDA 12.8 или 13.0. Лицензия указана как modified-MIT; применимые условия следует уточнять по файлу лицензии исходного проекта.

Narkantak/Mistral-2x7b-Instruct-1x2 — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES из mistralai/Mistral-7B-Instruct-v0.1 и mistralai/Mistral-7B-Instruct-v0.2. Несмотря на название, в метаданных указано 7,1 млрд параметров. Модель предназначена для генерации текста в ответ на запросы и инструкции, в том числе для диалога; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Карточка указывает на объединение двух instruct-моделей, но не сообщает о специальных областях применения или поддерживаемых естественных языках. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не указаны.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

Карточка модели PIXMELT/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой Sacralet/mistral-7B, поэтому описание составлено по ней. Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

TheDrummer выпустил Temitoku x Mitekuto — языковую модель для генерации текста и диалогов, созданную с помощью mergekit методом passthrough на основе unsloth/Mistral-Small-Instruct-2409. Модель использует плотную архитектуру MistralForCausalLM и содержит 38,8 млрд параметров; заявленная длина контекста — до 131 072 токенов. Она работает через библиотеку Transformers и распространяется в формате safetensors. Модель подходит для диалогового общения, генерации текста и сценариев с интерфейсом вызова инструментов. README указывает на объединение предварительно обученных языковых моделей, но перечисляет только одну базовую модель. Лицензия в предоставленных данных не указана.

FreedomAISVR выпустила GGUF-квантизацию Nex-N2-mini от Nex AGI — мультимодальной агентной модели на архитектуре Mixture-of-Experts. Модель содержит 35 млрд параметров, из которых активируются 3 млрд на токен, и использует 256 маршрутизируемых экспертов, гибридную архитектуру Gated DeltaNet с полным вниманием и 27-слойный визуальный энкодер. Контекст составляет 262 144 токена. Модель принимает текст и изображения и генерирует текст; она предназначена для диалогов, агентных задач и описания изображений. Представлены английский, китайский и другие языки. Веса представлены в NVFP4: заявлены 4,55 бита на вес и эффективный инференс на GPU Blackwell с минимальной потерей качества. Для обработки изображений требуется файл проектора mmproj в F16. Модель распространяется по лицензии Apache 2.0.

Orion-14B-Chat-RAG — мультиязычная чат-модель компании OrionStarAI, дообученная на специальном наборе данных для генерации с использованием поиска по источникам (RAG). Модель построена на плотной архитектуре OrionForCausalLM и содержит 14,1 млрд параметров; веса опубликованы в формате safetensors. Контекст модели составляет 4096 токенов. Модель предназначена для диалоговых систем, которые используют найденные документы или фрагменты знаний для подготовки ответов, а также для генерации текста и кода. Семейство Orion-14B обучалось на многоязычном корпусе и поддерживает китайский, английский, японский и корейский языки; версия Chat-RAG ориентирована на ответы с опорой на извлечённую информацию. Модель разработала OrionStarAI. Лицензия в предоставленных источниках не указана. Как и другие языковые модели, она может выдавать ошибки или неподтверждённые ответы; длина контекста ограничивает объём документов, который можно передать за один запрос.

SirSahOl преобразовал Phi-4-mini-instruct от Microsoft в формат MLX с 16-битными весами для запуска на компьютерах Apple Silicon. Это плотная авторегрессионная языковая модель семейства Phi-4 с 3,8 млрд параметров, рассчитанная на диалоговую генерацию текста. Модель подходит для ответов на вопросы, написания и редактирования текстов, генерации кода и рассуждений в приложениях с ограниченными ресурсами. Репозиторий содержит веса в формате safetensors и использует библиотеку MLX. В метаданных указан контекст 4096 токенов; автор README предупреждает о возможном ухудшении качества при очень длинном контексте и указывает, что для запуска с MLX требуется Apple Silicon M1 или новее. Бенчмарки для этой версии пока не приведены. Лицензия — MIT.

amd/Qwen3.5-397B-A17B-MXFP4-AttnFP8-V2 — квантизированный вариант модели Qwen3.5-397B-A17B, разработанный Advanced Micro Devices, Inc. Модель построена на архитектуре Qwen3_5MoeForConditionalGeneration с разреженными экспертами и предназначена для генерации текста по текстовым, графическим и видеовходам. В README указан английский язык, но сведения о полном наборе поддерживаемых языков и размере контекстного окна отсутствуют. Модель оптимизирована для инференса на AMD MI350 и MI355 под Linux с ROCm 7.2.0, PyTorch 2.9.1, Transformers 5.3.0 и SGLang. Все эксперты MoE, включая shared expert, квантизированы в OCP MXFP4 и объединены с маршрутизируемым MoE-ядром; слои self-attention и linear attention используют FP8E4M3 для весов и активаций. Такая оптимизация уменьшает объём данных в формате bfloat16 и повышает производительность декодирования. На GSM8K модель показала 97,24% против 97,71% у исходной версии, то есть сохранила 99,55% базового результата. Модель подходит для ресурсоёмких задач генерации текста, рассуждений и мультимодального анализа при наличии совместимого оборудования и программного стека. README не приводит результаты на других тестах, поэтому обобщать подтверждённые свойства за пределы GSM8K не следует. Модель распространяется по лицензии Apache 2.0; модификации принадлежат Advanced Micro Devices, Inc.

Это частная сборка Exolabs на основе Qwen3.6-35B-A3B, подготовленная для запуска в vLLM. Веса получены из файла Q4_K_M GGUF модели bartowski/Qwen_Qwen3.6-35B-A3B: их деквантизировали в FP32, преобразовали в раскладку HF/vLLM и сохранили в BF16. Конфигурация, токенизатор, шаблон чата и параметры генерации взяты из Qwen/Qwen3.6-35B-A3B. Модель предназначена для диалогов и обработки изображений; метаданные также отмечают интерфейс вызова инструментов. В README приведена проверка запуска на vLLM 0.23.0 с ограничением контекста 4096 токенов и режимом language-model-only. Указанная в метаданных архитектура — Qwen3.5 MoE, класс Qwen3_5MoeForConditionalGeneration; базовая модель содержит 35 млрд параметров. Репозиторий помечен лицензией «other», поэтому конкретные условия следует проверять в файлах лицензии модели. README описывает деквантизацию и преобразование представления весов, но BF16-выход из исходного Q4_K_M не возвращает потерянную при исходной квантизации точность; также приведённый запуск ограничивает длину контекста 4096 токенами.

ilintar/qwen3.8-27b-gguf-strix-halo — набор GGUF-файлов модели Qwen3.8-27B, подготовленный для запуска на AMD Strix Halo с ROCm. Основная модель основана на Qwen/Qwen3.8-27B и дополнена DFlash2-моделью z-lab/Qwen3.8-27B-DFlash2 для speculative decoding. Репозиторий ориентирован на использование с llama.cpp и оптимизированными ветками ROCm для графики gfx1151. Основной файл имеет размер около 16,1 ГБ и использует преимущественно квантизацию IQ4_XS, с отдельными тензорами в Q8_0 и F32. DFlash2-файл размером около 1,04 ГБ служит черновой моделью для ускорения генерации. Модель поддерживает текстовый и, при отдельной установке совместимого мультимодального проектора mmproj, визуальный ввод. В примере конфигурации используется контекст до 65 536 токенов. Сведения о поддерживаемых языках в карточке не приведены. Главное преимущество — возможность ускоренного локального запуска на AMD Strix Halo: в приведённых тестах speculative decoding с IQ4_XS давал прирост скорости относительно Q8_0-черновика, особенно на задачах рассуждений и структурированного вывода. При этом результаты зависят от промпта, уровня принятия черновых токенов и конкретного runtime. К ограничениям относятся привязка к специальной конфигурации ROCm и экспериментальным веткам llama.cpp, необходимость отдельно получать мультимодальный проектор для изображений, а также небольшое ухудшение измеренной perplexity относительно исходной BF16-модели. Лицензия заявлена как Apache 2.0, однако условия исходных моделей рекомендуется проверить отдельно.

Qwen3.8-27B-huihui-abliterated-NVFP4-NInfer — мультимодальная модель для работы с текстом и изображениями, упакованная в формат NVFP4 для движка NInfer. Артефакт основан на huihui-ai/Huihui-Qwen3.8-27B-abliterated и является результатом конвертации формата без дополнительного дообучения или изменения поведения. Модель позиционируется как версия без стандартных отказов, унаследовавшая эти характеристики от исходной модели. Конкретный разработчик данного артефакта в README не указан; конвертация подготовлена для экосистемы NInfer. Модель предназначена для локального инференса, генерации текста, обработки изображений и сценариев с длинным контекстом. Она включает текстовый и зрительный компоненты, MTP-модуль для speculative decoding, оптимизированную proposal head, токенизатор, chat template и ресурсы обработки мультимедиа. Заявлена поддержка контекста до 262 144 токенов при серверном запуске. Размер файла составляет около 21,5 ГБ, а для весов требуется примерно 19 ГиБ видеопамяти. Ключевое ограничение — требование видеокарты NVIDIA Blackwell с compute capability 12.0 (sm_120a); на Ada и Hopper NVFP4 не запускается. Модель совместима со стандартной сборкой NInfer и рассчитана на ускоренный инференс с MTP: в приведённых измерениях скорость speculative decoding достигала 269,9 токена в секунду, а prefill — 875–1 900 токенов в секунду, однако результаты зависят от оборудования и настроек. Языки явно не перечислены. Лицензия — Apache-2.0.

Minachist/Qwen3.8-27B-INT8-AutoRound — неофициальная версия базовой модели Qwen/Qwen3.8-27B, квантизированная в формате W8A16 INT8 с помощью AutoRound. Модель предназначена для сценариев генерации текста и изображений с текстом, что отражено в конфигурации pipeline_tag image-text-to-text. Архитектура и исходные модальности унаследованы от базовой модели, однако подробные сведения о языках и размере контекстного окна в карточке не указаны. Доступны четыре варианта, различающиеся гранулярностью квантизации и обработкой линейного внимания: per-channel или group_size 128, а также квантизация его проекций в INT8 либо сохранение этих слоёв в BF16. Размер файлов составляет примерно от 28,8 до 34,3 ГиБ; все варианты помещаются на двух GPU по 24 ГБ при использовании tensor parallelism. Часть слоёв, включая vision tower, embed_tokens и lm_head, оставлена в BF16. Вариант linear-attn-bf16-gs128 наиболее близок к базовой модели, а main является самым компактным; варианты с group_size 128 показывают лучшие значения заявленных метрик соответствия. По результатам сравнения с базовой моделью варианты демонстрируют среднее совпадение top-1 предсказаний от 98,40% до 98,59%, при этом наилучшие показатели приведены для linear-attn-bf16-gs128. Оценка проводилась на текстовой калибровке с использованием 1024 образцов и последовательностей длиной 2048, поэтому качество на мультимодальных задачах отдельно не подтверждено. Модель распространяется по лицензии Apache-2.0; сборка обозначена как неофициальная.

amd/Qwen3.8-27B-Quark-AWQ-MXFP4 — квантизированная версия мультимодальной модели Qwen3.8-27B, подготовленная с использованием AMD Quark и алгоритма AWQ (Activation-aware Weight Quantization). Модель предназначена для задач генерации текста и обработки изображений с текстом; в карточке указано, что она использует image-text-to-text pipeline. Языковая часть основана на Qwen3.8-27B в формате BF16, а vision tower сохранена без квантизации в BF16. Веса языкового декодера квантизированы в MXFP4 по спецификации OCP microscaling FP4 с размером группы 32 и общей шкалой E8M0; активации используют динамическую MXFP4-квантизацию, рассчитываемую во время выполнения для каждого блока. Квантизация выполнена по 128 образцам последовательностей длиной 512 из датасета pileval. Vision-компоненты не квантизированы, поэтому визуальная подсистема сохраняет исходный формат BF16. В README не указаны точные поддерживаемые языки и максимальная длина контекста; пример запуска задаёт ограничение 16384 токена. На GSM8K в режиме рассуждений модель показала 94,996% по flexible-extract и 95,30% по strict-match против 93,33% у базовой BF16-модели; в нережиме рассуждений результаты составили 89,92% и 89,76% против 90,67% и 89,76% соответственно. Ключевое преимущество — существенное снижение точности представления языковой части при сохранении качества, а также совместимость с запуском через vLLM. Ограничения включают зависимость от поддержки MXFP4, AMD Quark и соответствующей инфраструктуры, а также отсутствие подробных результатов по другим задачам. Модель распространяется по лицензии Apache-2.0; модификации принадлежат Advanced Micro Devices, Inc.

Qwen3.8-27B-Uncensored-W4A16-AutoRound — квантизированная версия модели Qwen3.8-27B-Uncensored от orcarouter, созданная с использованием Intel AutoRound. Она основана на Qwen/Qwen3.8-27B и представляет собой abliterated-производную с существенно удалённым защитным выравниванием. Модель предназначена для исследовательских задач, включая интерпретируемость, исследования безопасности ИИ, red teaming, оценку моделей и интеграцию в собственные защищённые системы. Модель поддерживает работу с текстом и изображениями, языки English и Chinese, а также контекст до 262 144 токенов. Используется архитектура Qwen3.8 с сохранённой vision tower и MTP-головой для speculative decoding. Квантизация W4A16 выполнена методом AutoRound: основные линейные слои используют 4-битные веса и 16-битные активации, а vision tower, lm_head, embed_tokens и отдельные проекции GatedDeltaNet сохранены в bf16. Для запуска рекомендуется vLLM; заявлены показатели 0,9052 на GSM8K, 0,761 на MMLU-Pro и 0,880 на MMLU. Сильными сторонами являются большой контекст, поддержка изображений, сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение значительной части исходных возможностей после квантизации. Ограничения включают возможное снижение качества из-за квантизации и abliteration, а также отсутствие эффективных встроенных защитных механизмов: модель может выполнять вредоносные, незаконные или неэтичные запросы. Её не следует предоставлять конечным пользователям без собственной системы безопасности. Лицензия — Apache-2.0; ответственность за использование и последствия вывода несёт пользователь.