I.6Перевод и языковая адаптация

Карточка модели sagar-rasakonda/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

IntervitensInc/Mistral-Nemo-Base-2407-chatml — вариант базовой языковой модели Mistral Nemo с добавленными токенами ChatML для дообучения. Исходную модель Mistral Nemo 12B совместно разработали Mistral AI и NVIDIA. Это плотный трансформер MistralForCausalLM на 12,1 млрд параметров; в исходной карточке указано окно контекста 128 тыс. токенов. Метаданные этой копии сообщают native context в 1 024 000 токенов, однако README не подтверждает такое увеличение контекста. Модель предназначена для генерации текста и дальнейшей настройки под диалоговые сценарии. Она обучалась на многоязычных данных и данных программирования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Базовая модель не имеет механизмов модерации, поэтому ответы могут требовать дополнительной проверки и фильтрации. Файлы представлены в формате safetensors, лицензия — Apache 2.0.

gghfez/Mistral-Small-3.2-24B-Instruct-hf-AWQ — инструкционная языковая модель для генерации текста, разработанная на базе gghfez/Mistral-Small-3.2-24B-Instruct-hf. Модель предназначена для диалоговых сценариев и других задач text generation, а также совместима с экосистемой Transformers и инфраструктурой text-generation-inference. В названии и метаданных указано использование AWQ, то есть модели с квантованным представлением весов, что может снизить требования к памяти при развертывании. Архитектура, поддерживаемые языки, размер контекста и конкретные показатели качества в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Nex-N2.5-Pro-GGUF — квантизированная мультимодальная версия модели Nex-N2.5-Pro, разработанная nex-agi и преобразованная в формат GGUF командой qtum с использованием llama.cpp. Модель предназначена для генерации и понимания текста, а также анализа изображений в сценариях локального запуска через llama.cpp. Модель содержит 397 млрд параметров и использует гибридную архитектуру: 45 слоёв линейного внимания Gated DeltaNet и 15 слоёв полного внимания с GQA. Это MoE-модель: для каждого токена выбираются 10 из 512 экспертов и общий эксперт. Контекст — до 262 144 токенов, словарь — 248 320 токенов. Поддерживаются английский и китайский языки. Для обработки изображений используется отдельный 27-слойный vision encoder с входом 768 пикселей и патчами 16 пикселей; проектор поставляется в формате BF16. Модель доступна в вариантах IQ4_XS, Q2_K и IQ2_XS, занимающих примерно 200,1, 138,9 и 113,2 ГиБ соответственно. IQ4_XS обеспечивает качество, близкое к BF16-версии, Q2_K является более сбалансированным вариантом и рекомендуется для инференса только на CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти, но с заметно большей потерей точности. Для работы с изображениями рекомендуется выделять не менее 1024 image tokens. Необходима сборка llama.cpp с поддержкой Qwen3.5-MoE; все 19 шардов выбранной квантизации нужно хранить в одной директории. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-Nano-9B-v2-Japanese — разработанная NVIDIA Japan японская версия языковой модели NVIDIA Nemotron Nano, дообученная на японских данных для чата и задач с рассуждением. Модель предназначена для диалоговых приложений, следования инструкциям, AI-агентов и RAG-систем; поддерживает вызов инструментов и программирование. В основе — гибридная архитектура Nemotron-H с преимущественно слоями Mamba-2 и MLP и четырьмя слоями Attention. Модель принимает и генерирует текст, поддерживает японский и английский языки и контекст до 131 072 токенов. Может сначала выдавать трассу рассуждений, а затем ответ; режим рассуждений и бюджет токенов на него настраиваются при инференсе. Карточка указывает 9 млрд параметров, тогда как метаданные каталога — 15,1 млрд. Модель оптимизирована для систем с GPU NVIDIA; качество зависит от задачи, а результаты Nejumi Leaderboard 4 измерены на японских подмножествах и не сопоставимы напрямую с исходными бенчмарками. Коммерческое использование разрешено; в метаданных лицензия обозначена как other.

Карточка модели thetoprated76/pMistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Qwen2-VL-7B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen2-VL, разработанная командой Qwen. Это вариант модели Qwen2-VL-7B-Instruct с AWQ-квантизацией, предназначенный для обработки изображений, видео и текста, а также генерации текстовых ответов по визуальным и текстовым инструкциям. Модель подходит для визуального вопросно-ответного взаимодействия, анализа документов и изображений, распознавания текста в изображениях, решения задач по визуальному содержимому, диалога по видео и сценариев управления устройствами, включая мобильные устройства и роботов. Заявлена поддержка английского и китайского языков, а также понимания текста на изображениях на большинстве европейских языков, японском, корейском, арабском и вьетнамском языках. Она поддерживает изображения произвольного разрешения с динамическим числом визуальных токенов и видео длительностью более 20 минут. Ключевые архитектурные особенности включают Naive Dynamic Resolution и мультимодальное позиционное кодирование M-ROPE, разделяющее информацию о позициях текста, двумерных изображений и трёхмерного видео. Размер модели — 7 миллиардов параметров; README не указывает точный предел контекста. AWQ-квантизация снижает требования к памяти: в приведённом тесте на NVIDIA A100 80GB модель использовала около 7,07 ГБ памяти при коротком вводе и 35,08 ГБ при длине ввода 30720 токенов, однако скорость и качество зависят от оборудования и настроек. Сильные стороны модели — мультимодальное понимание, работа с изображениями разных форматов и разрешений, длительными видео и многоязычным текстом. Ограничения включают зависимость производительности от длины контекста, видеопамяти и программного окружения; заявленные результаты относятся к конкретным тестам и не гарантируют качество в каждом сценарии. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и квантизированной компанией Second State Inc. Модель предназначена для генерации текста в формате text-generation и диалогового использования через шаблон chatml, включая работу как сервиса LlamaEdge. В README также указан prompt template для взаимодействия с системными и пользовательскими сообщениями. Модель имеет архитектуру Mixture-of-Experts, о чём свидетельствует обозначение 30B-A3B, однако подробные характеристики архитектуры и языков в README не приведены. Поддерживается контекст размером до 256 000 токенов. Доступны варианты GGUF с разной точностью квантизации от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 3,28 до 16,4 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые, поскольку обеспечивают баланс между размером и потерей качества. Сильной стороной модели являются большой контекст и широкий выбор вариантов квантизации, позволяющий адаптировать требования к памяти и качеству. Ограничения связаны с потенциальной потерей качества при низкой точности квантизации; кроме того, версия LlamaEdge в README указана как находящаяся в разработке. Модель распространяется по лицензии Apache-2.0.

schwyzquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В README указано участие нескольких авторов и команд, включая DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; модель создана с использованием Unsloth и рассчитана на запуск на потребительском оборудовании. Она распространяется в форматах GGUF, включая обычные и MTP-варианты с multi-token prediction, а также 4- и 8-битные квантизации. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, ролевых сценариев и диалогов. Заявлена поддержка текста и изображений, английского и китайского языков. Среди ключевых свойств указаны улучшенное следование инструкциям, решение задач и reasoning, сохранение возможностей базовой Qwen-модели, а также uncensored/heretic-настройка. Контекстное окно, точные архитектурные характеристики и параметры мультимодального компонента в README не приведены. Автор заявляет высокие результаты на ряде бенчмарков и превосходство базовой Qwen3.6-27B по шести из семи указанных тестов, однако эти утверждения следует воспринимать как данные из карточки модели. Сильными сторонами называются качество рассуждений, универсальность, поддержка vision и эффективность квантизированных версий; возможное ограничение — отсутствие подробных независимых результатов и недостаток технических сведений о размере контекста. Лицензия — Apache-2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

Qwen3.8-27B-NVFP4-W4A16-MLP-GGUF — это квантованная GGUF-версия модели Qwen/Qwen3.8-27B, опубликованная axiomofmind. Модель предназначена для запуска через llama.cpp и поддерживает текстовые сценарии, а при подключении отдельного vision-проектора mmproj-Qwen3.8-27B-BF16.gguf — обработку изображений. Объём модели составляет 27B параметров; языки и максимальный размер контекста в README не указаны. Доступны два варианта: версия объёмом 30,06 ГБ с attention в BF16/F32, ориентированная на максимальное сохранение точности, и компактная версия объёмом 23,29 ГБ с attention в Q8_0, рассчитанная на снижение требований к VRAM и ускорение загрузки. В обеих версиях MLP-слои 64-слойного backbone используют NVFP4 W4A16, тогда как эмбеддинги, выходная голова, MTP/NextN-компоненты и vision-компоненты сохраняются в более высокой точности. Поддерживаются встроенное MTP и опциональное speculative decoding с DFlash 2; для работы требуется свежая CUDA-сборка llama.cpp с поддержкой NVFP4 и Qwen3.8. Ограничениями являются значительные требования к видеопамяти, зависимость от совместимой версии llama.cpp и потенциальная потеря точности из-за квантования. Лицензия — Apache 2.0.

VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.

QuantFactory/WizardLM-2-7B-abliterated-GGUF — это квантизированная версия WizardLM-2 7B, разработанная QuantFactory с использованием llama.cpp на основе fearlessdots/WizardLM-2-7B-abliterated. Базовая модель WizardLM-2 создана командой WizardLM при Microsoft AI и основана на Mistral-7B-v0.1. Модель предназначена для генерации текста, диалогов и выполнения сложных инструкций, включая задачи письма, программирования, математики, рассуждений, агентских сценариев и многоязычного общения. Поддерживаются многоходовые диалоги с шаблоном запросов Vicuna. Модель содержит около 7 миллиардов параметров и работает только с текстом. Вариант abliterated использует ортогонализованные веса bfloat16, а текущая версия распространяется в квантизированном формате GGUF, что ориентировано на более эффективный запуск и снижение требований к памяти по сравнению с полноразмерными весами. В README не указаны точное окно контекста, поддерживаемые языки и конкретные параметры квантизации. Заявлены высокая скорость для своего класса и конкурентные результаты среди открытых моделей сопоставимого размера, однако приведённые оценки относятся к WizardLM-2 7B и не обязательно полностью характеризуют данный GGUF-вариант. Лицензия модели указана как Apache 2.0. Специфические ограничения, связанные с abliterated-модификацией, в README не описаны; поэтому качество, безопасность и соответствие ответов требованиям конкретного применения следует проверять отдельно.

Command-R-01-Ultra-NEO-V1-35B-IMATRIX-GGUF — текстовая генеративная модель в формате GGUF на базе CohereLabs c4ai-command-r-v01, доработанная разработчиком DAVID_AU с использованием собственной технологии IMATRIX NEO V1. Модель предназначена для общего использования, следования инструкциям, общения, ролевых сценариев и творческой генерации, включая рассказы и художественные тексты. В README указан английский язык, размер базовой модели — 35 млрд параметров, а максимальный контекст — до 128 тысяч токенов. Для работы требуется специальный chat-шаблон Command-R. Заявленные сильные стороны — улучшенное следование инструкциям, качество вывода, работа с длинными текстами и более сильные связи между идеями и концепциями. Доступны варианты с разными уровнями GGUF-квантизации; качество, стиль и результаты генерации могут заметно различаться между квантами, поэтому выбор следует адаптировать под конкретный сценарий и доступные ресурсы. README также рекомендует настройку сглаживания sampling для некоторых интерфейсов. Модель распространяется по лицензии Apache-2.0.

SevenOfNine/Gemma-4-26B-A4B-It-Abliterated-GGUF — набор GGUF-квантизаций модели Gemma-4-26B-A4B-It-Abliterated, разработанной SevenOfNine на основе google/gemma-4-26B-A4B-it. Модель предназначена для текстовых и мультимодальных задач с изображениями, вызова инструментов, рассуждений, творческого и ролевого использования. Доступны варианты Q5_K_M, Q6_K и BF16, а также отдельный vision-проектор; рекомендуемый вариант Q5_K_M занимает 19,1 ГБ. Архитектура Mixture-of-Experts содержит 26 млрд параметров, из которых активно около 4 млрд. Заявлены поддержка английского и французского языков и контекст до 250 000 токенов при использовании llama.cpp с соответствующими настройками и достаточным объёмом оперативной памяти. Модель подвергнута abliteration с помощью Heretic для уменьшения отказов в ответах: по данным карточки, показатель отказов снизился со 100 из 100 у исходной модели до 18 из 100, при KL-дивергенции 0,0845. Это сохраняет близость к исходным возможностям, но одновременно означает ослабление встроенных ограничений безопасности. Для работы с изображениями и инструментами требуются шаблон чата и параметры llama.cpp, совместимые с Gemma 4; полноценное качество зависит от выбранной квантизации, объёма RAM и VRAM. Модель распространяется по лицензии Gemma.

KONI-Llama3-8B-20240630 — языковая модель, разработанная Donghun Yang из KISTI. Это продолженное предварительное обучение Llama 3 с 8 млрд параметров на корпусе объёмом 200 ГБ на корейском и английском языках, включающем научно-технические материалы. Модель использует авторегрессионную архитектуру Transformer и принимает текст, генерируя текст и код; контекст составляет 8192 токена. Модель предназначена для генерации текста и кода, а также для адаптации к разным задачам генерации естественного языка. В карточке указана предварительная версия от 30 июня 2024 года. Ограничения лицензии: CC-BY-NC-SA-4.0 и лицензия Llama 3; перед использованием следует соблюдать условия обеих лицензий и применимые правила использования Llama 3.

cyankiwi/LFM2.5-8B-A1B-AWQ-INT4 — это квантованная версия текстовой модели LFM2.5-8B-A1B от Liquid AI, подготовленная пользователем cyankiwi в формате AWQ с точностью INT4. Модель предназначена для локального и периферийного (on-device) развертывания, включая персональных ассистентов, агентские сценарии с вызовом инструментов, следование сложным инструкциям и генерацию структурированных ответов. Архитектура модели гибридная: 8,3 млрд параметров всего, из которых активно используется 1,5 млрд; 24 слоя включают 18 double-gated LIV convolutional layers и 6 слоёв GQA. Модель обучалась на 38 трлн токенов и поддерживает контекст до 131 072 токенов. Это text-only модель с заявленной поддержкой английского, арабского, китайского, французского, немецкого, японского, корейского, португальского и испанского языков. В карточке квантованной версии также указаны русский, хинди и нидерландский языки, однако основные сведения о базовой модели перечисляют другой набор языков. К сильным сторонам относятся низкие требования к памяти благодаря INT4-квантизации, высокая скорость инференса для своего класса, пригодность для CPU и GPU, агентских рабочих процессов и локальных приложений. Ограничения: модель не считается оптимальным выбором для сложного программирования и фактологически насыщенных задач без retrieval; качество квантованной версии может отличаться от исходной модели. Указана лицензия lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

Meta-Llama-3-120B-Instruct-GGUF — это GGUF-квантизированная версия текстовой instruction-tuned языковой модели Meta-Llama-3-120B-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mlabonne/Meta-Llama-3-120B-Instruct, основанная на Meta-Llama-3-70B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев с применением системных и пользовательских инструкций. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 32,60 до 129,52 ГБ. Более высокие варианты, включая Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако могут заметно уступать в качестве. Формат GGUF и совместимость с llama.cpp подходят для локального запуска, но README не содержит данных об архитектуре, поддерживаемых языках, модальностях и размере контекста. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Для работы требуется выбрать подходящий файл квантизации и использовать специальный chat-шаблон с токенами Meta Llama 3. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

Карточка модели SillyTilly/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta-Llama-3.1-8B-Instruct — инструктивно дообученная языковая модель семейства Llama 3.1, разработанная Meta. Это плотная авторегрессионная модель на архитектуре Transformer с 7,5 млрд параметров; версия Instruct прошла supervised fine-tuning и обучение с обратной связью от людей. Репозиторий содержит веса в формате safetensors, модель предназначена для генерации текста и диалогов с помощником. Окно контекста — 131 072 токена. Модель рассчитана на многоязычный диалог, ответы на вопросы, написание и преобразование текста, а также может использоваться в приложениях и для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель принимает и выдаёт текст; поддержка инструментов зависит от интеграции разработчиком. Модель выпущена Meta 23 июля 2024 года. Лицензия — Llama 3.1 Community License с условиями использования и Acceptable Use Policy; перед коммерческим применением необходимо ознакомиться с её условиями. Это статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться между языками, а карточка не заявляет поддержку русского языка.

Mistral Medium 3.1 — обновлённая версия Mistral Medium 3 от Mistral AI. Это высокопроизводительная языковая модель корпоративного уровня, рассчитанная на широкий круг задач и призванная сочетать передовые возможности с более низкими эксплуатационными затратами. В доступном описании не приведены сведения об архитектуре, размере, контексте, языках, условиях лицензирования и конкретных сценариях применения.

Nesso-4B — компактная языковая модель-ассистент от Mii, основанная на плотной архитектуре Qwen3. В репозитории указано 4,0 млрд параметров, а метаданные фиксируют 3,7 млрд; модель распространяется в формате safetensors и рассчитана на запуск локально на пользовательском оборудовании. Заявленное окно контекста — до 262 144 токенов, однако для устройств с ограниченной памятью README рекомендует сокращать его. Модель предназначена для повседневного диалога, генерации текста, поиска ответов по документам с RAG, агентных сценариев и использования инструментов. Заявлена поддержка нескольких языков и кросс-языковых задач, но конкретные языки и их качество не перечислены. Поддерживаются Transformers и приложения локального запуска, включая Ollama, LM Studio, llama.cpp и MLX-LM. Лицензия — Mii Open License 1.0; условия следует сверить с текстом лицензии в репозитории.

NeuralHermes 2.5 - Mistral 7B — это диалоговая модель для генерации текста и следования инструкциям, разработанная Mlabonne на основе teknium/OpenHermes-2.5-Mistral-7B. Модель дополнительно обучена методом Direct Preference Optimization (DPO) на наборе диалогов mlabonne/chatml_dpo_pairs с шаблоном ChatML; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции, генерации текста и помощи с кодом. В README сообщается об улучшении результатов на нескольких бенчмарках относительно исходной модели, однако приведённые данные не гарантируют качество для конкретных задач. Доступна лицензия Apache-2.0; запуск возможен через LM Studio и другие интерфейсы.

NVIDIA-Nemotron-Labs-Teacher-Chat — разговорная модель NVIDIA из семейства Nemotron 3 Ultra, предназначенная для многоходового диалога, генерации текстов и ответов, согласованных с предпочтениями людей. Она также выпущена как отдельная модель и используется как специализированный учитель для дистилляции Nemotron 3 Ultra. В карточке описаны дообучение на диалогах с помощью supervised fine-tuning и RLHF, а также возможность применять модель для создания обучающих данных и оценки ответов. Модель построена на гибридной архитектуре LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts и отдельными слоями внимания; для предсказания нескольких токенов используются слои MTP. Всего модель содержит 550 млрд параметров, из них 55 млрд активны. Метаданные указывают контекст 262 144 токена, тогда как README заявляет до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский (включая бразильский), японский, корейский, хинди, китайский и арабский. По README модель допускает коммерческое и некоммерческое использование; в метаданных лицензия обозначена как other, поэтому конкретные условия следует сверить с лицензией репозитория.

Phi-3.5-mini-instruct-4bit — инструкционная языковая модель для генерации текста, созданная Microsoft и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых сценариев, ответов на вопросы и решения задач обработки естественного языка; в метаданных также указана релевантность для работы с кодом. Поддерживается библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. Модель представлена в 4-битном варианте, что обычно позволяет снизить требования к памяти по сравнению с полноразмерным представлением, однако точный размер, архитектура, длина контекста и перечень поддерживаемых языков в README не указаны. В метаданных заявлена многоязычность. Сильными сторонами являются инструкционный формат, возможность генерации текста и адаптация к MLX; ограничения и результаты тестирования не приведены. Конвертация выполнена из microsoft/Phi-3.5-mini-instruct с использованием mlx-lm версии 0.17.0. Модель распространяется по лицензии MIT.

Qwen3-4B-RKNN3-RK1828 — версия языковой модели Qwen3-4B, подготовленная проектом Firefly для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная модель семейства Qwen3 примерно на 3,7 млрд параметров с форматом GGUF и контекстом до 40 960 токенов. Она предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, программирования и агентных сценариев; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Исходная Qwen3-4B поддерживает более 100 языков и диалектов. Карточка предлагает запуск через LlamaPi на RK1828. Модель распространяется по лицензии Apache-2.0. Производительность и качество зависят от устройства и конфигурации; возможности конкретной сборки для вызова инструментов следует проверять в целевой среде.

Qwen3.5-0.8B-FP8 — мультимодальная каузальная языковая модель семейства Qwen3.5 с визуальным энкодером. Репозиторий surogate содержит FP8-квантизированные веса и конфигурации постобученной версии, основанной на Qwen/Qwen3.5-0.8B-Base. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется гибридная схема с 6 блоками, каждый из которых включает три последовательности Gated DeltaNet → FFN и один блок Gated Attention → FFN. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта, однако конкретный перечень языков в README не приведён. Ключевое преимущество версии — снижение требований к памяти и вычислениям благодаря мелкозернистой FP8-квантизации с размером блока 128; заявлено, что показатели производительности почти идентичны исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Ограничения включают небольшой размер модели по сравнению с более крупными системами и потенциальные потери качества, характерные для компактных моделей, а также отсутствие подробных сведений о визуальном энкодере и результатах большинства тестов в предоставленном фрагменте. Лицензия — Apache-2.0.

Qwen3.5-4B-AWQ — квантизированная версия мультимодальной vision-language модели Qwen3.5-4B, разработанной командой Qwen (Alibaba Group). Модель принимает текст, изображения и видео во взаимно чередующемся формате и генерирует текст; поддерживает режим рассуждений, включённый по умолчанию. Она предназначена для анализа изображений и видео, визуально-текстового диалога, описания изображений и других задач image-text-to-text, а также для текстовых запросов. Базовая модель содержит около 4 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + sparse MoE с vision encoder. Нативная длина контекста составляет 262 144 токена и может быть увеличена с помощью RoPE scaling. Заявлена поддержка 201 языка и диалекта. В этой версии применена AWQ-квантизация W4A16: веса линейных слоёв языковой модели представлены в 4 битах, а активации — в 16 битах; формат — compressed-tensors pack-quantized. Vision tower, router gates и lm_head сохранены в более высокой точности, что должно способствовать сохранению качества обработки изображений. Ключевое преимущество модели — уменьшенный размер на диске и расход VRAM при сохранении мультимодальных возможностей, благодаря чему она ориентирована на запуск на одной потребительской GPU. Для работы требуются GPU с поддержкой INT4 Marlin kernels, актуальная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration и совместимая конфигурация compressed-tensors. В README указана проверка на NVIDIA Blackwell (sm_120); конкретные показатели качества и бенчмарки не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-4B.

Avesed/Qwen3.6-35B-A3B-INT4-W4A16 — это квантизированная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Avesed. Модель предназначена для генерации текста, решения математических и академических задач, рассуждений и многоязычных сценариев на английском и китайском языках. В README также указано наличие vision tower и MTP head, однако подробности поддерживаемых мультимодальных сценариев не приведены. Это гибридная Mixture-of-Experts-модель с 256 экспертами, из которых для каждого запроса активируются 8; суммарный размер составляет около 35B параметров, а активная часть — около 3B. Архитектура использует GatedDeltaNet для линейного внимания. Основная особенность версии — weight-only-квантизация AWQ до INT4 в формате W4A16 с group_size 32: квантизированы экспертные FFN, тогда как чувствительные к качеству компоненты, включая self-attention, роутер, shared expert, GatedDeltaNet, эмбеддинги, lm_head, vision tower и MTP head, сохранены в bf16. Заявленные результаты составляют 96,8% на GSM8K и 80,2% на MMLU-Pro. Модель ориентирована на эффективный инференс через vLLM; для запуска требуется конфигурация с tensor parallelism, а на Ampere доступен режим W4A8 с INT8-активациями через специализированную сборку vllm-ampere-optimized. Ограничениями являются зависимость от совместимого программного стека и аппаратного ускорения, а также возможное снижение качества из-за квантизации; размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

lued/Qwen3.8-27B-heretic-ara-INT8-W8A16-MTP — квантизированная версия модели heretic-org/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B от Qwen. Репозиторий lued содержит численную W8A16-квантизацию; исходная модель была изменена проектом Heretic с применением abliteration для устранения встроенного профиля отказов. Модель предназначена для диалоговых и мультимодальных задач, включая работу с изображениями, рассуждения и генерацию текста, и оптимизирована для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Модель имеет 27 млрд параметров, сохраняет vision tower, управление режимом рассуждений и нативный контекст до 262 144 токенов. Веса представлены в INT8 с форматом W8A16, активации поддерживают FP16 или BF16, а голова MTP сохранена в исходном BF16 для speculative decoding. Используется симметричная data-free RTN-квантизация с размером группы 128 и форматом compressed-tensors; проверенный профиль vLLM включает tensor parallelism на двух GPU, FP8 E4M3 KV-кэш и три draft-токена MTP. Расширение контекста до 1 млн токенов с YaRN относится к исходной модели и требует отдельной настройки и достаточного объёма KV-кэша. Сильными сторонами являются уменьшенный объём памяти, совместимость с Ampere без нативного FP8 tensor-core исполнения, сохранение мультимодальности и длинного контекста, а также устранение отказов на указанном наборе из 100 вредоносных запросов исходной abliteration-моделью. Ограничением является намеренное изменение поведения: abliteration привела к заметному сдвигу распределения, а отсутствие отказов не означает гарантии безопасного использования. Производительность и поведение могут зависеть от конфигурации vLLM и доступной памяти. Модель распространяется по лицензии Apache 2.0.

dealignai/Qwen3.8-27B-JANG_6D-CRACK — квантованная версия модели Qwen/Qwen3.8-27B, разработанная dealignai для запуска на Apple Silicon через MLX. Это плотная гибридная vision-language модель с 27 млрд параметров и 64 слоями, сочетающая линейное внимание GatedDeltaNet с полным gated attention. Модель поддерживает текст, изображения и видео, работает на английском и китайском языках, умеет рассуждать, вызывать инструменты через XML-схему и использовать встроенную голову Multi-Token-Prediction для speculative decoding. Модель подвергнута CRACK-обработке — удалению поведения, связанного с отказами в ответах, на уровне весов. Поэтому она ориентирована на исследовательские и прикладные сценарии, где требуется максимальная готовность выполнять запросы в различных категориях, включая потенциально опасные. Рассуждение включено по умолчанию с уровнем xhigh; доступны уровни xhigh, medium и low, а также полное отключение рассуждений. Для данной JANG_6D-квантизации заявлен размер около 24 ГБ и примерно 6-битное affine-кодирование с imatrix. В тестах README указаны 89,12% на MMLU и 100% соответствия на HarmBench-240 по критерию выполнения запросов. Сильными сторонами являются сохранение мультимодальности, видеоанализа, рассуждений, вызова инструментов и многоязычности при существенно меньшем размере, чем у полной модели. Ограничения включают требование совместимого MLX-окружения и значительного объёма памяти, а также отсутствие защитных отказов, что повышает риск генерации небезопасного или вредоносного содержания. Максимальный размер контекста в README не указан. Модель распространяется под лицензией Apache-2.0.