I.6Перевод и языковая адаптация

TheBloke/Mistral-7B-Instruct-v0.2-GPTQ — это GPTQ-квантизированная версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной к распространению TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая работу через text-generation-webui, KoboldAI, LoLLMS Web UI и Hugging Face Text Generation Inference. Модель относится к семейству Mistral, содержит около 7 млрд параметров и работает с текстом. В репозитории представлены варианты квантования с разными параметрами; основной вариант использует 4-битное GPTQ-квантование, group size 128, Act Order и занимает около 4,16 ГБ. Для запросов рекомендуется шаблон «<s>[INST] {prompt} [/INST]». Квантование снижает требования к видеопамяти и облегчает локальный запуск, но может немного уменьшать точность по сравнению с исходной моделью и ограничивает совместимость средой выполнения. Указана поддержка Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA; для macOS рекомендуются версии GGUF. Лицензия — Apache 2.0.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

Qwen3.5-4B-GGUF — это GGUF-представление мультимодальной модели Qwen3.5-4B, разработанной командой Qwen; репозиторий подготовлен с использованием Unsloth. Модель предназначена для задач, объединяющих работу с текстом и изображениями, включая рассуждения, программирование, агентские сценарии и визуальное понимание, а также для локального запуска и дообучения. Модель представляет собой causal language model с vision encoder и содержит около 4 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлены 32 слоя, скрытая размерность 2560 и гибридное сочетание линейного и gated-внимания. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект, однако конкретные языковые характеристики GGUF-квантизации в README не уточняются. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность инференса, большой контекст и возможность локального использования. Ограничения связаны с тем, что README не содержит подробностей о конкретном типе и параметрах GGUF-квантизации, системных требованиях, фактической производительности и ограничениях применения; приведённые результаты относятся к базовой Qwen3.5-4B. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Из контрольной точки удалены веса визуального энкодера, поэтому модель сохраняет языковую часть и генерирует текст, занимая меньше места на диске и в памяти. Архитектура — плотная причинная языковая модель Qwen3.5 с примерно 7,2 млрд параметров; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов и генерации текста в задачах, поддерживаемых исходной языковой моделью Qwen3.5. По карточке, она использует тот же токенизатор и шаблон чата, что и исходная модель; загрузка поддерживается через Transformers, начиная с версии 5.2.0. Контрольная точка распространяется в формате safetensors по лицензии Apache-2.0. Удаление визуального энкодера уменьшает размер файлов примерно на 7%, а потребление VRAM — примерно на 5% по сравнению с Qwen3.5-9B. Модель не принимает изображения. В README указана проверка только с Transformers; совместимость с vLLM, SGLang, llama.cpp, Ollama и другими движками пока не заявлена. Автор также характеризует публикацию как экспериментальную, а не как готовую производственную линейку.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — модификация модели Qwen/Qwen3.6-35B-A3B, подготовленная HauhauCS. Это мультимодальная модель в формате GGUF для генерации текста, работы с изображениями и видео, а также для диалоговых, аналитических, творческих и программных задач. Версия Aggressive ориентирована на минимальное количество отказов: по данным README, она не содержит дополнительных изменений в датасетах или базовых возможностях, но отключает встроенные отказы модели. Модель использует архитектуру MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. В ней 256 экспертов, из которых для каждого токена выбираются 8, 40 слоёв и гибридная схема внимания: линейное и полноразмерное softmax-внимание в соотношении 3:1. Нативное контекстное окно составляет 262 тысячи токенов. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется отдельный файл mmproj; доступны различные варианты квантования GGUF, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Сильными сторонами являются большое контекстное окно, мультимодальность, низкое число активных параметров при значительном общем объёме модели и широкий выбор квантований, включая оптимизированные K_P-варианты с повышенным сохранением качества. Ограничением является отсутствие или ослабление защитных механизмов: модель может генерировать нежелательный, небезопасный или потенциально вредный контент, поэтому требует дополнительного контроля в прикладных системах. Для сохранения возможностей рассуждения рекомендуется использовать контекст не менее 128 тысяч токенов; для vision-сценариев необходим mmproj-файл. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

avlp12/Qwen3.8-27B-Alis-MLX-8bit — 8-битная квантизированная версия мультимодальной модели Qwen3.8-27B от Qwen, подготовленная пользователем avlp12 для запуска на Apple Silicon с использованием MLX. Модель предназначена для генерации и анализа текста, работы с изображениями и сценариев, где важны высокая точность, длинные последовательности генерации и агентские циклы. Поддержка изображений сохранена благодаря полной vision-башне, а также сохранена MTP-голова для speculative decoding. Модель основана на архитектуре Qwen3_5ForConditionalGeneration с типом модели qwen3_5 и содержит 27 миллиардов параметров. Квантованный языковой компонент использует 8-битное представление, тогда как 333 тензора vision-башни объёмом около 0,461 млрд параметров сохранены в исходном формате bf16. Указанный размер сборки составляет 27,9 ГБ, пиковое потребление оперативной памяти при загрузке и коротком контексте — около 28,1 ГБ, скорость декодирования на Apple M3 Ultra — около 22 токенов в секунду. Модель поддерживает мультимодальный ввод, включая изображения; заявленные языки включают английский и корейский, также отдельно измерялось качество на коде. Размер контекста в README не указан. Главное преимущество сборки — близкое к исходной bf16-модели поведение при существенно меньшем размере и более высокой скоростью декодирования; заявленные различия perplexity статистически неразличимы на проверенных корпусах. Ограничения — необходимость совместимого Apple Silicon и MLX-окружения, значительные требования к памяти, а также возможное снижение точности из-за 8-битной квантизации по сравнению с bf16. Лицензия модели — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; поддерживает текстово-визуальный ввод через отдельный vision-проектор. Заявлены языки English, Chinese и multilingual. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохранены встроенные механизмы MTP/NextN, а также добавлен профиль ускорения HauhauCS FastMTP 32K для speculative decoding. Нативный контекст составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Доступны варианты квантования от Q8_K_P до IQ2_M размером примерно от 10,32 до 31,46 ГБ; для изображений и видео требуется отдельный BF16 vision-проектор размером 931 МБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка рассуждений и агентских задач, а также заявленное ускорение генерации FastMTP до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с вариантами без MTP. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и практически отсутствующим отказным поведением, поэтому может быть менее подходящим для критически важных длинных агентских сценариев, где предпочтительнее более сбалансированный профиль. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантизованная GGUF-версия мультимодальной модели Qwen3.8-27B, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Релиз сохраняет исходные текстовые, reasoning, агентские, графические и видеовозможности, но использует профиль Aggressive uncensoring: модель ориентирована на прямые ответы, минимальное вступление и отсутствие отказного поведения. Доступны варианты с квантизацией Q2_K_P–Q8_K_P, IQ2_M–IQ4_XS и отдельный BF16 vision projector для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, FFN-размером 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и мультиязычные сценарии. Встроенный NextN/MTP сохранён, а FastMTP от HauhauCS предоставляет дополнительное ускорение спекулятивного декодирования; заявлен прирост скорости до 3,02 раза для документов и до 1,93 раза для reasoning по сравнению с режимом без MTP. Модель подходит для генерации и анализа текста, рассуждений, агентских задач, работы с изображениями и видео, а также для сценариев, где важны быстрые и максимально прямые ответы. К сильным сторонам относятся большой контекст, мультимодальность, широкий выбор квантизаций и ускорение FastMTP. Ограничение профиля Aggressive — повышенный риск менее осторожных или менее надёжных ответов в критически важных агентских сценариях; для них авторы рекомендуют Balanced-релиз, если он доступен. Модель распространяется по лицензии Apache-2.0.

EXAONE-3.5-32B-Instruct — плотная языковая модель с инструкционной настройкой, разработанная LG AI Research. Она содержит 31,5 млрд параметров по метаданным; в карточке указаны 30,95 млрд параметров без эмбеддингов, 64 слоя и архитектура внимания GQA с 40 Q-головами и 8 KV-головами. Модель работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста на английском и корейском языках, включая работу с длинными контекстами и общие задачи понимания и создания текста. Её можно использовать для ответов на вопросы, инструкций и суммаризации; в метаданных также отмечена поддержка классификации текста. Карточка сообщает о риске некорректных, устаревших, предвзятых или неподходящих ответов. Лицензия указана как «other», поэтому конкретные условия использования следует проверять в репозитории модели.

G2-Nowing-9B-32K-YS — объединённая методом SLERP языковая модель Gemma 2, созданная автором djuna с помощью mergekit из zelk12/MT-Merge2-MU-gemma-2-MTg2MT1g2-9B и allknowingroger/GemmaSlerp5-10B. Модель имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров и рассчитана на генерацию текста и диалоговое общение. Заявленная длина контекста составляет 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

m8than/gemma-3-12b-it-lenientchatfix — мультимодальная разговорная модель сообщества на архитектуре Gemma 3, дообученная на предобученной модели Google google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; объём модели — 12 млрд параметров. Карточка описывает возможности семейства Gemma 3: контекст до 128 тыс. токенов и поддержку более 140 языков. Модель предназначена для диалогов, ответов на вопросы по изображениям и тексту, суммаризации и генерации текста. Её можно использовать для извлечения сведений из изображений, создания черновиков и разговорных интерфейсов. Название указывает на вариант с более lenient-настройкой поведения, но README не уточняет, как она реализована и оценивалась. К ограничениям относятся возможные фактические ошибки, смещения в ответах и трудности с неоднозначными запросами и сложными задачами. В метаданных указана лицензия Gemma; использование регулируется её условиями и политикой запрещённого использования Gemma.

Модель KARAKURI Inc. karakuri-lm-8x7b-instruct-v0.1 — диалоговая языковая модель на архитектуре Mixtral Mixture of Experts, дообученная на базе tokyotech-llm/Swallow-MX-8x7b-NVE-v0.1. Она предназначена для генерации ответов и инструкций на английском и японском языках, включая сценарии вызова инструментов и работы с RAG. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В шаблоне диалога предусмотрены девять управляемых атрибутов ответа: полезность, корректность, связность, сложность, многословность, качество, токсичность, юмор и креативность. Модель дообучали примерно на 1 млрд токенов данных, в том числе на наборах для диалогов, программирования, вызова функций, математики, SQL и RAG. Репозиторий использует формат safetensors и библиотеку Transformers. Известное ограничение: модель может пытаться вызывать инструменты, которые не предоставлены приложением; такие вызовы следует отфильтровывать при постобработке. Лицензия — Apache 2.0.

Llama-3.3-70B-Instruct-FP8-KV — квантизированная версия модели meta-llama/Llama-3.3-70B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием Quark и калибровочных образцов из набора данных Pile. Модель предназначена для задач генерации текста и диалоговых сценариев, поддерживаемых исходной instruct-моделью Llama 3.3, с эффективным инференсом на совместимой инфраструктуре. Ключевая особенность — FP8-квантизация: все линейные слои, кроме lm_head, используют симметричное по тензору представление FP8 для весов и активаций, а KV-cache также хранится в FP8. Модель экспортируется в формат Quark safetensors и совместима с развертыванием через backend vLLM. Указан результат на perplexity для wikitext2: 3,9622 против 3,8624 у исходной модели; авторы отмечают, что оценка выполнена в режиме псевдоквантизации и может отличаться от точности при фактическом инференсе. Лицензия обозначена как llama3.3; применяются условия лицензии Meta для Llama 3.3, при этом модификации принадлежат Advanced Micro Devices, Inc. Для использования требуется совместимая среда Quark и поддержка FP8 со стороны оборудования и backend.

Карточка модели mayflowergmbh/occiglot-7b-eu5-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-eu5-instruct, поэтому описание составлено по ней. Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

facebook/opt-iml-max-30b — большая языковая модель семейства OPT, разработанная Meta AI и дообученная по инструкциям в рамках проекта OPT-IML. Версия OPT-IML-Max обучалась на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource. Модель предназначена для генерации текста по инструкциям и выполнения разнообразных языковых задач. Это плотная авторегрессионная модель с архитектурой OPTForCausalLM и 39,8 млрд параметров; максимальный контекст составляет 2048 токенов. Модель распространяется в формате PyTorch. По оценке авторов, OPT-IML превосходит базовую OPT на ряде оценок. Как и другие большие языковые модели, она может выдавать фактически неверные ответы, токсичный текст и стереотипные формулировки. В метаданных указана лицензия other; конкретные условия следует проверять на странице модели.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

mradermacher/Qwen3.6-27B-Miraculix-i1-GGUF — набор квантизированных GGUF-версий модели Qwen3.6-27B-Miraculix, разработанной nightmedia и преобразованной и опубликованной mradermacher. Модель имеет размер 27B параметров, предназначена для запуска в совместимых локальных средах, поддерживает instruction-tuned и conversational-сценарии, а также заявлена как vision-модель при наличии соответствующих mmproj-файлов в статическом репозитории. Модель ориентирована на генерацию текста, программирование, математические и STEM-задачи, исследовательские сценарии, рассуждения, многоязычное общение и творческое письмо, включая создание сюжетов, сцен и ролевые взаимодействия. В метаданных указаны английский, китайский, японский и испанский языки. Также заявлена поддержка длинного контекста до 256K и 1M токенов, однако точные характеристики контекстного окна в README не подтверждены отдельно. Репозиторий предоставляет варианты квантизации от i1-Q2_K до i1-Q6_K размером примерно от 11 до 22,5 ГБ. Квантизации IQ могут обеспечивать лучшее качество при сопоставимом размере, а i1-Q4_K_M отмечена как быстрая и рекомендуемая; Q4_0 описана как быстрая, но с низким качеством. Конкретные требования к памяти, производительность, результаты тестирования и ограничения качества не приведены. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-сборка плотной мультимодальной causal language model Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео. Вариант Aggressive ориентирован на прямые ответы без выраженного отказного поведения и с минимальным предварительным вступлением в сложных запросах. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенные MTP/NextN и профиль ускорения HauhauCS FastMTP 32K; заявлены ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно варианта без MTP. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000. Для визуального ввода используется отдельный vision-проектор BF16. Заявлены английский, китайский и мультиязычный режимы. Сильными сторонами являются большой контекст, текстовые и визуальные возможности, поддержка нескольких уровней квантизации GGUF и ускорение FastMTP. Aggressive-профиль может быть удобен там, где нужны краткие прямые ответы, однако его сниженное отказное поведение может быть менее подходящим для надёжных и критичных к безопасности приложений; автор README рекомендует для таких агентских задач Balanced-вариант, если он доступен. Доступны квантизации Q2–Q8 и пользовательские K_P-кванты, оптимизированные для сохранения качества. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit — это квантованная 4-битная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для понимания и генерации текста на основе изображений, а также для работы с видео и текстовыми запросами. Модель имеет размер 4B параметров и архитектуру vision-language с режимом Instruct. Она поддерживает визуальное распознавание, OCR для 32 языков, анализ пространственных отношений, понимание длительных видеосцен, мультимодальное рассуждение в STEM-задачах и взаимодействие с графическими интерфейсами ПК и мобильных устройств. Заявлен нативный контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового и визуального понимания, обработка изображений, документов и видео, распознавание текста в сложных условиях, а также задачи визуального программирования и управления интерфейсами. Ограничения включают зависимость качества и совместимости от 4-битного квантования, а также необходимость подходящей аппаратной и программной конфигурации для длинного контекста и видео; конкретные языки, требования к ресурсам и детальные числовые результаты в README не указаны. Модель распространяется по лицензии Apache-2.0.

T5Gemma 2 — семейство мультимодальных моделей Google на архитектуре encoder-decoder, созданных адаптацией предварительно обученных моделей Gemma 3. Этот репозиторий содержит предварительно обученную модель с энкодером и декодером по 4 млрд параметров; адаптация выполнена с использованием UL2. Модель принимает текст и изображения и генерирует текст, поддерживает более 140 языков и контекст до 128 тыс. токенов. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммаризацию, рассуждения и задачи по визуальным документам. В карточке приведены результаты оценки на наборах COCOcap, DocVQA и InfoVQA, а также тестах длинного контекста. Google описывает семейство как исследовательское; веса доступны для использования по лицензии Gemma. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными формулировками и сложными открытыми задачами. Разработчикам следует самостоятельно оценивать безопасность и качество результатов.

Vulture-40B — многоязычная причинно-следственная языковая модель с архитектурой decoder-only, разработанная Virtual Interactive (VILM) на основе Falcon-40B компании TII. Модель продолжительно предобучена на корпусе из новостных статей и страниц Wikipedia объёмом 80 ГБ на 12 языках, а затем дообучена на многоязычном инструкционном наборе по методике Alpaca. В метаданных указаны 65 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалоговых ответов, а также может применяться для вопросов и ответов, классификации текста и токенов. Поддерживаемые языки: английский, немецкий, испанский, французский, португальский, русский, итальянский, вьетнамский, индонезийский, китайский, японский и корейский. Для запуска в полной точности bfloat16 требуется около четырёх ускорителей A100 80 ГБ или эквивалентные ресурсы. Разработчики предупреждают о стереотипах и предубеждениях, унаследованных из веб-корпусов, и рекомендуют оценивать риски, настраивать модель под конкретные задачи и применять защитные меры перед использованием в продуктивной среде. Лицензия — Apache-2.0.

ECE-TW3-JRGL-V2 — чат-модель объёмом 71 млрд параметров, созданная слиянием моделей Qwen/Qwen1.5-72B-Chat и vilm/Quyen-Pro-Max-v0.1 с помощью mergekit. Она предназначена для диалогов и генерации текста, включая ответы на запросы в формате чата. Модель построена на плотной архитектуре Qwen2 и принимает текст, выдавая текст; длина контекста составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Huihui-Qwen3.6-35B-A3B-abliterated-FP8-DYNAMIC — это FP8-квантизированная версия модели huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated, подготовленная разработчиком coolthor для инференса, прежде всего на NVIDIA DGX Spark с GB10 и 128 ГБ унифицированной памяти. Модель предназначена для генерации и анализа текста, а также обработки изображений; в карточке заявлены английский и китайский языки. Она совместима с vLLM и поддерживает автоматический выбор инструментов и вызовы инструментов через соответствующие парсеры Qwen3. Модель основана на архитектуре Qwen3.6 MoE с конфигурацией 35B-A3B. Используется схема динамической квантизации FP8_DYNAMIC в формате compressed-tensors: около 31 030 линейных модулей переведены в FP8 e4m3fn, а отдельные компоненты, включая визуальный модуль, lm_head и маршрутизаторы экспертов, сохранены в BF16. Размер на диске составляет примерно 36 ГБ вместо 67 ГБ у базовой BF16-версии. Сохранённые MTP-веса позволяют применять speculative decoding; в тесте на DGX Spark скорость достигала 51,72 токена в секунду против 30,71 токена в секунду у BF16-варианта. Рекомендуемая длина контекста при запуске в vLLM — до 32 768 токенов. К сильным сторонам относятся уменьшенный размер, поддержка текстово-визуального ввода и ускорение генерации с MTP. Для работы с изображениями требуется версия контрольной точки после исправления от 3 мая 2026 года; более ранние загрузки имели неисправный визуальный ввод. Карточка также предупреждает о проблемах точности и повторов при использовании FP8 KV-кэша на SM121, поэтому его применение не рекомендуется. Лицензия модели — Apache 2.0.

Карточка модели vy22215/Llama-3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Qwen3.8-27B-abliterated-GGUF — GGUF-квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованная пользователем prithivMLmods. Это вариант Qwen3.8-27B, созданный с применением abliteration — редактирования активаций, направленного на удаление поведения, связанного с отказами. Модель представляет собой плотную causal language model на 27 млрд параметров с нативным vision encoder и поддержкой обработки текста и изображений. Модель предназначена для локального запуска через llama.cpp и совместимые среды, а также для генерации и анализа текста, понимания изображений и видео, визуальных вопросов и ответов, OCR, описания изображений и видео, документного анализа и визуального рассуждения. Заявлены поддержка английского и китайского языков, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN, а также управление глубиной рассуждений параметром reasoning_effort. Архитектура включает 64 слоя с чередованием блоков линейного внимания Gated DeltaNet и периодических слоёв Gated Attention. Доступны варианты от BF16 и F16 до Q2_K–Q8_0, что позволяет выбирать между качеством и требованиями к памяти; размеры файлов составляют примерно от 10,7 до 53,8 ГБ, отдельно поставляются мультимодальные проекторы. К ограничениям относятся отсутствие MTP-голов в формате GGUF, поэтому преимущества Multi-Token Prediction и связанной спекулятивной декодировки исходной модели недоступны. Abliteration является экспериментальным подходом и может влиять на поведение и надёжность модели. В README указана лицензия Apache 2.0.

Это квантизированная версия модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, опубликованная esatapedico и созданная на основе модели DavidAU, которая, в свою очередь, происходит от Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM или совместимые движки serving compressed-tensors. Настройка TWIN-TURBO ориентирована на сокращение числа токенов рассуждений при сохранении сопоставимого качества ответов. Модель использует архитектуру Qwen3_5ForCausalLM с 64 слоями, гибридной GatedDeltaNet, 16 полными attention-слоями, MTP head для speculative decoding и контекстом до 262144 токенов. Поддерживается генерация на английском языке и, согласно метаданным, мультиязычные сценарии. Контрольная точка имеет размер около 19 ГБ и поставляется в формате compressed-tensors nvfp4-pack-quantized. Квантизация выполнена по схеме W4A16 с группами размера 16, FP8 E4M3-масштабами и только для весов; калибровочные данные не использовались. Ключевые компоненты, включая lm_head, vision tower, MTP head и отдельные элементы DeltaNet, сохранены в BF16. Сильными сторонами являются существенное уменьшение размера весов, совместимость с vLLM, сохранение мультимодального vision tower и MTP-компонента, а также возможность работы с длинным контекстом. Ограничения связаны с зависимостью от поддержки compressed-tensors NVFP4 в serving-движке и особенностями конфигурации: заявлена проверка при tensor parallel 2 и контексте 2048 токенов, а FP8 KV-cache включается параметром запуска, а не хранится в контрольной точке. Модель распространяется по лицензии Apache-2.0.

devan-carlin/Qwen3.8-Flash-Next-W4A16 — сообщественная W4A16-квантизированная версия Qwen3.8-Flash-Next, базовую модель и лицензию которой разработала команда Qwen. Репозиторий предоставляет квантизацию и рецепт запуска на Intel XPU с использованием patched vLLM. Модель предназначена для генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев с обработкой изображений; доступны текстовые и графические входы через процессор Qwen3-VL. Модель использует MoE-архитектуру с 125B параметров и примерно 6B активных параметров. Экспертные веса квантизированы в int4 по схеме group-128 с активациями A16, а отдельные компоненты, включая визуальный модуль, эмбеддинги и ряд служебных слоёв, сохранены в BF16. Поддерживается контекст до 256K токенов и FP8 KV-кэш. В составе присутствует 27-блочный vision tower, совместимый с Qwen3-VL. Для корректной работы требуется PLE n-gram table объёмом около 96 ГБ в оперативной памяти. К сильным сторонам относятся большой контекст, MoE-эффективность, поддержка изображений и возможность производительного запуска на Intel Arc Pro B70: заявлено около 53,4 токена в секунду на конфигурации из четырёх ускорителей. Ограничения существенны: необходимы четыре Intel Arc Pro B70 с суммарно 128 ГБ VRAM, не менее 128 ГБ оперативной памяти, специальная версия vLLM и закреплённые версии XPU-зависимостей. Для этого чекпойнта рекомендуется температура не выше примерно 0,7, поскольку при более высоких значениях наблюдаются повторения и деградация вывода. Модель распространяется по Qwen Community License 1.0; лицензия указана как other.

ALIA-40b-Instruct-2606 — языковая модель с инструкционной настройкой, разработанная Barcelona Supercomputing Center (BSC-LT). Это декодерная плотная трансформерная модель семейства Llama с 38,3 млрд параметров, построенная на базе ALIA-40b. Контекстное окно составляет 163 840 токенов. Модель предназначена для диалогов и выполнения инструкций: она отвечает на вопросы, учитывает контекст беседы и формирует структурированные ответы. Её постобучение включало адаптацию к длинному контексту, дообучение на 714 тысячах диалоговых примеров и выравнивание предпочтений методом DPO. Основной упор сделан на испанский, каталанский, баскский, галисийский и английский языки; качество на других языках не гарантируется. Модель не умеет самостоятельно вызывать внешние функции или API и не предназначена для автономного выполнения рабочих процессов. Её рассуждения и математические ответы могут быть ненадёжными, а код следует проверять. Разработчики предупреждают, что несмотря на настройку безопасности, возможны нежелательные ответы. Лицензия — Apache-2.0.