I.6Перевод и языковая адаптация

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

Jais Family 30B 8K — плотная авторегрессионная языковая модель семейства Jais, опубликованная Inception Institute of Artificial Intelligence. Модель предназначена для генерации текста на арабском и английском языках; семейство оптимизировано для арабского и сохраняет сильные возможности английского. В карточке семейства указано, что модели этого варианта предварительно обучались с нуля, а базовые версии дообучались для диалога; конкретно этот репозиторий не обозначен как чат-вариант. Модель подходит для генерации и продолжения текста, ответов на вопросы, классификации тональности и обработки двуязычных документов, включая их краткое изложение. Архитектура — плотная модель JAISLMHeadModel на PyTorch, размер 30 млрд параметров, контекстное окно — 8192 токена. Для загрузки требуется пользовательский класс модели с включением trust_remote_code. Лицензия — Apache 2.0. Модель может ошибаться, воспроизводить предвзятость или выдавать оскорбительный контент; она не предназначена для критически важных решений без контроля человека и для работы с конфиденциальными данными. Уровень владения другими языками и диалектами не следует считать сопоставимым с арабским и английским.

unsloth/Llama-3.2-1B-unsloth-bnb-4bit — 4-битная динамически квантованная версия языковой модели Meta Llama 3.2 1B, подготовленная Unsloth на базе meta-llama/Llama-3.2-1B. Модель предназначена для генерации и обработки текста, диалоговых сценариев, суммаризации и задач агентного поиска; формат также ориентирован на эффективное дообучение с меньшими требованиями к памяти и последующий экспорт в GGUF или vLLM. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA), содержит около 1 млрд параметров и работает по схеме «текст на входе — текст на выходе». В README официально указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Динамическая 4-битная квантизация Unsloth выборочно сохраняет отдельные параметры в более высокой точности, что должно обеспечивать лучший баланс качества и экономии памяти по сравнению со стандартной 4-битной квантизацией. К сильным сторонам относятся компактный размер, сниженные требования к памяти и удобство дообучения. Ограничения — отсутствие визуальной модальности, статичность обучающих данных и потенциальное снижение качества из-за квантизации; заявленный размер контекста в предоставленном README не указан. Модель распространяется по Llama 3.2 Community License; применяются также условия Acceptable Use Policy.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-FP8-dynamic — это динамически квантованная версия мультимодальной модели Meta Llama-4-Scout-17B-16E-Instruct, подготовленная Red Hat совместно с Neural Magic. Модель реализует архитектуру Llama4ForConditionalGeneration, принимает текст и изображения, а генерирует текст. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель предназначена для задач text-to-text и image-text-to-text: диалоговых приложений, обработки текстовых запросов и анализа изображений с формированием текстового ответа. Веса и активации переведены в формат FP8 с использованием llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений по сравнению с представлением FP16. В примере развертывания используется максимальная длина контекста 32768 токенов. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и оптимизация для эффективного инференса на vLLM, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. Ограничения включают зависимость от совместимого FP8-оборудования и программного стека; README не содержит результатов бенчмарков или оценки возможной потери качества после квантования. Модель выпущена 15 апреля 2025 года, версия 1.0, и распространяется по лицензии Llama 4.

Это преобразованная в формат MLX версия Meta-Llama-3.1-8B-Instruct, подготовленная сообществом mlx-community на основе модели Meta. Она предназначена для генерации текста в диалоге, ответов на вопросы и выполнения инструкций; также поддерживает интерфейс вызова инструментов. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README указано преобразование с помощью mlx-lm версии 0.19.0; репозиторий содержит веса в формате safetensors с точностью bf16. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Лицензия — llama3.1; условия её использования определяются лицензией Meta Llama 3.1.

FriendliAI/Meta-Llama-3.1-8B-Instruct-fp8 — языковая instruction-tuned модель для генерации текста, диалогов и выполнения текстовых инструкций. Модель разработана FriendliAI на базе Meta-Llama-3.1-8B от Meta и предназначена для использования в сценариях, требующих компактной модели с пониженной точностью представления FP8. Модель работает с текстом и заявлена для семи языков: английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В карточке указаны размер 8B параметров и формат FP8, однако сведения об архитектуре, длине контекста, методе квантования и конкретных показателях качества отсутствуют. Сильной стороной является сочетание инструкционного обучения и относительно небольшого размера, что может упростить развертывание; ограничения и фактическая производительность зависят от инфраструктуры и прикладного сценария. Модель распространяется по лицензии Llama 3.1 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

MiniCPM-Llama3-V 2.5 — мультимодальная языковая модель команды OpenBMB для диалога и анализа изображений. Она объединяет визуальный энкодер SigLip-400M с языковой моделью Llama 3-8B-Instruct; в метаданных указано 7,5 млрд параметров, архитектура — плотная MiniCPMV. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает контекст до 8192 токенов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, извлечения содержимого документов и таблиц, а также многоязычного общения по изображениям. README заявляет поддержку более 30 языков и эффективное локальное развёртывание, включая запуск через llama.cpp. В карточке упомянуты safetensors и возможность дообучения с LoRA. Лицензия в предоставленных данных не указана.

miscii-14b-0218 — плотная языковая модель семейства Qwen2, созданная sthenno-com на основе Qwen2.5-14B-Instruct и объединения нескольких чекпойнтов методом Model Stock с помощью MergeKit. Модель содержит 14 млрд параметров, рассчитана на генерацию текста и чат; её родной контекст — до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации и продолжения текста, а также подготовки структурированных ответов. В тегах карточки перечислены китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки; при этом основной язык отдельно не выделен. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Это объединённая модель на основе нескольких промежуточных SFT-чекпойнтов, поэтому поведение и качество могут отличаться от исходной Qwen2.5-14B-Instruct. README не приводит результатов сравнительной оценки или конкретных гарантий качества.

miscii-14b-1225 — диалоговая языковая модель серии miscii, созданная sthenno-com как слияние моделей с помощью mergekit. В основе указаны Qwen/Qwen2.5-14B-Instruct и sthenno-com/miscii-14b-1028. Модель с архитектурой Qwen2 и 14 млрд параметров предназначена для генерации текста и диалогов; заявленный контекст составляет 131 072 токена. Карточка приводит результаты оценок Open LLM Leaderboard: средний балл 40,08 в исходной таблице и 42,35 в таблице, обновлённой 15 февраля 2025 года. Указаны языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0. За подробностями об использовании карточка отсылает к miscii-14b-1028.

Nemotron-3-Nano-30B-A3B-GGUF — это квантизированная GGUF-версия языковой модели NVIDIA Nemotron-3-Nano-30B-A3B, подготовленная пользователем bartowski на базе NVIDIA. Квантизация выполнена с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на задачи общего назначения, включая работу с текстом, кодом, математикой, научными данными, следование инструкциям и агентские сценарии. В метаданных указаны поддерживаемые языки: английский, испанский, французский, немецкий, японский и итальянский. Архитектурные подробности и размер контекста в README не указаны; из названия известно обозначение 30B A3B. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Рекомендуемыми названы варианты Q6 и Q4. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска при существенно меньших требованиях к памяти по сравнению с полными BF16-весами. При этом более сильная квантизация может снижать качество генерации, а низкокачественные варианты предназначены прежде всего для систем с ограниченным объёмом RAM. Лицензия указана как NVIDIA Open Model License; точные условия следует уточнять в тексте лицензии NVIDIA.

Occiglot-7B-ES-EN-Instruct — инструктивная языковая модель команды Occiglot Research Collective. Это плотный авторегрессионный трансформер-декодер Mistral с 7,1 млрд параметров, дообученный на инструкциях на английском и испанском языках; в обучающие данные также входили инструкции по программированию. Модель принимает диалог в шаблоне ChatML и генерирует текст. Нативный размер контекста составляет 32 768 токенов. Модель подходит для ответов на вопросы, диалоговых помощников и генерации текста на английском и испанском языках, а также для работы с кодом. Обучение включало англоязычные и испаноязычные наборы инструкций, но результаты некоторых неанглоязычных оценок основаны на частично машинно переведённых данных и англоязычных запросах. Разработчики отмечают, что модель не прошла выравнивание безопасности и может выдавать проблемные ответы. Лицензия — Apache 2.0.

Карточка модели ff670/openbuddy-deepseek-67b-v15.3-4k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-deepseek-67b-v15.2, поэтому описание составлено по ней. OpenBuddy-deepseek-67b-v15.2 — мультиязычная разговорная языковая модель семейства Llama, опубликованная проектом OpenBuddy. Она предназначена для диалога и генерации текста в ответ на запросы пользователя; модель содержит 66,6 млрд параметров и использует архитектуру LlamaForCausalLM. Для работы указаны Transformers и формат Safetensors, длина контекста — 4096 токенов. В метаданных перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский, русский и финский языки. Карточка указывает лицензию «deepseek», но не приводит её точные условия. Модель может выдавать ошибочные, вредные или оскорбительные ответы; разработчики предостерегают от использования в медицинских, финансовых, юридических и других критически важных сценариях.

lunahr/Phi-4-mini-instruct-abliterated — изменённая версия компактной языковой модели Phi-4-mini-instruct от Microsoft. Это плотная авторегрессионная модель семейства Phi-3 с 3,8 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста, диалогов, программирования и решения задач, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Для исходной Phi-4-mini-instruct в README заявлено контекстное окно 128 тыс. токенов, однако метаданные этой модели указывают native context 4096 токенов. Модель поддерживает множество языков, включая английский, русский, китайский, арабский, японский и европейские языки. В README версия названа abliterated, то есть подвергшейся изменению механизмов отказа; степень и последствия этого изменения не описаны. Она унаследовала от базовой модели возможности диалогов, генерации кода и интерфейс вызова инструментов. Для вызовов инструментов возможны вымышленные имена функций или URL, а качество может различаться между языками; перед применением в чувствительных сценариях необходима оценка точности и безопасности. Лицензия — MIT.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — квантизированная версия модели Dans-PersonalityEngine V1.3.0 с 24 млрд параметров, опубликованная PocketDoc и подготовленная bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания и продолжения историй, совместного творчества, выполнения инструкций, рассуждений, математических и научно-технических задач, программирования, работы с инструментами и агентскими сценариями. В датасетах обучения также представлены материалы по химии, биологии, климату, праву, медицине и финансам. Модель поддерживает английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Архитектура исходной модели в README не указана; доступна в нескольких вариантах точности и квантизации, включая BF16, Q8_0, Q6_K_L, Q6_K, Q5_K и Q4. Варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря высокому качеству. Размеры файлов составляют примерно от 14,87 до 47,15 ГБ в зависимости от варианта. Сильными сторонами являются широкий набор обучающих сценариев, поддержка многоязычной генерации, возможности ролевого общения и написания текстов, а также совместимость с llama.cpp и LM Studio. Ограничения включают значительные требования к дисковому пространству и памяти, зависящие от выбранной квантизации; длина контекста, мультимодальность и точные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-0.5B-Instruct-GGUF — квантованная версия Qwen2.5-0.5B-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе модели Qwen Team, разработанной Alibaba Cloud. Модель предназначена для генерации текста, чат-ботов, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Это каузальная языковая модель на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, включая 0,36 млрд параметров без учёта эмбеддингов, 24 слоя и Grouped-Query Attention с 14 головами Q и 2 головами KV. Поддерживаются контекст до 32 768 токенов и генерация до 8 192 токенов. Модель мультиязычная и заявлена для более чем 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, улучшенное следование инструкциям, обработка длинных текстов, структурированных данных, программирования и математики. К ограничениям относятся меньшая ёмкость по сравнению с крупными моделями и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-fp8-dynamic — динамически квантованная версия инструкционной языковой модели Qwen2.5 от Qwen, размещённая llmcompressor-quants. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; метаданные указывают формат safetensors. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для ответов на вопросы, следования заданным ролям и формирования структурированных ответов, например JSON. Модель поддерживает русский, английский, китайский и другие языки. Заявленный в метаданных контекст составляет 32 768 токенов; в README описана настройка YaRN для обработки более длинных входов, потенциально влияющая на качество на коротких текстах. В README также отмечены сильные стороны семейства в следовании инструкциям, генерации длинных текстов и работе со структурированными данными. Лицензия — Apache-2.0. Квантование FP8 может снизить требования к памяти по сравнению с полной точностью, однако сведения о конкретной скорости и качестве этой сборки не приведены.

QuantTrio/Qwen3.5-2B-AWQ — вариант мультимодальной модели Qwen3.5-2B, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования и предметно-ориентированной донастройки. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 2 млрд параметров, 24 слоя, скрытое измерение 2048 и нативный контекст длиной 262 144 токена. В архитектуре используются Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; указана ранняя интеграция мультимодальных токенов. Заявлена поддержка 201 языка и диалекта. Суффикс AWQ указывает на вариант весов, подготовленный для 4-битного квантованного инференса, однако подробные параметры квантования в предоставленных данных не описаны. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер, потенциально эффективный инференс и широкое языковое покрытие. Ограничением является масштаб 2B: модель ориентирована прежде всего на прототипирование, исследовательские задачи и разработку, поэтому может уступать более крупным моделям в сложном рассуждении и специализированных сценариях. Модель распространяется по лицензии Apache-2.0.

FadedRedStar/Qwen3.5-4B-heretic-GGUF — это квантованные GGUF-веса мультимодальной модели Qwen3.5-4B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантованием занимался FadedRedStar. Модель основана на плотном трансформере Qwen3.5 с примерно 4 млрд параметров, встроенным vision-энкодером раннего слияния и поддержкой текстовых и графических входов. Заявлены контекстное окно до 262 144 токенов с возможностью расширения примерно до 1 млн токенов, поддержка 201 языка и диалекта, формата запросов ChatML и вызова инструментов. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, работы с инструментами и агентских сценариев. Репозиторий содержит варианты Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы и файлы для speculative decoding; запуск мультимодального режима предполагает использование mmproj-файла, например через llama.cpp. Вариант Q4_K_M ориентирован на баланс размера и качества, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при большем потреблении памяти. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, выполненную автором исходной heretic-модели coder3101. Это снижает частоту отказов, однако заявленные метрики являются самотчётными и не подтверждены независимым тестированием; после такой модификации поведение и безопасность модели могут отличаться от оригинальной Qwen3.5-4B. Для 4- и 5-битных вариантов рекомендуется importance-matrix-калибровка, тогда как данный репозиторий особенно ориентирован на почти без потерь Q8_0. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-MLX-mxfp8 — квантизированная MLX-версия модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive, основанной на Qwen3.5-9B. Модель конвертирована в формат MLX командой TheCluster; исходная базовая модель разработана HauhauCS на основе Qwen. Лицензия — Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео, включая диалоговые приложения, анализ контента, программирование и задачи рассуждения. Это плотная модель с 9 млрд параметров и 32 слоями, использующая гибридную архитектуру Gated DeltaNet с линейным вниманием и полноразмерным softmax-вниманием в соотношении 3:1. Она поддерживает Multi-Token Prediction, контекст до 262 тысяч токенов с возможностью расширения до 1 млн с помощью YaRN, словарь на 248 тысяч токенов и 201 язык. Ключевая особенность варианта — усиленное удаление отказов от выполнения запросов; в README заявлены отсутствие отказов в тесте из 465 запросов и отсутствие потери возможностей, однако независимые результаты не приведены. Агрессивная настройка может быть нежелательной для сценариев, требующих строгих защитных ограничений. Квантизация mxfp8 с размером группы 32 и показателем 8,626 bpw снижает требования к памяти, но потенциально может влиять на точность по сравнению с исходной моделью. Для режима рассуждения рекомендованы temperature 0.6, top_p 0.95 и top_k 20, для нережима рассуждения — temperature 0.7, top_p 0.8 и top_k 20.

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored-GGUF — набор GGUF-квантизаций базовой модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex-Uncensored. Квантизацию выполнил mradermacher. Модель предназначена для генерации и обработки текста, диалогов, рассуждений, решения математических и STEM-задач, программирования и исследовательских экспериментов. В метаданных заявлена поддержка английского, китайского, японского и испанского языков, а также conversational, instruction-tuned и multilingual-сценариев. Доступны варианты с разными уровнями квантизации — от Q2_K размером 13,3 ГБ до Q8_0 размером 37,9 ГБ, включая IQ4_XS, Q4_K_M и другие форматы. Для мультимодального использования предоставляются дополнительные файлы mmproj. Более качественные варианты требуют больше памяти, тогда как компактные быстрее и экономичнее, но могут сильнее терять качество; конкретные характеристики архитектуры, максимального контекста и производительности в README не указаны. Лицензия — Apache-2.0.

Qwen3.8-27B-Abliterated — модифицированная мультимодальная модель на базе Qwen3.8-27B, разработанная Grimxlock. Она предназначена для диалогов, генерации и анализа текста и изображений, следования инструкциям, программирования, рассуждений и многоязычных сценариев. В README указано, что базовая модель имеет размер 27 млрд параметров и работает в формате BF16; для использования заявлены Transformers, AutoProcessor и AutoModelForMultimodalLM. Точные поддерживаемые языки и размер контекстного окна не указаны. Модель создана методом targeted activation steering / ablation: из residual stream, attention- и MLP-компонентов удалялось или перенаправлялось направление, связанное с отказами. В заявленном тесте на 450 вредоносных запросах модель не отказала ни разу, при этом не было зафиксировано вырожденных ответов. По сравнению с исходной моделью отмечено небольшое ухудшение perplexity и результатов capability-бенчмарка: пройдено 14 из 15 заданий вместо 15 из 15; единственная ошибка была в простом числовом вопросе о седьмом числе Фибоначчи. Основное преимущество модели — сохранение заявленных способностей к письму, структурированному рассуждению, следованию инструкциям, программированию и многоязычной работе при существенно сниженном числе отказов. Ограничения включают возможное снижение точности и отсутствие стандартного защитного поведения, поэтому модель требует ответственного применения и дополнительного контроля результатов. В README указана лицензия Apache-2.0; поскольку это производная модель, базовые веса Qwen3.8-27B также подчиняются исходным условиям Qwen.

Qwen3.8-27B-FP8-Pessoa — квантованный вариант мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для обработки текста, изображений и видео, включая сценарии визуально-языкового анализа и генерации текста по мультимодальному вводу. Квантование выполнено с использованием llm-compressor; веса сохранены в формате compressed-tensors для непосредственного применения с vLLM. Лицензия — Apache-2.0. Языковая часть содержит около 27 млрд параметров, vision tower — 460,7 млн, а MTP-голова — 82,3 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания с GQA; нативный контекст составляет 262 144 токена. Поддерживается многоязычный ввод. Линейные, MLP- и полные attention-слои используют weight-only FP8 E4M3 W8A16 с BF16-активациями, GPTQ-коррекцией и поканальным масштабированием. Vision tower и MTP-голова оставлены в BF16, поэтому сохраняются возможности понимания изображений и видео, а также speculative decoding. Главные преимущества — уменьшенный до 31,24 ГБ размер чекпойнта против 55,6 ГБ у BF16-версии и низкая ошибка квантования. Компромисс заключается в более низкой скорости предварительной обработки по сравнению с W8A8 из-за деквантования перед GEMM, а также в высоких требованиях к памяти и ускорителям. Для работы рекомендуется vLLM 0.26.1rc0 с FlashInfer; заявлена поддержка NVIDIA Blackwell, Ampere и Hopper с поддержкой FP8 E4M3.

SauerkrautLM-v2-14b-SFT — языковая модель VAGO solutions, дообученная на базе Qwen/Qwen2.5-14B методом Spectrum Fine-Tuning в два этапа. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса safetensors. Модель предназначена для диалогов и следования инструкциям, генерации текста, математических рассуждений, вызова функций и задач на здравый смысл. Разработчики сообщают об улучшениях математических способностей, работы с функциями и многоязычной генерации. В README явно названы немецкий и английский, а метаданные также перечисляют итальянский, французский, португальский, нидерландский, арабский и испанский. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что фильтрация данных не исключает появления неподходящего или некорректного контента; стабильно безопасное поведение не гарантируется.

OpenVINO/whisper-base-int8-ov — модель автоматического распознавания речи, разработанная на основе whisper-base от OpenAI и конвертированная в формат OpenVINO IR. Веса сжаты до INT8 с использованием NNCF, что предназначено для эффективного запуска инференса через OpenVINO. Модель работает с аудиоданными и поддерживает распознавание речи на множестве языков, включая английский, китайский, немецкий, испанский, русский, французский, японский и другие языки, указанные в карточке модели. Модель подходит для транскрибирования аудиозаписей и других задач автоматического распознавания речи. Она совместима с OpenVINO 2025.2.0 и новее, а также с Optimum Intel 1.23.0 и новее; в примерах предусмотрен запуск на CPU через OpenVINO GenAI. Для использования требуются соответствующие библиотеки OpenVINO, Optimum Intel или OpenVINO GenAI. Конкретные размер модели, длина контекста и архитектурные параметры в карточке не указаны. Ключевые характеристики оптимизации — асимметричное INT8-сжатие весов с размером группы 128 и представление OpenVINO IR. Это может снизить требования к ресурсам и упростить развертывание, однако возможны компромиссы между эффективностью и качеством по сравнению с исходной моделью. Ограничения следует уточнять в оригинальной карточке whisper-base от OpenAI. Модель распространяется под лицензией Apache-2.0.

Модель dinalzein/xlm-roberta-base-finetuned-language-identification — дообученная версия XLM-RoBERTa с классификационной головой для определения языка текста. Она принимает текст документа и относит его к одному из 20 языков: арабскому, болгарскому, немецкому, греческому, английскому, испанскому, французскому, хинди, итальянскому, японскому, нидерландскому, польскому, португальскому, русскому, суахили, тайскому, турецкому, урду, вьетнамскому или китайскому. Модель содержит 305,2 млн параметров, имеет контекст до 514 токенов и доступна в формате PyTorch. В README сообщается о точности 99,59% на оценочном наборе и 99,5% на тестовой выборке из 1000 предложений. Её можно использовать для автоматического определения языка коротких текстов и документов, например, перед маршрутизацией запросов или выбором языкового конвейера. Лицензия — MIT.

bartowski/arcee-ai_Trinity-Large-Thinking-GGUF — это GGUF-квантизации текстовой генеративной модели Trinity-Large-Thinking, разработанной arcee-ai. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач рассуждения, агентских сценариев и вызова инструментов, а также для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и совместимые интерфейсы. Модель работает с текстом и поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ3/IQ4; заявленный размер файлов составляет примерно от 181 до 424 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как компактные варианты рассчитаны на системы с ограниченными ресурсами. Архитектура, число параметров и размер контекста в README не указаны. Сильными сторонами являются поддержка многоязычной генерации, задач рассуждения и агентского взаимодействия, а также широкий выбор квантизаций. Ограничениями выступают очень большие требования к дисковому пространству и памяти, зависимость совместимости от обновлений используемого программного обеспечения и возможное снижение качества у компактных вариантов. Модель распространяется по лицензии Apache-2.0.

BigQwen2.5-Echo-47B-Instruct — разговорная языковая модель mlabonne, созданная с помощью MergeKit на основе Qwen/Qwen2-32B-Instruct. Это self-merge с распределённым повторением отдельных слоёв: число повторов постепенно меняется от краёв к середине и обратно. Модель имеет архитектуру Qwen2 и 46,6 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Метаданные указывают языки: китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель предназначена для диалогов и генерации текста; базовая Qwen2.5 также рассчитана на программирование, математику и структурированные ответы. В приведённой карточке результаты оценки ниже показателей Qwen2.5-32B-Instruct по среднему баллу, IFEval и BBH, поэтому показатели базовой модели не следует переносить на этот вариант. Доступны веса в формате Safetensors; лицензия — Apache-2.0.

BrainCog-8B-0.1-Instruct — диалоговая языковая модель, разработанная группой BrainCog. Это дообученная версия Meta-Llama-3-8B с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель рассчитана на генерацию текста и работу в формате чат-ассистента. В качестве обучающего набора указан BAAI/Infinity-Instruct, а среди возможностей отмечена генерация кода. Модель принимает текстовые сообщения и генерирует текстовые ответы, включая ответы на вопросы и фрагменты кода. В метаданных указаны китайский и английский языки, а также многоязычная поддержка; базовая Meta-Llama-3-8B предназначена для английского текста и кода. Контекст составляет 8192 токена. Для загрузки и запуска README приводит пример с Transformers. Модель распространяется по лицензии Apache-2.0. Разработчики предупреждают, что поведение и вывод модели не контролируются и не обязательно отражают их мнение; качество ответов и кода может зависеть от запроса и требовать проверки.