I.6Перевод и языковая адаптация

Mixtral-8x7B-Instruct-v0.1-GGUF — квантизированная GGUF-версия инструкционной модели Mixtral-8x7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу через LlamaEdge. Поддерживаются английский, французский, итальянский, немецкий и испанский языки; заявленный размер контекста составляет 4096 токенов. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 17,3 до 49,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как сбалансированные или рекомендуемые, тогда как Q2_K и некоторые другие варианты имеют существенное снижение качества. Модель ориентирована на текстовые задачи и не поддерживает мультимодальные входы согласно представленным данным. Используется по лицензии Apache 2.0.

Mixtral-8x7B-v0.1 — предварительно обученная генеративная языковая модель Mistral AI со sparse Mixture of Experts. В архитектуре Mixtral-8x7B восемь экспертов; модель предназначена для генерации текста и служит базовой моделью для дальнейшей адаптации под конкретные сценарии. В карточке разработчик сообщает, что модель превзошла Llama 2 70B на большинстве проверенных ими бенчмарков. Модель рассчитана на работу с текстом и поддерживает контекст до 32 768 токенов. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Веса доступны в формате safetensors; репозиторий подготовлен для обслуживания через vLLM, а README также описывает загрузку через Transformers, хотя отдельно предупреждает, что на момент публикации модель ещё нельзя было инстанцировать через HF. Лицензия — Apache 2.0. Это базовая модель без встроенных механизмов модерации, поэтому ответы могут включать нежелательный контент. Для безопасного применения в пользовательских сценариях нужна отдельная проверка и настройка поведения модели.

Карточка модели OpenBuddy/openbuddy-qwq-32b-v24.2-200k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwq-32b-v24.1-200k, поэтому описание составлено по ней. OpenBuddy/openbuddy-qwq-32b-v24.1-200k — дообученная диалоговая языковая модель OpenBuddy на архитектуре Qwen2, основанная на Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на контекст до 200 000 токенов; она принимает текст и генерирует текстовые ответы в формате чат-бота. Модель предназначена для многоязычного общения и генерации текста. Карточка указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Лицензия — Apache 2.0. Для работы с форматом подсказок рекомендуется быстрый токенизатор Transformers; карточка также упоминает развёртывание через vLLM. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Её не следует применять для критических решений в медицине, финансах и праве, а также для управления потенциально опасным программным или аппаратным обеспечением.

OpenBuddy-R10528DistillQwen-14B-v27.3-200K — диалоговая языковая модель OpenBuddy на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B-Base с использованием дистиллированных данных DeepSeek-R1-0528. Модель содержит 14 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для многоязычного чат-общения, ответов на вопросы и генерации текста. В карточке перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Для работы автор рекомендует быстрый токенизатор из transformers; формат диалога также задан в tokenizer_config.json и совместим с запуском через vLLM. Модель распространяется по лицензии Apache 2.0. Она может выдавать ошибочные, вредные или оскорбительные ответы; авторы предостерегают от применения в критически важных и высокорисковых сценариях, включая медицину, управление потенциально опасными системами, а также важные финансовые и юридические решения.

Это набор GGUF-квантизаций модели Qwen2.5-1.5B-Instruct, опубликованный пользователем duyntnet и основанный на модели Qwen от Alibaba Cloud. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Запуск поддерживается через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель представляет собой causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв, 12 attention heads для Q и 2 для KV с GQA. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, возможность локального запуска в формате GGUF, улучшенное следование инструкциям, работа с длинными текстами и структурированными ответами, а также многоязычность. Ограничения связаны с относительно небольшим масштабом в 1,5 млрд параметров и с тем, что README не содержит результатов бенчмарков или подробностей конкретных квантизаций. Лицензия указана как other, без уточнения условий использования, поэтому их следует проверять в исходной карточке и связанных материалах Qwen.

Qwen3-30B-A1.5B-64K-High-Speed-NEO-Imatrix-MAX-gguf — это GGUF-версия модели, подготовленная DavidAU на основе Qwen3-30B-A3B от команды Qwen. Модель использует архитектуру mixture-of-experts: всего 30 млрд параметров, 128 экспертов, из которых автоматически активируются 4, что соответствует примерно 1,5 млрд активных параметров на запрос. По заявлению автора, такая конфигурация почти вдвое повышает скорость по сравнению со стандартным вариантом с 8 активными экспертами и снижает требования к вычислительным ресурсам. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, решения задач, рассуждений и использования инструментов. Она поддерживает контекст до 64K токенов благодаря применению YARN и может работать через CPU и RAM, GPU или их комбинацию. Указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Для интеграции рекомендуется использовать Jinja или ChatML template. Сильные стороны модели — высокая скорость инференса, большой контекст, возможность работы на разных типах оборудования и специализированные NEO Imatrix-квантизации, оптимизированные для Qwen3. Автор отмечает отсутствие заметной потери функциональности при обычном, но не исчерпывающем тестировании; при этом более сложные задачи могут лучше выполняться стандартной моделью или версиями с большим числом активных экспертов. Качество и скорость зависят от выбранного типа квантизации: более компактные варианты быстрее и экономичнее, но могут уступать по качеству. Лицензия в предоставленном README не указана.

Qwen3-30B-A3B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях: диалоговых системах, подготовке и преобразовании текстов, ответах на вопросы и других задачах, поддерживаемых исходной instruct-моделью. README не содержит сведений о точной архитектуре, числе активируемых параметров, размере контекста, поддерживаемых языках и модальностях, поэтому эти характеристики нельзя достоверно уточнить. Ключевое преимущество модели — 8-битное представление, ориентированное на более эффективный запуск на Apple Silicon по сравнению с полноразмерной версией. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также типичные для генеративных моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

QuantTrio/Qwen3.5-27B-AWQ — это квантизированная версия мультимодальной модели Qwen3.5-27B, разработанная на основе базовой модели Qwen/Qwen3.5-27B. Репозиторий содержит веса в формате Hugging Face Transformers и использует data-free квантизацию AWQ, для которой не требуется калибровочный набор данных. Модель предназначена для генерации текста и обработки изображений вместе с текстом, включая задачи рассуждения, программирования, визуального понимания и создания агентных приложений. Модель имеет архитектуру causal language model с vision encoder, около 27 млрд параметров, 64 слоя и гибридную структуру из Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для запуска рекомендуются vLLM и совместимые инструменты, однако README указывает на необходимость актуальных экспериментальных версий зависимостей, CUDA 12.8 и настройки с двумя GPU. Сильными сторонами являются мультимодальность, большой контекст, широкое языковое покрытие и оптимизация AWQ для более эффективного использования памяти. Ограничения включают существенные аппаратные требования, зависимость от экспериментальных версий программного обеспечения и необходимость включения remote code. Модель распространяется по лицензии Apache-2.0.

ArliAI/Qwen3.5-27B-Derestricted — модифицированная версия Qwen3.5-27B, разработанная Arli AI. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Её ключевая особенность — уменьшение или удаление поведения, связанного с отказами в ответах, при сохранении возможностей исходной модели. Модель содержит около 27 млрд параметров и построена как каузальная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; языковая часть включает 64 слоя. Заявлена поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. Точный размер контекста в предоставленных данных не указан. Для модификации применён метод Norm-Preserving Biprojected Abliteration: направление, связанное с отказами, удаляется с сохранением исходных норм весов. Это потенциально помогает сохранить рассуждения и общую производительность лучше, чем стандартная abliteration, однако приведённые в README утверждения о преимуществах основаны на заявлениях разработчика и не сопровождаются конкретными результатами тестов. Отсутствие защитных отказов расширяет область применения, но повышает риск генерации небезопасного или вредоносного контента. Модель распространяется по лицензии Apache-2.0.

HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная MoE-модель в формате GGUF, созданная HauhauCS на базе Qwen/Qwen3.5-35B-A3B. Она предназначена для генерации и понимания текста, работы с изображениями и видео, решения общих и рассуждательных задач, программирования и локального запуска в совместимых средах, включая llama.cpp, LM Studio, Jan и koboldcpp. Модель позиционируется как вариант без встроенных отказов; агрессивная версия может иногда добавлять краткие оговорки, но продолжает генерировать полный ответ. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общий эксперт на токен, 40 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полноформатного softmax-внимания. Нативный контекст составляет 262 тысячи токенов и может быть расширен до 1 млн с YaRN. Поддерживаются текст, изображения и видео, Multi-Token Prediction, словарь на 248 тысяч токенов и 201 язык. Для обработки изображений требуется отдельный файл mmproj. Доступны варианты квантования от BF16 до IQ2_M размером примерно от 65 до 11 ГБ, что позволяет выбирать баланс между качеством и требованиями к памяти. Ограничения включают зависимость мультимодальной работы от дополнительного mmproj-файла, высокие аппаратные требования для крупных вариантов и отсутствие встроенных защитных отказов, что повышает риск небезопасного использования. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR/Qwen3.6-35B-A3B-MXFP4-MOE-NoMTP-GGUF — квантизированная сборка базовой модели Qwen3.6-35B-A3B от команды Alibaba Qwen. Это модель Mixture-of-Experts с 35 млрд параметров и примерно 3 млрд активных параметров на токен; сборка в формате GGUF удаляет головы Multi-Token Prediction и использует MXFP4 для экспертных весов и Q8_0 для остальных тензоров. Размер файла — около 19,8 ГБ. Модель предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом, использованием инструментов и многоязычными запросами. В README заявлены контекст до 131 тыс. токенов и поддержка более 100 языков; метаданные перечисляют 19 языков, в том числе русский, английский и китайский. В проверенной конфигурации с llama.cpp указаны RTX 5060 Ti с 16 ГБ VRAM и флаг --cpu-moe, который размещает экспертные веса в системной памяти. Квантизация снижает требования к видеопамяти, сохраняя более высокую точность для постоянно используемых неэкспертных тензоров. Для работы нужны llama.cpp с поддержкой CUDA и совместимое оборудование; производительность зависит от аппаратной конфигурации. Базовая модель распространяется по лицензии Apache 2.0; отдельная лицензия производной сборки в предоставленных данных не указана.

Qwen3-Max — обновлённая модель серии Qwen3. По карточке модели, она улучшает рассуждение, следование инструкциям, многоязычную поддержку и охват редких знаний по сравнению с версией, выпущенной в январе 2025 года. Модель предназначена для ответов на запросы и выполнения инструкций на разных языках. В предоставленных сведениях нет описания архитектуры, размера, длины контекста, перечня языков или лицензии, поэтому эти характеристики нельзя уточнить. Ограничения и условия использования в карточке не описаны.

RakutenAI-7B-instruct — языковая модель Rakuten Group, Inc. для генерации текста по инструкциям. Это дообученная версия RakutenAI-7B на архитектуре Mistral с 7,2 млрд параметров. Для японского языка словарь расширен до 48 тысяч токенов; модель принимает текст и генерирует текст, поддерживая японский и английский языки. Контекстное окно составляет 32 768 токенов. Модель предназначена для выполнения инструкций, ответов на вопросы и других задач генерации текста. В карточке приведены результаты оценки на японских и английских языковых тестах; они характеризуют тестовые наборы и сами по себе не гарантируют качество на любых пользовательских запросах. Модель может выдавать предвзятые, неточные или небезопасные ответы. Лицензия — Apache License 2.0.

TheWhisper-Large-V3-Turbo — квантованная версия openai/whisper-large-v3-turbo, разработанная TheStage AI на основе исходной модели OpenAI. Она предназначена для автоматического распознавания речи и оптимизирована для работы в реальном времени с низкой задержкой и энергопотреблением на NVIDIA GPU, а также на устройствах Apple Silicon через CoreML и Neural Engine. Модель поддерживает многоязычное распознавание, включая английский, арабский, болгарский, бенгальский, чешский, датский, немецкий, греческий, испанский, эстонский, финский, французский, хинди, венгерский, индонезийский, итальянский, литовский, латышский, нидерландский, польский, португальский, румынский, русский, словацкий, словенский, шведский, украинский и вьетнамский языки. Доступны пакетная транскрибация и потоковая обработка аудио; для поставляемых turbo-движков используется окно 10 секунд. Модель рассчитана на входной сигнал 16 кГц, моно, и может работать полностью на устройстве без сервера в контуре инференса. К сильным сторонам относятся поддержка NVIDIA GPU и Apple Silicon, режимы NPU, GPU и CPU, потоковая расшифровка и ориентация на on-device-сценарии. README не содержит точных сведений о числе параметров, архитектурных изменениях относительно исходной Whisper Large V3 Turbo или количественных результатах бенчмарков именно этой модели. Для Apple SDK требуется физическое устройство Apple Silicon, macOS 15 или iOS 18 и онлайн-проверка токена при инициализации; симулятор не поддерживается. Лицензия — CC BY 4.0.

UwU-Qwen2.5-32B — объединённая языковая модель, созданная nbeerbower методом TIES с помощью mergekit на основе Qwen/Qwen2.5-32B и пяти других моделей семейства QwQ и Qwen. Это плотная авторегрессионная архитектура Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогов; поддерживает интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации и продолжения текста, а также работы с длинными запросами. В метаданных перечислена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

OpenVINO/whisper-medium-fp16-ov — модель автоматического распознавания речи, разработанная OpenAI и преобразованная в формат OpenVINO IR с весами в формате FP16. Она предназначена для транскрибации аудиозаписей в текст и поддерживает работу через Optimum Intel, OpenVINO GenAI и OpenVINO Model Server, включая интеграцию с OpenAI-совместимым клиентом. Модель основана на whisper-medium; в README не указаны её точный размер и архитектурные параметры. Заявлена поддержка широкого набора языков, включая английский, китайский, немецкий, испанский, русский, французский, японский и многие другие. Конкретный размер контекста и дополнительные модальности не указаны. Ключевая особенность версии — совместимость с OpenVINO версии 2025.2.0 и выше и Optimum Intel версии 1.23.0 и выше, что позволяет запускать инференс на поддерживаемых CPU и GPU. Сильными сторонами являются широкая языковая поддержка, оптимизированное представление OpenVINO IR и возможность развертывания локально или через серверную инфраструктуру. Ограничения и особенности качества следует уточнять в исходной карточке whisper-medium, на которую ссылается README. Модель распространяется по лицензии Apache-2.0.

Whisper-Small-MLA-24lang — модель распознавания речи, созданная Burak Aydin на основе openai/whisper-small. Декодер преобразован из MHA в MLA, после чего модель дообучена для восстановления качества на наборе из 24 языков. В ней 153,1 млн параметров; в формате весов Safetensors, библиотека Transformers. Лицензия — Apache-2.0. Модель предназначена для транскрибирования речи на английском, немецком, испанском, французском, итальянском, португальском, русском, нидерландском, польском, индонезийском, турецком, хинди, малайском, шведском, тайском, китайском, чешском, вьетнамском, финском, греческом, датском, японском, норвежском и корейском языках. По данным карточки, преобразование сокращает KV-кэш декодера на 62,5%; экономия относится к кэшу self-attention и не распространяется на память энкодера и cross-attention. В оценке на Common Voice 17 качество существенно различается по языкам: результаты сильнее на испанском, английском, нидерландском, русском, итальянском и португальском, а на некоторых языках с малым объёмом данных, включая корейский, норвежский, датский и греческий, заметно слабее. Модель рассчитана на речь с потребительских микрофонов и чтение подготовленного текста. Для запуска требуются trust_remote_code и Transformers 4.46.x; whisper.cpp, CT2 и faster-whisper не поддерживаются.

Apertus v1.5 8B text — MLX MXFP4 — это текстовая квантованная версия базовой модели swiss-ai/Apertus-v1.5, разработанной Swiss AI Initiative при участии EPFL, ETH Zurich и Швейцарского национального суперкомпьютерного центра на открытых данных. Данная конверсия выполнена независимо от авторов исходной модели и предназначена для запуска на компьютерах Apple с использованием MLX и mlx-lm. Модель поддерживает генерацию текста: принимает текст на вход и возвращает текст. Она содержит около 8,05 млрд параметров, использует архитектуру ApertusForCausalLM с 32 слоями, скрытым размером 4096, 32 головами внимания и 8 key-value головами, активацию xIELU, словарь из 131072 текстовых токенов и контекст длиной до 262144 токенов. Модель мультиязычная, однако конкретный перечень поддерживаемых языков в README не указан. Ключевое преимущество сборки — калиброванное квантование MXFP4 с эффективной точностью 4,250 бита на вес и размером файлов около 4,28 ГБ, что снижает требования к хранению и делает модель удобной для локального использования на Apple silicon. Ограничения связаны с потерями качества из-за квантования по сравнению с полноразмерными версиями, текстовой модальностью и зависимостью от совместимого программного стека MLX. Модель распространяется по лицензии Apache 2.0 с политикой допустимого использования Apertus 1.5.

c4ai-command-r-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-08-2024, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В карточке указано, что она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Модель относится к классу text-generation; сведения о размере, архитектуре и длине контекста в представленном README не указаны. Квантизация может снизить требования к ресурсам по сравнению с исходной моделью и упростить локальное развертывание, однако потенциально сопровождается потерей качества относительно полной версии. Доступ к исходной модели регулируется лицензией CC BY-NC 4.0 и дополнительным лицензионным соглашением Cohere; использование разрешено только в некоммерческих целях. Для доступа также предусмотрена форма с подтверждением согласия с условиями лицензии.

mlx-community/c4ai-command-r7b-12-2024-bf16 — версия модели Cohere Command R7B, конвертированная сообществом mlx-community в формат MLX из CohereForAI/c4ai-command-r7b-12-2024 с помощью mlx-lm 0.20.4. Это плотная авторегрессионная языковая модель семейства Cohere2 примерно на 8 млрд параметров, предназначенная для генерации текста и диалогового общения; доступен интерфейс вызова инструментов. Контекст модели — до 8192 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, греческий, персидский, польский, индонезийский, чешский, иврит, хинди, нидерландский, румынский, русский и другие перечисленные в метаданных языки. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Репозиторий предоставляет конвертированные веса bf16 для MLX; карточка не сообщает результатов оценки качества.

Chinese-Mixtral-Instruct — чат-модель, разработанная авторами проекта Chinese-Mixtral. Она дообучена на инструкционных данных на основе Chinese-Mixtral, которая построена на Mixtral-8x7B-v0.1. Модель предназначена для диалога, ответов на вопросы и генерации текста по инструкциям. Архитектура — Mixtral с разреженной экспертной моделью (MoE); в метаданных указан размер 7,1 млрд параметров и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Заявлены китайский и английский языки. Модель подходит для чат-ботов, вопросов и ответов на китайском или английском и других задач генерации текста по инструкциям. Опубликована под лицензией Apache-2.0.

michaelfeil/ct2fast-LaBSE — версия модели LaBSE, подготовленная для быстрого инференса через CTranslate2. Это BERT-энкодер предложений, разработанный Google: модель строит многоязычные эмбеддинги предложений и подходит для поиска соответствий между текстами на разных языках. Исходная LaBSE обучалась для 109 языков с использованием masked language modeling и translation language modeling. Вариант CTranslate2 предназначен для снижения потребления памяти и ускорения инференса на CPU или GPU; в README заявлено сокращение памяти в 2–4 раза при использовании int8. Размер модели — около 498,1 млн параметров, длина контекста — 512 токенов. Репозиторий указывает лицензию Apache-2.0. Метаданные включают языковые теги для 60 языков, а карточка описывает исходную LaBSE как модель для 109 языков.

Dolphin X1 Trinity Nano — чат-модель общего назначения, разработанная командой Dolphin на базе Arcee AI Trinity Nano Preview. Авторы описывают её как модель, дообученную с помощью новых RL-сред для снижения отказов при сохранении следования инструкциям. Она использует разреженную MoE-архитектуру Afmoe и содержит 880,3 млн параметров; контекстное окно — до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и выполнение инструкций. Карточка заявляет поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для диалогов используется шаблон ChatML; модель доступна в формате safetensors и может запускаться через Transformers, vLLM и llama.cpp. Модель рассчитана на сценарии, где нужны настраиваемые системные инструкции и низкая частота отказов. Заявления авторов о качестве основаны на приведённой ими оценке; результаты не гарантируют такую же производительность на других задачах. Лицензия — Apache-2.0.

Falcon-H1-1.5B-Deep-Base — базовая языковая модель семейства Falcon-H1, разработанная TII (Technology Innovation Institute). Это плотная causal decoder-only модель с гибридной архитектурой Transformer и Mamba, содержащая 1,2 млрд параметров и поддерживающая контекст до 131 072 токенов. Модель предназначена для генерации текста и решения широкого круга языковых задач, включая рассуждения; в README приведены результаты сравнительных тестов на общих задачах. Модель работает с текстом и рассчитана на многоязычное применение. В метаданных перечислены арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский языки. Для запуска README указывает Transformers, vLLM и llama.cpp; для llama.cpp доступны совместимые GGUF-файлы в официальной коллекции. Репозиторий содержит веса Safetensors. Лицензия — Falcon-LLM License (в метаданных обозначена как other); перед использованием следует учитывать её условия.

gaunernst/gemma-3-12b-it-int4-awq — инструкцияно дообученная мультимодальная модель семейства Gemma 3, разработанная Google DeepMind. Данный репозиторий содержит QAT INT4 Flax-чекпойнт, преобразованный в формат HF+AWQ для использования с Transformers; при этом квантование AWQ непосредственно не применялось. Базовая модель — google/gemma-3-12b-it. Модель принимает текст и изображения и генерирует текст. Она предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений, включая описание визуального содержимого. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов. Контекстное окно составляет 128K токенов, максимальный объём генерируемого вывода — 8192 токена. Заявлена поддержка более 140 языков. Ключевые преимущества — мультимодальность, большое контекстное окно и сниженные требования к ресурсам благодаря представлению INT4, что может упростить развёртывание на локальной инфраструктуре или в облаке. Ограничения включают зависимость от совместимой версии Transformers и необходимость учитывать особенности формата конвертированного чекпойнта; README не содержит результатов бенчмарков или подробностей о качестве на отдельных языках и задачах. Использование регулируется лицензией Gemma и условиями Google; доступ к исходной модели на Hugging Face требует принятия соответствующей лицензии.

onnx-community/gemma-3-270m-it-ONNX — ONNX-версия инструкционно дообученной модели Google Gemma 3 270M, разработанной Google DeepMind и предназначенной для запуска через Transformers.js. Модель генерирует текст по запросам, отвечает на вопросы, суммирует документы, выполняет рассуждения и может анализировать изображения с выдачей текстового ответа. Модель относится к компактному семейству Gemma 3 и имеет 270 миллионов параметров. Она поддерживает текстовые и, согласно карточке семейства Gemma 3, визуальные входы, при этом выходом является текст. Для вариантов 270M заявлен контекст до 32K токенов на запрос; модель ориентирована на работу более чем со 140 языками. Небольшой размер подходит для развёртывания на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре с ограниченными ресурсами. Сильными сторонами являются компактность, возможность локального запуска, инструкционное поведение и поддержка широкого набора текстовых задач. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными вариантами Gemma 3; конкретные показатели качества и требования к аппаратному обеспечению в карточке не приведены. Модель распространяется на условиях лицензии Gemma; перед использованием необходимо ознакомиться с соответствующими Terms of Use.

unsloth/gemma-3-270m-it-qat-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 с 270 млн параметров, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и других диалоговых сценариев, а также может анализировать изображения и выдавать текстовый результат. Модель поддерживает текстовые и графические входные данные, более 140 языков и контекст до 32 тысяч токенов для моделей размером 270M. Вариант основан на google/gemma-3-270m-it-qat-q4_0-unquantized и использует квантизацию QAT в формате GGUF, что ориентировано на запуск с пониженными требованиями к ресурсам, в том числе на локальных устройствах. Конкретные сведения об архитектуре и языковых характеристиках отдельных языков в карточке не приведены. К сильным сторонам относятся малый размер, поддержка длинного контекста, мультимодальность и возможность локального развертывания. Ограничением является существенно меньшая ёмкость модели по сравнению с крупными вариантами Gemma 3, поэтому сложные задачи и требовательные сценарии могут выполняться менее качественно. Модель распространяется по лицензии Gemma; её использование регулируется условиями Google.

Gemma-3-4b-it-GGUF — квантизированная GGUF-версия модели Gemma 3 4B Instruct, разработанной Google и подготовленной компанией Second State Inc. Модель предназначена для диалогового взаимодействия и задач обработки текста, а также поддерживает работу с изображениями через мультимодальный компонент. Модель имеет размер 4 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версии f16; наиболее сбалансированными README называет варианты Q4_K_M, Q5_K_M и Q5_K_S. Для обработки изображений требуется отдельный компонент mmproj, изображения должны быть нормализованы до разрешения 896 × 896 и представлены как 256 токенов каждое. Ключевые преимущества модели — компактный размер, возможность локального запуска и широкий выбор вариантов квантизации с разным соотношением качества, скорости и требований к памяти. Ограничением является потеря качества при агрессивной квантизации, особенно в вариантах Q2 и Q3. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Лицензия — Gemma.

GLM-5.3-Flash-REAP-250B-A18B — мультимодальная MoE-модель, разработанная OpenMOSE на базе GLM-5.3-Flash от zai-org. Она предназначена для многоязычного диалога, работы с кодом и задач, связанных с японским языком; заявленная мультимодальность включает обработку текста и изображений. В README указаны языки English, Chinese и Japanese. Модель использует архитектуру Glm5NextForConditionalGeneration с 42 MoE-слоями и 228 маршрутизируемыми экспертами в каждом слое вместо 288 у исходной модели. В ней 250,5 млрд параметров без MTP-слоя и 257,9 млрд с ним, при этом число активных параметров на токен сохранено на уровне 18 млрд: выбираются 8 из оставшихся экспертов и общий эксперт. Модель хранится в блочном формате FP8, занимает около 265 ГБ и совместима с исходным кодом инференса; vision tower, MTP-слой, токенизатор и chat template скопированы без изменений. Контекст в README явно не указан. Эксперты были удалены методом domain-aware REAP без дополнительного обучения. Такой подход сохраняет важные для чата и программирования эксперты лучше, чем калибровка по одному домену, одновременно уменьшая размер модели и требования к GPU при сохранении исходной вычислительной нагрузки на токен. Ограничение метода состоит в том, что удаление экспертов неизбежно сокращает ёмкость модели и может ухудшить способности в доменах, не представленных в калибровочных данных; README не приводит независимых количественных результатов оценки качества. Модель распространяется по лицензии MIT.

granite-4.2-30b-MLX-8bit — это 8-битная квантованная версия языковой модели granite-4.2-30b, разработанной ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждения, диалогового взаимодействия и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель относится к семейству Granite и имеет размер исходной модели 30B параметров; сведения о точной архитектуре, размере контекста и поддерживаемых модальностях, кроме текстовой генерации, не приведены. Ключевые преимущества этой версии — снижение требований к памяти по сравнению с полной точностью и оптимизация для Apple Silicon. Ограничения включают возможную потерю качества из-за 8-битного квантования, зависимость производительности от аппаратного обеспечения Apple Silicon и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.