I.6Перевод и языковая адаптация

QuantFactory/Phi-3-mini-4k-geminified-GGUF — квантизированная версия модели failspy/Phi-3-mini-4k-geminified, созданная с использованием llama.cpp. Исходная модель основана на Microsoft Phi-3-mini-instruct и подвергнута ортогонализации весов в формате bfloat16 safetensors по методологии, связанной с исследованием о механизмах отказа больших языковых моделей. Автором исходной модификации указан failspy; QuantFactory подготовила версию GGUF. Модель предназначена для генерации текста и, согласно метаданным, обработки естественного языка и кода. Заявлена поддержка multilingual-сценариев. В карточке упоминается контекст 4K в названии производной модели, однако в описании исходной модели также указано Phi-3-mini-128k-instruct, поэтому точный размер контекстного окна именно этой сборки неоднозначен. Архитектура и точное количество параметров не указаны; формат GGUF ориентирован на локальный inference через совместимые инструменты. К потенциальным сильным сторонам относятся компактность исходного семейства Phi-3-mini, возможность локального запуска в квантизированном формате и поведение, изменённое в сторону меньшего количества стандартных отказов. Ограничения включают неполную информацию о типе и уровне квантизации, неоднозначность относительно контекстного окна и отсутствие результатов бенчмарков. Модель распространяется по лицензии MIT; в README приведена ссылка на лицензию Microsoft Phi-3-medium-4k-instruct.

Qwen2.5-Gutenberg-Doppel-14B — текстовая диалоговая модель на архитектуре Qwen2, созданная nbeerbower на основе Qwen/Qwen2.5-14B-Instruct. Модель с 14 млрд параметров дообучена методом ORPO в течение трёх эпох на наборах данных jondurbin/gutenberg-dpo-v0.1 и nbeerbower/gutenberg2-dpo. Она предназначена для диалогов и генерации текста, включая ответы на инструкции. Модель работает с текстом, поддерживает несколько языков, включая русский и английский, и имеет контекстное окно 32 768 токенов. Метаданные также указывают интерфейс для вызова инструментов. Весы доступны в формате Safetensors. Модель выпущена под лицензией Apache-2.0. README приводит результаты Open LLM Leaderboard, в том числе IFEval 80,91 и BBH 48,24; эти показатели сами по себе не гарантируют качество в конкретных задачах.

Qwen3.5-4B-MLX-4bit — это 4-битная квантованная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для задач, поддерживаемых исходной моделью Qwen3.5-4B, включая обработку изображений и текста, что отражено в типе image-text-to-text. Ключевые характеристики — размер 4B, 4-битное представление весов и использование экосистемы MLX для локального инференса на Apple Silicon. Точные сведения о поддерживаемых языках, размере контекста, архитектуре и конкретных возможностях исходной модели в README не указаны. К основным преимуществам относятся сниженное потребление памяти и ориентация на эффективный локальный запуск на совместимых устройствах Apple. К ограничениям относятся возможная потеря точности из-за 4-битного квантования, зависимость от Apple Silicon и отсутствие в предоставленных данных подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR подготовила GGUF-квантизацию MXFP4 мультимодальной инструктивной модели Qwen3.5-9B для запуска через llama.cpp. В репозитории есть файл текстовой модели размером 5,31 ГБ и отдельный проектор зрения SigLIP в формате F16 размером 922 МБ; для обработки изображений требуются оба файла. Модель поддерживает диалог и следование инструкциям, а режим рассуждений отключён по умолчанию и включается отдельно. Базовая Qwen3.5-9B использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео, поддерживает 201 язык и имеет контекст 262 тыс. токенов с возможностью расширения до 1 млн. Заявленная лицензия — Apache 2.0. Квантизация уменьшает размер файлов и позволяет запускать модель на разных CPU и GPU, однако README не приводит сравнений качества MXFP4 с исходной точностью; видео и широкий языковой охват указаны для базовой модели.

Qwen3.6-35B-A3B-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и представленной в формате GGUF организацией ggml-org. Модель предназначена для запуска через совместимые инструменты, включая llama.app; в карточке она классифицирована как image-text-to-text, что указывает на поддержку сценариев преобразования изображений и текста в текст, однако подробности о реализованных модальностях не приведены. Известно, что исходная модель связана с Qwen/Qwen3.6-35B-A3B и z-lab/Qwen3.6-35B-A3B-DFlash. Обозначение 35B-A3B указывает на заявленные размеры модели, но архитектура, фактическая схема активации параметров, контекстное окно, языки и варианты квантизации в README не описаны. Сильными сторонами являются формат GGUF и возможность локального запуска через совместимую инфраструктуру; ограничения включают отсутствие подробных характеристик, оценок качества и требований к ресурсам. Модель распространяется по лицензии Apache-2.0 и автоматически преобразована с использованием инструментария ggml-org/convert.

Qwen3.6-35B-A3B-MLX-6bit — это 6-битная квантованная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для работы на устройствах Apple Silicon. В метаданных она обозначена как модель для задач image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекста и полном наборе модальностей в README не приведены. Модель предназначена для локального использования в сценариях, поддерживаемых MLX и LM Studio, включая обработку текстовых и, вероятно, визуально-текстовых запросов. Квантование снижает требования к памяти по сравнению с полной версией и делает модель более подходящей для Apple Silicon, но может уменьшать точность по сравнению с оригинальной моделью. README не содержит результатов тестирования, сведений о производительности и конкретных ограничениях качества. Указана лицензия Apache 2.0; исходная модель принадлежит Qwen, а данная MLX-квантизация предоставлена LM Studio.

Это пакет слоёв GGUF для запуска Qwen3-8B-Q4_K_M в распределённой системе Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/Qwen3-8B-GGUF и разбивает модель на артефакты по слоям, чтобы распределять вычисления между несколькими локальными машинами. Используется для локального приватного инференса и чат-запросов через совместимый с OpenAI интерфейс Mesh LLM. Вариант модели — Q4_K_M; исходные веса распространяются в формате GGUF. В метаданных Hugging Face указаны библиотека mesh-llm и возможность чата. Условия лицензии и подробные параметры архитектуры предлагается уточнять по карточке исходной модели unsloth/Qwen3-8B-GGUF; в доступных данных они не приведены.

MaziyarPanahi/QwQ-32B-GGUF — это набор квантизированных файлов модели QwQ-32B в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Точный объём файлов, архитектура, длина контекста, поддерживаемые языки и модальности в README не указаны; по доступным данным модель относится к семейству QwQ-32B и работает с текстом. Сильная сторона этой версии — возможность запускать модель локально на оборудовании с различными ресурсными ограничениями благодаря нескольким уровням квантизации и широкой поддержке GGUF-инструментов. Ограничения включают потенциальную потерю качества на более агрессивных вариантах квантизации, а также необходимость самостоятельно подобрать совместимый клиент и параметры запуска. Лицензия в README не указана.

Selene-1-Mini-Llama-3.1-8B-Q4_K_M-GGUF — это квантизированная версия языковой модели AtlaAI/Selene-1-Mini-Llama-3.1-8B, разработанной AtlaAI и преобразованной в формат GGUF с использованием llama.cpp и GGUF-my-repo. Модель предназначена для генерации текста, диалоговых сценариев и задач оценки ответов языковых моделей в формате LLM-as-a-judge. Модель основана на архитектуре Llama 3.1 и содержит 8 миллиардов параметров. Она работает с текстом и заявлена для английского, немецкого, французского, итальянского, португальского и испанского языков. Квантизация Q4_K_M снижает требования к памяти и делает модель подходящей для локального запуска через llama.cpp на совместимом CPU или GPU. В README приведены примеры запуска с контекстом 2048 токенов, однако максимальный размер контекста явно не указан. К сильным сторонам относятся компактность, возможность локального развертывания и совместимость с экосистемой llama.cpp. Ограничения включают потерю части точности по сравнению с полноразмерной моделью из-за квантизации, а также отсутствие в представленном README подробных результатов бенчмарков, данных об обучении и гарантированных характеристик качества. Лицензия указана как llama3.1; условия исходной модели следует учитывать при использовании этого производного файла.

cstr/sensevoice-small-GGUF — GGUF-квантизированная версия SenseVoiceSmall, разработанной Alibaba и опубликованной под брендом FunAudioLLM. Модель предназначена для автоматического распознавания речи и запуска через backend sensevoice в CrispASR. Помимо транскрипции, она определяет язык речи, эмоцию, аудиособытия и режим текстовой нормализации. Это многозадачная encoder-only ASR-модель с 70-блочным SANM-энкодером, четырьмя головами и CTC-выходом на 25 055 SentencePiece-токенов. Архитектура использует четыре query embedding для языка, аудиособытий, эмоций и нормализации текста. Поддерживается более 50 языков с нативной идентификацией; в карточке явно указаны китайский, кантонский, английский, японский и корейский. Модель неавторегрессионная и, по данным README, значительно быстрее Whisper-Large: около 70 мс на 10 секунд аудио в измерениях upstream. Доступны варианты F16 размером 448 МБ, Q8_0 размером 240 МБ и Q4_K размером 129 МБ; Q4_K рекомендован как вариант по умолчанию. Квантизация сохраняет идентичные транскрипции на проверенных английских и японских примерах, однако возможны изменения на пограничных случаях классификации эмоций. Модель ориентирована на локальный инференс и эффективное распознавание речи, но README не приводит подробных оценок качества по языкам и сценариям. Файлы наследуют FunASR Model License v1.1 для весов; коммерческое использование разрешено с указанием авторства. Код upstream-пакета funasr распространяется по Apache-2.0. При использовании требуется атрибуция Alibaba/FunAudioLLM; репозиторий содержит только конвертацию и квантизацию исходных весов без дообучения или изменения архитектуры.

TigerBot 13B Chat v6 — диалоговая языковая модель семейства Llama от TigerResearch, предназначенная для генерации текста в формате чата. Модель содержит 13 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на контекст до 8192 токенов. Модель подходит для ведения диалога и генерации ответов на китайском и английском языках. Веса представлены в формате safetensors; для использования в README приведены варианты запуска через Transformers и код TigerBot. Модель распространяется по лицензии Apache-2.0. README не сообщает конкретных ограничений качества или результатов оценки.

KBLab разработала wav2vec2-large-voxrex-swedish — модель распознавания шведской речи на базе архитектуры Wav2Vec 2.0 Large с выходом CTC. Её дообучили на шведских радиопередачах, данных NST Swedish ASR Database и Common Voice; позднее добавили ещё 20 тысяч шагов обучения на Common Voice. Модель содержит около 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования шведской речи в текст, в том числе записей радио и голосовых данных общего характера. В README указана частота ошибок слов (WER) 2,5% на тестовой выборке NST и Common Voice; на тестовой выборке Common Voice — 8,49% без языковой модели и 7,37% с 4-граммной языковой моделью. Дополнительное обучение на Common Voice повысило результат на этой выборке, но несколько ухудшило результат на тесте NST и Common Voice. Модель распространяется по лицензии CC0 1.0.

anton-l/wav2vec2-large-xlsr-53-mongolian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио, записанное с частотой дискретизации 16 кГц, и преобразует речь в текст; для распознавания можно использовать её напрямую, без языковой модели. Модель обучалась на обучающей и валидационной частях Common Voice. В README приведён результат 38,53% на тестовых данных Common Voice для монгольского языка; метрика не уточнена. Модель распространяется по лицензии Apache-2.0. Хотя в репозитории представлены варианты PyTorch и Flax, заявленная задача — распознавание монгольской речи.

Baybars/wav2vec2-xls-r-1b-turkish — модель автоматического распознавания речи на турецком языке, дообученная на датасете COMMON_VOICE - TR. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указана задача automatic-speech-recognition. На оценочной выборке указаны WER 0,4647 и CER 0,1318. Эти результаты описывают только приведённую оценку и не гарантируют качество на других данных. В README подробности о сценариях применения, обучающей выборке и ограничениях не приведены. Лицензия в доступных данных не указана.

whisper-large-v3-bn-cv17 — модель распознавания речи, дообученная разработчиком на базе openai/whisper-large-v3 на наборе Common Voice 17.0 и данных IIT Madras SPRING-INX. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 905,2 млн параметров. На оценочном наборе указаны loss 0,0669 и WER 30,8364. Лицензия модели в предоставленных данных не указана.

Wav2Vec2-XLSR-300m-es — модель распознавания испанской речи, созданная polodealvarado путём дообучения facebook/wav2vec2-xls-r-300m на испанской части Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудиозаписей на испанском языке в текст. На оценочной выборке автор сообщает WER 0,146 без языковой модели и WER 0,109 с пятиграммовой языковой моделью; CER с ней составляет 0,036. Репозиторий включает PyTorch-веса и процессор с конфигурацией для пятиграммной языковой модели. Модель распространяется по лицензии Apache 2.0. Результаты приведены для Common Voice 8.0; точность на других типах записей и в иных акустических условиях может отличаться.

Модель разработана пользователем anton-l и дообучена на базе facebook/wav2vec2-xls-r-300m на датасете GOOGLE/XTREME_S — FLEURS.ALL. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, содержащая около 402,8 млн параметров. Модель преобразует аудио в текст и предназначена для автоматического распознавания речи на языках Западной Европы, представленных в FLEURS. В README приведены результаты оценки на 20 043 примерах: общий CER составляет 0,2484, а показатели заметно различаются по языкам; например, CER для немецкого — 0,1287, для греческого — 0,6020. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Результаты оценки указывают на неодинаковое качество между языками, поэтому перед применением следует проверить точность для нужного языка и условий записи.

bartowski/zai-org_GLM-4.5-GGUF — это набор GGUF-квантизаций модели GLM-4.5, разработанной zai-org. Квантизация выполнена bartowski с использованием llama.cpp b6115 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Доступны варианты с разными уровнями сжатия: от Q8_0 размером около 381 ГБ до IQ1_S размером около 80 ГБ. В README наиболее рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты Q3, Q2 и IQ2 обеспечивают экономию памяти ценой снижения качества, а IQ1 характеризуются крайне низким качеством. Все файлы разделены на части. Сильная сторона набора — широкий выбор квантизаций для подбора баланса между качеством и требованиями к памяти, включая варианты, ориентированные на CPU и Apple Silicon. Ограничения — очень большой размер даже у наиболее сжатых файлов, отсутствие в README сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста и формате промпта. Лицензия в предоставленных данных не указана.

BitCPM-CANN-1B — языковая модель OpenBMB для генерации текста и диалогов. Это плотная авторегрессионная модель семейства LLaMA с 1,5 млрд параметров и контекстом до 32 768 токенов. В карточке указана поддержка китайского и английского языков; модель можно использовать через Transformers. Модель обучена с учетом тернарной квантизации: значения весов ограничены {-1, 0, 1}, что предназначено для сокращения памяти при инференсе. В этом репозитории веса хранятся в стандартном формате с псевдоквантизацией, поэтому для запуска не нужны специальные квантизационные библиотеки или ядра. Авторы сообщают о сохранении 95,7–97,2% качества полноточных аналогов для моделей размером от 1B, но эти результаты относятся к оценкам семейства и не гарантируют качество для каждого сценария. Лицензия — Apache-2.0.

NbAiLab/borealis-open-27b — открытая инструкция-настроенная модель семейства Borealis, разработанная Национальной библиотекой Норвегии (Nasjonalbiblioteket). Это дообучение мультимодальной Gemma 3 27B для работы в роли помощника с акцентом на норвежский язык; репозиторий содержит веса Safetensors для Transformers. Модель предназначена для написания и редактирования текстов на норвежском, суммаризации, ответов на вопросы, лёгких рассуждений и диалога. Поддерживает норвежский букмол и нюнорск, а также английский; архитектура Gemma 3 позволяет работать с изображениями и текстом. В открытой версии не используются материалы, предоставленные по соглашению с правообладателями; настройка выполнена на открытом наборе NbAiLab/aurora-sft-open. Модель может галлюцинировать и выдавать неверные, предвзятые или неподходящие ответы; выравнивание безопасности не исключает вредные результаты. Качество за пределами норвежского и английского языков изучено недостаточно, а модель не предназначена для сложных рассуждений или критически важных решений. Лицензия — Gemma; перед использованием следует учитывать её условия.

Это GGUF-квантизация модели GLM-4.5-Air-REAP-82B-A12B, разработанной Cerebras и подготовленной пользователем bartowski. Модель предназначена для задач генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K/IQ3 с размером файлов примерно от 39 до 90 ГБ. Обозначение модели указывает на конфигурацию 82B-A12B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в предоставленной карточке не указаны. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении размера модели. Сильная сторона этой версии — широкий выбор уровней квантования для баланса между качеством, требованиями к памяти и скоростью инференса; наиболее рекомендуемыми указаны варианты Q6_K, Q5_K, Q4_K и IQ4_XS. Ограничения включают очень высокие требования к оперативной или видеопамяти даже для компактных вариантов, а также отсутствие указанного chat template: в README отмечено, что используемый шаблон может быть неточным и требует проверки по оригинальной карточке модели. Лицензия в предоставленных данных не указана.

MaziyarPanahi/DeepSeek-V2.5-GGUF — это набор файлов модели в формате GGUF для базовой модели DeepSeek-V2.5, разработанной deepseek-ai. Квантованные файлы подготовлены пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста. Модель ориентирована на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и другие приложения, поддерживающие GGUF. Формат подходит для локального инференса с возможностью задействовать CPU и GPU в зависимости от выбранного клиента и конфигурации. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файлов, требованиями к памяти и качеством генерации. В README не указаны точная архитектура и размер модели, поддерживаемые языки, длина контекста, конкретные системные требования или лицензия, поэтому эти характеристики нельзя достоверно описать.

ZZichen/DeepSeek-V2-Lite — текстовая языковая модель семейства DeepSeek-V2, представленная в карточке как базовая модель для генерации и диалогов. Архитектура использует Multi-head Latent Attention (MLA) для сжатия KV-кэша и разреженные MoE-слои DeepSeekMoE. В README указаны 15,7 млрд параметров, из которых для каждого токена активируется 2,4 млрд; модель имеет 27 слоёв. Метаданные каталога при этом оценивают общий размер в 2,5 млрд параметров. Модель предназначена для продолжения текста и диалогового взаимодействия на английском и китайском языках, включая ответы на вопросы и генерацию текста. README сообщает результаты на англоязычных и китайских бенчмарках и описывает контекст 32 тыс. токенов; метаданные указывают нативный контекст 163 840 токенов. Для инференса в BF16 авторы указывают требование одной GPU с 40 ГБ памяти. В репозитории представлены веса safetensors; README также описывает запуск через Transformers и рекомендует vLLM для более эффективного инференса. Лицензионные условия в предоставленных данных не указаны.

DeltaP2S-Qwen2.5-14B-SameFormula-Code-S13-QV — объединённый чекпойнт Qwen2.5, созданный экспериментальным пакетом Delta-P2S с учётом архитектуры Qwen. Базовая модель — Qwen/Qwen2.5-14B; архитектура — плотная авторегрессионная Qwen2ForCausalLM на 14 млрд параметров. Модель работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоговом режиме. В названии и каталоге обучения есть указание на код, но README не описывает конкретные возможности программирования или результаты обучения, поэтому специализацию на коде нельзя подтвердить. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Experiment26Yam_YamExperiment24 — объединённая модель семейства Mistral, созданная слиянием automerger/Experiment26Yam-7B и automerger/YamExperiment24-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель содержит 7,1 млрд параметров и представлена в формате safetensors. Лицензия — Apache-2.0.

DevQuasar опубликовал GGUF-версию модели FINAL-Bench/Darwin-36B-Opus для генерации текста и диалогов. Карточка указывает, что это версия базовой модели, а метаданные описывают её как мультиязычную MoE-модель для диалогов и сложных задач рассуждения с длинным контекстом. Репозиторий содержит веса в формате GGUF F16. Модель предназначена для текстового общения и генерации ответов. README не приводит дополнительных сведений о поддерживаемых языках, точном размере контекста, лицензии и ограничениях использования.

gemma-4-31B-it-GGUF — это набор статически квантизированных моделей в формате GGUF на базе google/gemma-4-31B-it. Репозиторий подготовлен пользователем giladgd для запуска через node-llama-cpp и llama.cpp. Модель относится к классу instruction-tuned и предназначена для диалогового взаимодействия и задач image-text-to-text, однако подробные сведения о поддерживаемых языках и возможностях обработки изображений в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_S, Q4_K_M, Q5_0, Q5_K_S, Q5_K_M, Q6_K, Q8_0 и BF16. Размер файлов составляет от 11,9 до 61,4 ГБ; более лёгкие варианты требуют меньше памяти, но могут сильнее уступать по качеству исходной модели, тогда как BF16 обеспечивает наиболее близкое к исходному представление при значительно больших требованиях к ресурсам. Архитектура, максимальный контекст и точное число параметров в README явно не описаны, кроме обозначения 31B в идентификаторе базовой модели. Модель можно использовать локально через node-llama-cpp или llama.cpp, включая CLI и серверный режим. Основные ограничения связаны с большими требованиями к дисковому пространству и оперативной или видеопамяти, особенно для высокоточных вариантов, а также с возможными потерями качества при агрессивной квантизации. Указана лицензия Apache 2.0; для Gemma также приведена отдельная ссылка на условия лицензии Google.

mlboydaisuke/gemma-4-E4B-CoreAI — это текстовая генеративная модель Gemma 4 E4B, разработанная Google и преобразованная в формат Apple Core AI компанией или автором репозитория модели. Она предназначена для локального запуска на устройствах Apple под управлением iOS 27 и macOS 27, включая офлайн-диалоги, суммаризацию, генерацию текста и интеграцию в приложения через CoreAIKit. Модель может работать на GPU или Neural Engine без пользовательских ядер. Модель основана на официальном QAT-чекпойнте google/gemma-4-E4B-it-qat-q4_0-unquantized. Это плотный текстовый decoder-only трансформер без MoE: заявлены 42 слоя, скрытое представление размером 2560, промежуточный размер 10240, 8 query heads и 2 KV heads; полное внимание используется в каждом шестом слое. Веса подготовлены для округления q4_0 и представлены в виде int4-квантизации с блоками по 32 значения. Размер поставляемых файлов составляет примерно 7,1 ГБ, а пиковое потребление памяти на iPhone 17 Pro заявлено на уровне 2,2 ГБ. Сильные стороны модели — запуск полностью на устройстве, отсутствие необходимости в облачном API, совместимость с экосистемой Apple и подтверждённое совпадение жадной генерации с эталоном на указанных тестах. Ограничения включают зависимость от iOS 27 или macOS 27, аппаратной платформы Apple и конкретного runtime Core AI; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. Модель распространяется по лицензии Apache-2.0, при этом базовый Gemma-чекпойнт имеет собственные условия Google, на которые указывает ссылка в метаданных.

Это пакет слоёв GGUF для модели GLM-5.3-Flash, подготовленный Mesh LLM из unsloth/GLM-5.3-Flash-GGUF. Вариант UD-Q4_K_XL разделяет исходное распределение модели на артефакты по слоям для распределённого инференса в локальном кластере Mesh LLM. Пакет предназначен для локального и приватного запуска чат-модели, распределения вычислений и памяти между несколькими машинами, а также для чат-запросов через локальный API, совместимый с OpenAI. Модель принимает текстовые запросы и выдаёт текстовые ответы; задача в каталоге — генерация текста. Репозиторий распространяется по лицензии MIT.

GLM-5.3-Flash-W4A16 — это INT4-квантизированная версия модели zai-org/GLM-5.3-Flash, подготовленная для самостоятельного запуска и обслуживания через SGLang. Квантование выполнено по схеме weight-only W4A16 с группами по 128 весов и симметричным представлением. Модель предназначена для генерации текста, мультимодальных сценариев с изображениями и вызова инструментов; заявлены языки English и Chinese. Архитектура использует Mixture-of-Experts, а размер чекпойнта на диске составляет около 190,8 ГБ, что требует значительных аппаратных ресурсов. Основной сценарий применения — высокопроизводительный self-hosted inference на RTX PRO 6000 Blackwell (SM120) с использованием SGLang. В чекпойнте сохранены vision и tool calling, а также встроенная MTP/NEXTN-голова для speculative decoding, способная существенно повысить скорость генерации при корректной настройке. Данные о размере контекстного окна в README не указаны. Для корректной работы обязательны специальные параметры SGLang: отключение shared experts fusion, использование BF16 для KV-кэша и chunked prefill size 4096. Требуется сборка SGLang из post-merge nightly с дополнительными патчами для SM120; готового релизного образа с необходимой поддержкой на момент публикации нет. Без обязательного флага отключения fusion модель генерирует бессмысленный текст и не останавливается. Лицензия — MIT.