I.3Извлечение и структурирование данных

MaziyarPanahi/zephyr-7b-alpha-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/zephyr-7b-alpha-dare-0.85. В README указан метод слияния slerp с выбором параметров по слоям для блоков self-attention и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации ответов на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специальных предметных областях.

Agnes-SeaLLM-8B — дообученная авторами Agnes-AI плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров. Она предназначена для диалогов и следования инструкциям, а также для математических рассуждений и перевода с особым вниманием к языкам и культурному контексту Юго-Восточной Азии. Модель принимает текст и генерирует текст; заявлена поддержка английского, вьетнамского, индонезийского, тайского и китайского языков. Контекст — до 40 960 токенов. В README заявлены высокая эффективность при ограниченных ресурсах, сильные результаты на экзаменационных тестах и меры по снижению галлюцинаций, однако приведённые таблицы результатов опущены. Для запуска README рекомендует как минимум две GPU с 24 ГБ VRAM каждая и 64 ГБ оперативной памяти. Распространяется по лицензии Apache-2.0.

LazarusNLP/all-indobert-base-v2 — модель эмбеддингов предложений на базе BERT, опубликованная LazarusNLP. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска, сравнения смысловой близости и кластеризации текстов. Модель распространяется в формате safetensors и рассчитана на контекст до 512 токенов. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства ориентировано на получение векторов, полезных для поиска и сопоставления текстов. Данные карточки указывают на индонезийский язык и наборы данных для индонезийских задач понимания и поиска информации. Лицензия в предоставленных источниках не указана.

HELLOMRKINOBI/all-mpnet-base-v2 — версия модели all-mpnet-base-v2 с весами ONNX, подготовленная для работы с Transformers.js. Модель на архитектуре MPNet содержит около 136,7 млн параметров и принимает последовательности длиной до 514 токенов. Её основное назначение — вычисление сходства между предложениями, например для поиска похожих фраз или сопоставления запросов с текстами. Метаданные также указывают поддержку задачи заполнения масок. Модель работает с текстом и выдаёт оценки сходства либо предсказания замаскированных токенов. Карточка не приводит отдельные сведения о языковой специализации или лицензии, поэтому их нельзя уточнить по имеющимся данным. Формат ONNX и библиотека Transformers.js позволяют использовать модель в JavaScript-средах.

Qdrant/bge-base-en-v1.5-onnx-Q — это квантованная версия в формате ONNX модели BAAI/bge-base-en-v1.5, опубликованная Qdrant. Модель предназначена для вычисления текстовых представлений, задач классификации текста и поиска по сходству. Модель работает с текстовыми данными на английском языке, поскольку базовая модель имеет суффикс en. Она преобразует документы и запросы в числовые векторы, которые можно сравнивать для семантического поиска, кластеризации или последующей классификации. В README указана интеграция с библиотекой FastEmbed. Ключевое преимущество модели — использование квантованного ONNX-представления, что может быть удобно для эффективного выполнения инференса в совместимых средах. При этом в README не приведены точные сведения об архитектуре, размере модели, размерности векторов, поддерживаемой длине контекста и характеристиках производительности. Ограничением также является ориентация на английский язык. Модель распространяется по лицензии Apache-2.0.

lm-kit/bge-m3-gguf — репозиторий с квантизированными версиями embedding-модели BGE-M3, базовая модель которой опубликована BAAI. Модель предназначена для получения векторных представлений текста и связанных задач поиска и семантического сопоставления. Формат распространения — GGUF, что позволяет использовать модель в совместимых инструментах и приложениях. Квантизация выполнена с помощью LM-Kit.NET версии 2024.9.0, а конвертация — посредством llama.cpp с указанной ревизией. README не содержит сведений о размере модели, архитектуре, поддерживаемых языках, длине контекста, модальностях и конкретных вариантах квантования, поэтому эти характеристики нельзя достоверно уточнить. Лицензия — MIT.

hyunseop/bge-m3-ko — корейская модель текстовых эмбеддингов, разработанная дообучением dragonkue/BGE-m3-ko. Она основана на XLM-RoBERTa и содержит 658,7 млн параметров; модель предназначена для извлечения векторных представлений, семантического поиска и сравнения предложений. Контекст составляет до 8194 токенов. Модель дообучена с контрастивной функцией потерь на парах запрос–документ, составленных на основе синтетических корейских персон из NVIDIA Nemotron Personas Korea. В описанных тестах она показала хорошие результаты на локальном корпусе AutoRAG, но уступила некоторым другим моделям в публичном корейском поисковом бенчмарке MIRACL. Репозиторий содержит веса Safetensors; условия лицензии в предоставленных данных не описаны.

BreezePipe-7B-merge — объединённая языковая модель, собранная автором Heng666 из MediaTek-Research/Breeze-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b с помощью LazyMergekit. В конфигурации используется метод passthrough: слои 0–31 взяты из Breeze, а слои 24–31 — из blossom-v4-mistral-7b. Модель основана на архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для генерации текста; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Chuluun-Qwen2.5-72B-v0.01-GGUF — набор GGUF-квантизаций модели Chuluun-Qwen2.5-72B-v0.01, подготовленный bartowski на базе оригинальной модели DatToad. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. В README указан английский язык и формат диалога с ролями system, user и assistant. Модель основана на архитектуре Qwen2.5 с заявленным размером 72B параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-серии, объёмом примерно от 27,94 до 77,26 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Квантизация выполнена с использованием imatrix и llama.cpp версии b4418. Основные преимущества — широкий выбор компромиссов между качеством, требованиями к памяти и скоростью инференса, а также поддержка локального запуска. Низкобитные варианты требуют меньше оперативной памяти, но могут заметно уступать более крупным версиям по качеству; варианты Q2 и Q3 характеризуются как низкокачественные или пригодные при ограниченных ресурсах. Сведения о контекстном окне, точных возможностях исходной модели, мультимодальности и лицензии в представленном README отсутствуют.

Cohere Transcribe — открытая специализированная модель распознавания речи от Cohere и Cohere Labs. Это модель с аудио на входе и текстом на выходе, с 2 млрд параметров, обученная с нуля. Она предназначена для офлайн- и серверной транскрибации и поддерживается Transformers и vLLM. Модель работает с 14 языками: арабским, немецким, греческим, английским, испанским, французским, итальянским, японским, корейским, нидерландским, польским, португальским, вьетнамским и китайским. Разработчики заявляют о высокой точности транскрибации на этих языках и скорости до трёх раз выше, чем у специализированных ASR-моделей сопоставимого размера. Модель лучше работает, когда язык заранее задан и остаётся неизменным; автоматического определения языка нет, а переключение языков обрабатывается нестабильно. Модель не выдаёт временные метки и не выполняет диаризацию говорящих. Тишина и фоновый шум могут приводить к ложной транскрибации, поэтому для таких записей полезны VAD или шумовой фильтр. Лицензия — Apache-2.0.

ColBERT-XM — модель для многоязычного семантического поиска, разработанная на основе X-MOD. Она кодирует запросы и документы в последовательности токенных векторов, а затем оценивает соответствие с помощью позднего взаимодействия MaxSim; такой подход подходит для эффективного поиска по большим коллекциям текстов. Модель дообучена на английских запросах и отрывках MS MARCO с трудными отрицательными примерами. Благодаря основе X-MOD она поддерживает перенос поиска на другие языки без отдельного дообучения на каждом из них. В обучении использовались векторы размерности 128 и максимальные длины последовательностей 32 токена для запросов и 256 для документов; базовый контекст модели составляет 514 токенов. Размер — 305,2 млн параметров. Модель предназначена для многоязычного поиска документов и ранжирования отрывков по запросу, включая сценарии семантического поиска и извлечения passages. Карточка описывает оценку на наборах mMARCO и Mr. TyDi. Для использования доступны библиотеки Sentence Transformers и ColBERT. Лицензия — MIT.

Citaman/command-r-28-layer — текстовая модель на архитектуре Cohere, созданная методом слияния SLERP из весов Citaman/command-r-29-layer. Конфигурация объединяет сдвинутые диапазоны слоёв 0–28 и 1–29; сохранённые веса имеют формат safetensors и точность bfloat16. Модель содержит 25,1 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Подходит для чат-сценариев и генерации ответов на текстовые запросы. Языки в доступных сведениях не определены. Модель выпущена 16 апреля 2024 года. Условия лицензирования в предоставленной карточке не указаны. Поскольку это слияние весов с нестандартной перестановкой диапазонов слоёв, поведение и совместимость могут отличаться от исходной модели; оценок качества в карточке нет.

Это англоязычный CSR Sparse Encoder, созданный дообучением модели mixedbread-ai/mxbai-embed-large-v1 на наборе Natural Questions с использованием библиотеки Sentence Transformers. Модель преобразует запросы, предложения и абзацы в разреженные векторы размерности 4096; близость оценивается скалярным произведением. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска и разреженного извлечения документов, в том числе поиска ответов по коллекции текстов. В карточке приведены оценки на задачах NanoBEIR и отдельных наборах BEIR. Она поддерживает английский язык и распространяется по лицензии Apache-2.0. Результаты поиска могут зависеть от предметной области и корпуса; карточка не заявляет поддержку других языков.

Cygnis Alpha 2 (8B) v0.3 i1 GGUF — квантизированная GGUF-версия модели Cygnis-Alpha 2 8B v0.3, разработанная автором или организацией Simonc-44. Модель относится к семейству Llama 3.1 и оптимизирована для генерации текста, рассуждений и задач, где требуется сохранение сложных паттернов цепочки рассуждений (CoT). Модель предназначена для локального вывода через llama.cpp, Ollama и совместимые инструменты. Она ориентирована на английский и французский языки. Вариант i1 использует оптимизацию Imatrix, призванную повысить качество низкобитной квантизации; доступны, в частности, варианты Q6_K размером около 6,7 ГБ и рекомендуемый Q4_K_M размером около 5,0 ГБ. Архитектура, заявленный размер около 8B параметров и текстовая модальность указаны в README, но размер контекстного окна не приведён. Сильными сторонами являются локальный запуск, поддержка французского и английского языков, а также направленность на рассуждения при сниженной потребности в памяти благодаря квантизации. Ограничения включают возможную потерю качества по сравнению с полной точностью и отсутствие в предоставленных данных количественных результатов тестирования, подробных сведений об архитектуре и контекстном окне. Модель распространяется по лицензии Apache-2.0.

MLX-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai с помощью mlx-lm 0.24.1. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих формат диалоговых сообщений и chat template. Модель основана на DeepSeek-R1-0528-Qwen3-8B и представлена в 4-битном формате квантования, что может снизить требования к памяти по сравнению с полноточной версией, однако README не содержит подробностей об архитектуре, количестве параметров, поддерживаемых языках, контексте, модальностях, производительности или ограничениях качества. Указана лицензия MIT, поэтому условия использования определяются её положениями.

DeepSeek-R1-Distill-Llama-8B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Llama-8B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана DeepSeek, а данный репозиторий предоставляет варианты весов для локального запуска и инференса, в том числе через LM Studio. Модель предназначена для генерации текста и поддерживает сценарии локального использования, включая диалоговое взаимодействие и задачи рассуждения, предусмотренные базовой моделью. Доступны варианты от F32 и F16 до низкоразрядных Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер модели составляет 8 миллиардов параметров; формат GGUF ориентирован на работу с llama.cpp. В README также указан шаблон промпта, содержащий системное сообщение, запрос пользователя и ответ ассистента. Сильной стороной набора является широкий выбор квантизаций: варианты Q6 и Q5 обеспечивают высокое качество при заметно меньшем размере, а Q4 и Q3 подходят для устройств с ограниченными ресурсами. Более компактные варианты экономят память, но могут снижать качество генерации. Данные о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны.

mlx-community/DeepSeek-R1-Distill-Qwen-7B-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai с использованием mlx-lm версии 0.21.1. Модель предназначена для локального запуска и генерации текста в экосистеме MLX, прежде всего на устройствах Apple, совместимых с этим фреймворком. Модель относится к семейству Qwen и имеет размер 7B параметров; доступна в 4-битном представлении, что снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. README показывает поддержку диалогового использования через chat template и библиотеки mlx-lm. Сведения о модальностях, языках, размере контекста, специализированных сценариях, ограничениях качества и лицензии в предоставленных данных отсутствуют.

DeepSeek-V4.1-Flash-Abliterated — созданная сообществом версия DeepSeek-V4.1-Flash, опубликованная s-zaizen с применением abliteration через инструмент Heretic; это не официальный выпуск DeepSeek. Модель сохраняет исходную архитектуру DeepSeek V4.1, токенизатор и компоненты для обработки изображений, а также использует формат весов FP8. В репозитории размещено 48 шардов safetensors общим размером около 510 ГБ. Модель предназначена для генерации текста в диалоге и обработки входов с изображениями. По заявлению автора, преобразование изменяет направления отказа в выходах модели: в описанной проверке Heretic ключевые слова отказа обнаружились в 24 из 100 ответов против 97 из 100 у исходной модели. Это измерение не является общим тестом качества или безопасности. Лицензия — MIT.

DeepSeek-V4-Flash-0731-GGUF — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной deepseek-ai и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp и Text Generation Web UI. Модель содержит 284 млрд параметров, поддерживает текстовый ввод и поставляется только в формате MXFP4. Доступен вариант размером около 156,38 ГБ, сохраняющий исходное качество квантизации. В модели предусмотрены веса MTP (Multi-Token Prediction) в виде отдельной DSpark draft-модели, которую можно использовать для speculative decoding и ускорения генерации. Языки, максимальная длина контекста и дополнительные модальности в README не указаны. К сильным сторонам относятся большой размер модели, сохранение исходного качества MXFP4 и возможность ускорения вывода с помощью DSpark. Ограничения включают очень высокие требования к дисковому пространству и аппаратным ресурсам, отсутствие imatrix-калибровки на момент публикации и неопределённость стандартного chat template, который может быть задан некорректно. Модель распространяется по лицензии MIT.

dolphin-2.8-mistral-7b-v02-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.8-mistral-7b-v02, основанной на alpindale/Mistral-7B-v0.2-hf. Исходная модель опубликована организацией cognitivecomputations, а квантизации в формате GGUF выполнены bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска совместимых LLM-приложений. Модель относится к семейству Mistral и имеет размер 7 миллиардов параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q5_0, Q4_K_M, Q4_K_S, IQ4_NL, IQ4_XS, Q4_0, Q3_K_L, Q3_K_M, IQ3_M, IQ3_S, Q3_K_S и Q2_K; их размер варьируется примерно от 2,71 до 7,69 ГБ, а качество снижается при более агрессивном сжатии. В README не указаны поддерживаемые языки, размер контекста, результаты тестирования или специальные модальности, поэтому модель следует рассматривать как текстовую. Сильная сторона модели — возможность подобрать баланс между качеством, потреблением памяти и скоростью локального запуска; для большинства сценариев рекомендуется вариант Q6_K, тогда как Q3 и Q2 ориентированы на системы с ограниченной оперативной памятью и заметно уступают по качеству. Ограничения включают потерю качества из-за квантизации и отсутствие данных о бенчмарках, языковой специализации и безопасностных характеристиках. Лицензия в README не указана.

Dumpling-Qwen2.5-32B — диалоговая языковая модель на архитектуре Qwen2, разработанная nbeerbower как дообучение nbeerbower/Rombos-EVAGutenberg-TIES-Qwen2.5-32B. Модель содержит 32 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в диалоге и может использоваться для рассуждений, работы с текстами и сценариев с интерфейсом вызова инструментов. Она дообучена методом ORPO в течение двух эпох на наборах данных для предпочтений, правдивости, физического рассуждения и художественных текстов. Поддержка интерфейса инструментов указана в метаданных; это само по себе не гарантирует совместимость с конкретной системой инструментов. Модель выпущена под лицензией Apache-2.0. Карточка не приводит результатов оценки качества, поэтому пригодность для конкретных задач следует проверять отдельно.

nbeerbower представил слитую модель EVA-Rombos1-Qwen2.5-32B-lorablated на архитектуре Qwen2.5, предназначенную для генерации текста и диалогов. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. Модель создана методом task arithmetic с помощью mergekit из nbeerbower/EVA-Rombos1-Qwen2.5-32B и nbeerbower/Qwen2.5-32B-abliterated-LORA. Она рассчитана на текстовые запросы и выдаёт текст; метаданные также отмечают интерфейс для вызова инструментов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Язык карточкой не уточнён.

ExpertRamonda-7Bx2_MoE — диалоговая языковая модель на архитектуре Mixtral MoE, созданная mayacinka с помощью LazyMergekit путём объединения mlabonne/AlphaMonarch-7B и bardsai/jaskier-7b-dpo-v5.6. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоге; заявленная длина контекста — 32 768 токенов. Модель подходит для общения, выполнения инструкций, ответов на вопросы и рассуждений в текстовом формате. В README приведены результаты Open LLM Leaderboard и MMLU, но они не гарантируют качество на конкретных пользовательских задачах. Файлы представлены в формате safetensors. Лицензия — Apache-2.0.

Карточка модели Purfview/faster-distil-whisper-large-v3.5 на Hugging Face совпадает с карточкой distil-whisper/distil-large-v3.5-ct2, поэтому описание составлено по ней. Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт текстовую расшифровку. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Карточка указывает поддержку распознавания на множестве языков, в том числе русском и английском. Репозиторий распространяется по лицензии MIT.

gemma-2-27b-it-IMat-GGUF — это GGUF-квантизированная версия модели Gemma 2 27B Instruction Tuned, разработанной Google. Версия подготовлена пользователем legraphista с помощью llama.cpp и предназначена для локального запуска задач генерации текста и диалогового взаимодействия в совместимых средах, включая llama.cpp. Модель основана на исходной версии google/gemma-2-27b-it с исходным форматом BF16. Доступны варианты от BF16 и FP16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-вариантов размером примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера. README не содержит достоверных сведений о поддерживаемых языках, длине контекста, модальностях помимо текста или конкретных результатах тестирования. Основное преимущество сборки — широкий выбор уровней квантизации для подбора компромисса между качеством, требованиями к памяти и скоростью локального вывода. Ограничения связаны с большими требованиями к ресурсам даже у компактных вариантов, а качество низкобитных версий может отличаться от исходной модели. Для доступа и использования действует лицензия Gemma от Google; на Hugging Face требуется принять условия лицензии.

gemma-4-E4B-it-Uncensored-MAX-GGUF — языковая модель от prithivMLmods, созданная на основе google/gemma-4-E4B-it. Это модифицированная версия с уменьшенным количеством встроенных отказов, ориентированная на подробные ответы, следование инструкциям, рассуждения и агентские сценарии. В README заявлена аблитерационная обработка и анализ направлений отказа, однако независимые характеристики качества не приведены. Модель относится к семейству Gemma и имеет размер E4B параметров. Она распространяется в формате GGUF, предназначенном, в частности, для llama.cpp и совместимых инструментов. Заявлена поддержка текстовых и визуальных входных данных через отдельные файлы mmproj, а pipeline обозначен как image-text-to-text. Указан английский язык; размер контекста и точная архитектура в README не приведены. Доступны варианты BF16, F16, F32, Q8_0 и соответствующие мультимодальные проекционные файлы. Сильными сторонами заявлены сохранение возможностей рассуждения и следования инструкциям исходной модели, а также снижение отказов при обработке запросов. При этом «uncensored» характер означает потенциально меньшую встроенную защиту, поэтому модель требует дополнительного контроля при использовании в чувствительных сценариях. Модель распространяется по лицензии Apache-2.0.

Карточка модели ImranzamanML/German_Semantic_V3b_Optimised на Hugging Face совпадает с карточкой aari1995/German_Semantic_V3b, поэтому описание составлено по ней. German_Semantic_V3b — немецкоязычная модель эмбеддингов, разработанная Аароном Чиббом. Это дообученная версия aari1995/gbert-large-2 на архитектуре JinaBertModel, предназначенная для получения векторных представлений предложений и сравнения их семантической близости. Модель содержит 434,5 млн параметров и принимает последовательности длиной до 8192 токенов. Модель рассчитана на немецкий язык и особенно учитывает культурный контекст Германии. Она устойчива к небольшим опечаткам и различиям в регистре. Поддерживаются Matryoshka-эмбеддинги размером от 1024 до 64 измерений: уменьшение размерности снижает требования к хранению, но может немного ухудшить качество. По README, V3b ориентирована на высокую производительность, однако её знания ограничены периодом примерно до 2020 года. Лицензия — Apache 2.0.

GLM-5.3-Flash-MLX-4bit — это сборка модели GLM-5.3-Flash от zai-org, адаптированная PipeNetwork для MLX на устройствах с Apple Silicon. Модель имеет архитектуру Mixture-of-Experts общим размером 320B параметров, из которых активируется 18B (A18B), и поддерживает обработку текста и изображений. В ней сочетаются 34 слоя линейного внимания Kimi-Delta и 11 слоёв разреженного внимания DeepSeek с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Контекст, список поддерживаемых языков и точные сценарии мультимодального применения в README не указаны. Чекпойнт занимает 177,6 ГБ и квантизирован преимущественно в 4-bit с размером группы 64; vision tower сохранён в bfloat16, а отдельные компоненты — в 8-bit, float32 или исходном формате. По сравнению с 8-bit-версией равномерная 4-bit-квантизация показывает более высокую perplexity на wikitext-2, поэтому экономит место и память ценой некоторого снижения качества. Архитектура исходной модели сохранена, но слой multi-token prediction не включён. Для запуска требуется MLX-совместимое окружение и исправленный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит несовпадения вычислений. Размер модели ограничивает применение устройствами с большим объёмом памяти; README также не приводит конкретных требований к объёму RAM или VRAM. Модель распространяется по лицензии MIT.

GLM-5.3-MLX-mixed-4_8bit — сборка модели GLM-5.3 от zai-org, адаптированная PipeNetwork для MLX и Apple Silicon. Это генеративная текстовая модель на архитектуре Mixture-of-Experts glm_moe_dsa с 744 млрд параметров, 256 экспертами и маршрутизацией top-8. В архитектуре используется MLA со sparse attention в стиле DeepSeek-V3.2. Модель предназначена для генерации текста и локального инференса на компьютерах Apple Silicon. Экспертные слои занимают около 724,8 млрд параметров и квантизованы в 4 бита, тогда как attention, общие эксперты, плотные слои, эмбеддинги и lm_head хранятся в 8 битах; маршрутизаторы, нормы и индексатор сохранены в исходной точности. Размер файлов составляет около 427,8 ГБ, для запуска рекомендуется Mac с 512 ГБ оперативной памяти. Сборка использует библиотеку MLX и требует специального runtime-файла glm_moe_dsa.py; указанный README рекомендует запуск через mlx-lm с включённым trust remote code. По измерениям на wikitext-2 модель имеет perplexity 2,7420, что лучше равномерной 4-битной версии, хотя смешанная квантизация требует примерно на 9 ГБ больше места. Основные ограничения — крайне высокие требования к памяти, отсутствие multi-token-prediction layer и возможное снижение качества на контекстах свыше 2048 токенов из-за особенностей sparse indexer; заявленная длина контекста в README не указана. Лицензия — GLM-5.3 license, унаследованная от исходной модели; точные условия приведены в файле LICENSE.