II.11Кибербезопасность и приватность

Qwen3.8-27B-Abliterated-IQ4-MIX-MTP-GGUF — это GGUF-квантизация модели Qwen3.8-27B-Abliterated, разработанной windowsxp811203 на основе Qwen/Qwen3.8-27B. Модель предназначена для локальной генерации текста и высокопроизводительного инференса, включая агентские сценарии программирования, на GPU с 16 ГБ видеопамяти. Вариант поддерживает работу через llama.cpp и рассчитан на спекулятивное декодирование с использованием встроенной головы MTP (Multi-Token Prediction), поэтому отдельная draft-модель не требуется. Размер файла составляет около 13,26 GiB, эффективная точность — 4,17 BPW. Используется смешанная квантизация: основные группы тензоров представлены форматами IQ4_XS, IQ3_S и Q4_K, эмбеддинги — IQ2_S, выходной слой — Q5_K, а MTP-блоки сохранены в более высокой точности Q6_K и Q8_0 для поддержания качества черновой генерации и приемки токенов. Заявлена поддержка английского и китайского языков. В README не указаны архитектурные детали исходной модели и максимальный контекст, однако протестированы конфигурации с выделением контекста до 64K токенов. Сильные стороны модели — относительно небольшой размер для класса 27B, возможность полного размещения слоёв на GPU с 16 ГБ памяти и ускорение генерации за счёт MTP. На AMD Radeon RX 9070 XT в среде Windows с Vulkan и llama.cpp зафиксирована скорость около 49–50 токенов в секунду на коротком активном контексте, но при росте истории до 25–30 тысяч токенов скорость снижалась примерно до середины диапазона 20 токенов в секунду. Показатели зависят от оборудования, размера контекста и рабочей нагрузки. Модель распространяется по лицензии Apache-2.0.

gubernac/qwen3.8-27b-unc-fp8 — модифицированная и квантованная версия Qwen/Qwen3.8-27B. Базовая модель разработана командой Qwen компании Alibaba, а данный вариант подготовлен как сборка OrcaRouter. Из модели удалено направление отказа от ответа методом abliteration, после чего она офлайн квантована в Block-FP8 по схеме официальной Qwen3.8-27B-FP8. Это плотная мультимодальная vision-language модель для работы с текстом и изображениями, рассуждений, вызова инструментов, function calling и исследовательского red-teaming. Архитектура Qwen3_5ForConditionalGeneration включает 64 слоя, скрытое представление размером 5120, гибридное внимание Gated DeltaNet и full attention, vision-language tower и MTP-голову для speculative decoding. Модель содержит 27 млрд параметров, поддерживает английский и китайский языки и контекст до 262 144 токенов. Линейные веса хранятся в Block-FP8 E4M3 с размером блока 128×128 и динамическими активациями, а vision tower, нормы, embeddings и lm_head сохранены в BF16. Главное преимущество сборки — сохранение мультимодальности, большого контекста, рассуждений, инструментов и MTP при совместимости с соответствующим vLLM-путём исполнения. Ключевое ограничение и риск — существенное удаление защитного выравнивания: модель может выполнять вредоносные, незаконные и иные опасные запросы, от которых базовая версия отказалась бы. Поэтому она предназначена для легитимных исследований интерпретируемости, AI safety, изучения механизмов отказа, оценки устойчивости и контролируемых экспериментов, а не для непосредственного использования конечными пользователями без собственных механизмов модерации и защиты. Условия распространения указаны как Apache 2.0; также необходимо соблюдать применимые законы и ограничения базовой модели.

Qwen3-Coder-480B-A35B-Instruct-1M — версия модели для генерации кода от команды Qwen, размещённая Unsloth. Это каузальная языковая модель с архитектурой MoE: в исходной конфигурации 480 млрд параметров, из которых активируются 35 млрд. Модель предназначена для агентного программирования, работы с инструментами и анализа больших репозиториев. По карточке, длина контекста расширена с 256 тысяч до 1 миллиона токенов. Модель принимает текстовые запросы и выдаёт текст, в том числе код; поддерживает интерфейс вызова функций и рассчитана на работу с Qwen Code и CLINE. В README указано, что доступен только режим без рассуждений (non-thinking). Модель распространяется по лицензии Apache-2.0. Метаданные указывают дообучение на Qwen/Qwen3-Coder-480B-A35B-Instruct.

mlx-community/Qwen3-Coder-Next-4bit — это 4-битная версия модели Qwen3-Coder-Next, разработанной Qwen и конвертированной сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и, судя по названию базовой модели, прежде всего для задач, связанных с программированием, включая работу с исходным кодом и техническими запросами. Модель рассчитана на запуск через библиотеку mlx-lm и совместима с экосистемой MLX. Ключевой особенностью является 4-битное представление, которое может снижать требования к памяти по сравнению с полноразмерной версией, но потенциально ограничивать точность. README не содержит сведений о размере модели, архитектуре, поддерживаемых языках и модальностях, длине контекста, результатах тестирования, сильных сторонах или конкретных ограничениях. Лицензия модели — Apache 2.0. Для использования требуется установка mlx-lm; приведённый способ запуска ориентирован на генерацию текста с применением chat template, если он доступен.

mlx-community/Qwen3-Embedding-8B-mxfp8 — текстовая модель эмбеддингов семейства Qwen3, подготовленная сообществом mlx-community в формате MLX из Qwen/Qwen3-Embedding-8B. Она предназначена для получения векторных представлений текста, сравнения сходства предложений и поиска по семантической близости. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и поддерживает контекст до 40 960 токенов. Модель подходит для семантического поиска, поиска фрагментов для RAG и ранжирования текстов по сходству. Репозиторий README указывает на формат MLX и пакет mlx-embeddings версии 0.0.3; метаданные также отмечают форматы safetensors и возможности эмбеддингов. Лицензия — Apache-2.0. Данные не подтверждают отдельную поддержку конкретных естественных языков.

Qwopus-3.6-27B-Coder — это модель для агентного программирования и рассуждений, разработанная Jackrong на базе Qwopus3.6-27B-v2 и представленная в формате GGUF. Она дообучена для генерации и исправления кода, работы с репозиториями, многошагового выполнения задач, структурированных вызовов инструментов, function calling и взаимодействия с агентными средами. В обучении использовались датасеты с траекториями рассуждений и агентного поведения, включая TraceInversion и lambda/hermes-agent-reasoning-traces. Модель представляет собой плотную модель с 27 миллиардами параметров и поддержкой длинного контекста, однако точная длина контекста в README не указана. Заявлены мультимодальные сценарии image-text-to-text и поддержка работы с изображениями, а также языки English, Chinese, Spanish, Russian и Japanese. Среди сильных сторон указаны ориентация на repository-level задачи, отладку, генерацию патчей, оркестрацию инструментов и сложное логическое рассуждение. Для базовой модели приведены результаты 87,43% на MMLU-Pro и 75,25% на SWE-bench Verified, а для этой версии заявлен результат 67,0% на SWE-bench Verified в режиме без рассуждений. Модель рассчитана на разработческие рабочие процессы, где требуется последовательное использование инструментов и обработка обратной связи от среды. Ограничения включают отсутствие в README подробностей о точной архитектуре, размере контекстного окна, вариантах квантования GGUF и фактических возможностях мультимодального ввода. Лицензия модели — Apache-2.0.

Reasoner-Coder-7B-Merge — объединённая языковая модель, созданная с помощью mergekit методом DARE TIES. В основе лежит Qwen/Qwen2.5-Coder-7B-Instruct, объединённая с open-thoughts/OpenThinker3-7B; модель имеет архитектуру Qwen2 с плотной сетью и 7,1 млрд параметров. Репозиторий содержит веса Safetensors, а для работы предусмотрена библиотека Transformers. Модель предназначена для генерации текста в диалоговом формате, в том числе для задач программирования и рассуждений. Она принимает текст и генерирует текст; заявленный контекст — 32 768 токенов. Токенизатор и шаблон ChatML взяты от Qwen2.5-Coder-7B-Instruct. Метаданные указывают лицензию?

deepvk/roberta-base — предварительно обученный двунаправленный энкодер RoBERTa от deepvk, ориентированный преимущественно на русский язык. Модель обучена на задаче masked language modeling на корпусе примерно из 500 ГБ текстов: в него входят Википедия, книги, комментарии в соцсетях, художественная проза, субтитры и новостные сайты. В архитектуре 12 слоёв энкодера, 12 голов внимания и размерность представлений 768; всего около 151,8 млн параметров. Модель принимает текст и выдаёт контекстные векторные представления токенов; максимальный контекст составляет 514 токенов. В репозитории доступны веса PyTorch и safetensors. Энкодер не содержит предварительно обученной выходной головы, поэтому для классификации и других прикладных задач потребуется подходящая голова или дополнительное дообучение. Карточка приводит результаты оценки на dev-наборе Russian SuperGLUE. Лицензия — Apache 2.0.

RTriever-4B — плотная модель для извлечения текстовых эмбеддингов, разработанная на базе Qwen/Qwen3-Embedding-4B и дообученная для поиска, требующего многошаговых рассуждений и объединения взаимодополняющих свидетельств. Модель содержит около 3,7 млрд параметров, построена на архитектуре Qwen3 и работает с текстом; её можно загружать через sentence-transformers или Transformers с ручным объединением токенов. Контекст составляет до 40 960 токенов по метаданным, а README указывает поддержку длинных входов до 32 тысяч токенов. Модель предназначена для семантического поиска по запросам и документам, в том числе для RAG, поиска научных материалов и агентных поисковых систем. Для запросов требуется инструкция: в sentence-transformers можно использовать prompt_name="query", тогда как документы кодируются без неё. Векторы нормализованы по L2, поэтому косинусное сходство можно считать скалярным произведением. Для специализированных областей полезно задавать собственный шаблон запроса; длинные документы рекомендуется ограничивать 4–8 тысячами токенов ради стоимости вычислений. Лицензия — MIT.

SimplyAI-2B-Uncensored — диалоговая текстовая модель Miiyamoto255, созданная слиянием моделей на основе google/gemma-2-2b-it. Это плотная авторегрессионная архитектура Gemma 2 с 2,7 млрд параметров и контекстом 8192 токена; модель предназначена для генерации текста в диалоге, а автор отдельно отмечает задачи программирования и кибербезопасности. В карточке заявлена «разблокированная» версия, ориентированная на более свободные ответы. Модель принимает текст и генерирует текст. В метаданных указан английский язык; README не сообщает результатов независимых оценок качества. Для работы используется библиотека Transformers и формат safetensors. Лицензия указана как gemma; перед применением следует соблюдать её условия. Модель может выдавать небезопасные или неправомерные инструкции, поэтому ответы требуют соответствующей проверки.

Stable-DiffCoder-8B-Instruct — инструктивная модель генерации кода от ByteDance-Seed, построенная на архитектуре Seed-Coder и дообученная на базе Stable-DiffCoder-8B-Base. Это плотная языковая модель с 7,6 млрд параметров и маскированной диффузионной генерацией; карточка указывает обучение на открытых и синтетических данных и настройку для следования пользовательским инструкциям. Модель предназначена для генерации, дополнения, редактирования и анализа кода, включая задачи рассуждения о коде. Контекст составляет 8192 токена. В README заявлены улучшения на ряде кодовых бенчмарков по сравнению с авторегрессионными и другими диффузионными моделями близкого размера; диффузионный подход также помогает обрабатывать структурированный код и языки программирования с меньшим количеством данных. Для запуска README описывает использование Transformers и параметры пошаговой генерации, включая длину блоков, стратегию повторного маскирования и порог декодирования. Модель распространяется по лицензии MIT. README не перечисляет поддерживаемые языки программирования, поэтому конкретные языки здесь не указаны.

Swift 1.5 Qwen3.8-Flash-Next — модель UkisAI, дообученная на базе Qwen/Qwen3.8-Flash-Next для более эффективного рассуждения и агентной работы. Карточка указывает на поддержку диалога и изображений; модель классифицирована в Hugging Face как image-text-to-text. В обучении применялись методы постобучения, включая RL и OPD, с целью сократить избыточные цепочки рассуждений и сохранить точность. Модель предназначена для программирования, терминальных задач, разработки ПО и многошаговой агентной работы. В тестах авторов на GPQA-Diamond при режиме xhigh она использовала на 63,4% меньше медианных токенов рассуждения, уступая базовой модели 0,20 процентного пункта; результаты зависят от уровня рассуждения и бенчмарка. Контекст при описанном режиме обслуживания — 262 144 токена; расширение до миллиона токенов требует настройки YaRN. BF16-версия занимает около 360 ГБ и рассчитана на многопроцессорный GPU-узел; доступны также варианты в других форматах и квантизациях. Веса представлены в safetensors, библиотека — Transformers; README также описывает запуск через vLLM, SGLang и llama.cpp-совместимые среды для GGUF-варианта. Лицензия указана как other, а API UkisAI предлагается бесплатно для исследовательских целей; точные условия лицензии следует проверять в репозитории.

AlchemistCoder-L-7B — языковая модель для генерации и понимания программного кода, разработанная командой InternLM на основе Llama 2. Представленная версия распространяется в формате GGUF и подготовлена bartowski для запуска через llama.cpp и совместимые приложения, включая LM Studio. Рекомендуемый сценарий использования — программирование: написание, объяснение, анализ и проверка кода, а также выполнение инструкций, связанных с разработкой. Для работы в LM Studio указан шаблон запросов Alpaca и пресет MetaAI Llama 2 Chat. Модель содержит около 7 миллиардов параметров и обучалась на 200 миллионах токенов гармонизированных данных из нескольких источников, включая материалы для задач понимания кода, эволюции инструкций, фильтрации данных и code review. По данным README, AlchemistCoder-L-7B показывает высокие результаты среди открытых моделей сопоставимого размера на шести бенчмарках для кода, а также улучшенные общие способности на MMLU, BBH и GSM8K. Поддерживаемые языки программирования, естественные языки, размер контекстного окна и конкретные варианты квантизации в README не указаны. Сильными сторонами модели являются специализация на задачах программирования, относительно компактный размер и возможность локального запуска в формате GGUF. Ограничения включают возможные ошибки, неточности и небезопасные рекомендации в сгенерированном коде; результаты требуют проверки и тестирования. Модель распространяется по лицензии Apache-2.0, однако условия для исходной базовой модели и отдельных компонентов данных следует проверять дополнительно.

Absolute_Zero_Reasoner-Coder-14b-GGUF — это квантованная версия языковой модели Absolute_Zero_Reasoner-Coder-14b, разработанной andrewzh. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к классу text-generation и ориентирована на задачи рассуждений и генерации программного кода. Известен размер базовой модели — 14 млрд параметров. В карточке не указаны архитектура, поддерживаемые языки, контекстное окно и мультимодальные возможности, поэтому подтвердить эти характеристики нельзя. Доступны варианты от BF16 до различных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Более высокие уровни квантования сохраняют лучшее качество, но требуют больше памяти; варианты Q4 и Q5 описаны как сбалансированные по качеству и размеру, а Q3 предназначены для систем с ограниченным объёмом RAM. Квантованные файлы удобны для локального запуска, однако снижение точности по сравнению с исходной моделью зависит от выбранного варианта. Лицензия в README не указана.

barisaydin/bge-base-en — англоязычная модель встраивания текста из семейства BGE (BAAI General Embedding), представленная в карточке FlagEmbedding. Она кодирует текст в плотные векторы для поиска релевантных документов, семантического поиска, кластеризации и классификации, а также для использования в векторных базах данных и системах RAG. Архитектура — BERT; модель содержит 136,7 млн параметров и обрабатывает до 512 токенов. Для поиска по короткому запросу в длинных документах авторы рекомендуют добавлять к запросу инструкцию «Represent this sentence for searching relevant passages:», но не к документам. В README рекомендован переход на BAAI/bge-base-en-v1.5: у текущей версии распределение оценок сходства менее удобно. Абсолютные значения сходства могут быть высокими даже у несхожих предложений, поэтому порог следует подбирать на данных конкретной задачи и ориентироваться на относительный порядок результатов. Модель распространяется по лицензии MIT.

Карточка модели AlexAnoshka/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Карточка модели Watson112/bge-m3 на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

Claude Opus 5.5 — флагманская модель Anthropic для сложных задач рассуждения, программирования и длительной агентной работы. В README указано, что она приходит на смену Claude Opus 5 и особенно сильна в многоэтапных изменениях больших кодовых баз. Метаданные каталога относят модель к задаче image-text-to-text. Доступные сведения не уточняют архитектуру, размер, модальности, языки, длину контекста или лицензию, поэтому эти характеристики нельзя описать. Модель подходит для сложных сценариев разработки и агентной работы; конкретные ограничения и условия использования в источниках не приведены.

DeepSeek-Coder-V2-Lite-Instruct — языковая модель для работы с программным кодом, разработанная командой DeepSeek. Представленная версия mlx-community/DeepSeek-Coder-V2-Lite-Instruct-4bit-mlx была преобразована из исходной модели deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct в формат MLX с использованием mlx-lm 0.16.0. Модель предназначена для генерации кода и интерактивного решения задач программирования в формате инструкций. Она может использоваться через библиотеку mlx-lm, например для получения ответа на текстовый запрос. Версия имеет 4-битное представление и ориентирована на запуск в экосистеме MLX, однако сведения о точном размере, архитектуре, поддерживаемых языках программирования, модальностях и длине контекста в README не указаны. К сильным сторонам относятся адаптация к MLX и 4-битное представление, потенциально снижающее требования к памяти при локальном запуске. Ограничения связаны с отсутствием в предоставленных данных подробных характеристик качества, производительности и совместимости, а также с ориентацией на среду MLX. Модель распространяется по лицензии deepseek-license; в карточке она обозначена как other.

DeepSeek-Coder-V2-Lite-Instruct-8bit — языковая модель для работы с программным кодом, подготовленная сообществом mlx-community. Модель была конвертирована из DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek AI, в формат MLX с использованием mlx-lm 0.18.1 и представлена в 8-битном варианте; размер модели составляет 2,5 млрд параметров. Модель предназначена для генерации и дополнения кода, объяснения программных фрагментов и помощи в задачах разработки в диалоговом формате. Она относится к семейству DeepSeek V2 и поддерживает контекст длиной до 163 840 токенов, что позволяет работать с крупными файлами и связанными фрагментами кода. Для запуска используется библиотека mlx-lm. Модель оптимизирована для локального запуска в экосистеме MLX, а 8-битное представление снижает требования к памяти по сравнению с полноразмерными вариантами. Языки программирования и точный перечень поддерживаемых естественных языков в предоставленных данных не указаны. Условия использования определяются лицензией DeepSeek License, обозначенной в карточке как other.

Devstral-Small-2507-GGUF — квантованная версия Devstral Small 1.1 (2507), разработанная Mistral AI совместно с All Hands AI и преобразованная в формат GGUF пользователем brittlewis12. Модель предназначена для задач программной инженерии и создания агентных систем: она умеет работать с инструментами, исследовать кодовые базы и редактировать несколько файлов. Модель ориентирована прежде всего на генерацию и анализ текста и кода, а её исходная версия показывает результат 53,6% на SWE-bench Verified в связке с OpenHands Scaffold. Модель дообучена на базе Mistral-Small-3.1-24B-Base-2503 и имеет контекстное окно до 128 000 токенов. Это текстовая модель без поддержки изображений: перед дообучением визуальный энкодер был удалён. В README явно указан английский язык. Формат GGUF предназначен для локального запуска в совместимом программном обеспечении, включая llama.cpp. Ограничения включают текстовую модальность и зависимость производительности от выбранного квантования и аппаратной конфигурации; конкретный размер файлов и параметры квантования в предоставленных данных не указаны. Лицензия — Apache 2.0.

embeddinggemma-300m-GGUF — это GGUF-версия мультиязычной модели эмбеддингов Google EmbeddingGemma 300M, разработанной Google и преобразованной сообществом cstr без дополнительного обучения, дообучения или изменения архитектуры. Модель предназначена для семантического поиска, retrieval, сравнения текстов по смыслу и других задач feature extraction; поддерживает интеграцию с CrispEmbed и Ollama-совместимыми средами. Модель основана на трансформере Gemma 3 с 300 млн параметров и двунаправленным вниманием. Она использует mean pooling, плотную проекцию 768→3072→768 и L2-нормализацию, формируя эмбеддинги размерности 768. Поддерживается более 100 языков, максимальная длина контекста составляет 2048 токенов. Доступны варианты в форматах F32, Q8_0, Q5_K и Q4_K; F32 обеспечивает наибольшую точность, а квантованные версии требуют меньше памяти. Q8_0 и Q5_K рекомендуются при повышенных требованиях к близости результатов к исходной модели, тогда как Q4_K может давать небольшое снижение качества. Сильные стороны модели — компактный размер, мультиязычность, возможность локального запуска и широкий выбор квантований. Ограничения включают зависимость качества от уровня квантования и необходимость учитывать совместимость с GGUF- и Ollama-совместимыми runtime; модель предназначена для получения эмбеддингов, а не для генерации текста. Распространяется на условиях лицензии Gemma, без предоставления прав сверх условий лицензии исходной модели.

Это квантизированная NVFP4-версия Gemma 4 12B, дообученной для агентных сценариев и использования инструментов. Исходный fine-tune разработан yuxinlu1, а данная сборка переупакована и квантизирована Sourav Singh для локального запуска в Krill — движке инференса на Swift и MLX для Apple Silicon. Модель предназначена для генерации текста и кода, программирования, агентных задач и tool-use, включая сценарии, ориентированные на τ²-bench. Архитектура gemma4_unified объединяет текстовые, визуальные и аудиокомпоненты, однако конкретные поддерживаемые пользовательские режимы в этой сборке README подробно не описывает. Контекст модели также не указан. Основные веса представлены в NVFP4 с группировкой 16, а чувствительные модули используют 8-битное affine-представление с группировкой 64. Заявлены загрузка примерно за 1,7 секунды и скорость декодирования около 28 токенов в секунду на Apple Silicon. Сильная сторона модели — результаты в генерации кода: в приведённых тестах она показывает 83,5% на HumanEval и 84,1% на MBPP без reasoning и 86,0% и 83,6% соответственно с reasoning. Ограничения связаны с совместимостью: это MLX-чекпойнт, рассчитанный прежде всего на Krill, и он не предназначен для vanilla mlx-lm, mlx-vlm, llama.cpp, Ollama, transformers или vLLM. Лицензия — Gemma license; условия распространяются на базовую модель Google Gemma 4 и производный fine-tune.

GLiNER small-v2.1 — модель для распознавания именованных сущностей, разработанная Урчаде Заратианой, Нади Томе, Пьером Ола и Тьерри Шарно. Она использует двунаправленный энкодер на основе трансформера, похожий на BERT, и позволяет извлекать из текста сущности разных типов, заданных пользователем, вместо работы только с фиксированным набором категорий. Модель предназначена для разметки текста и сценариев извлечения информации, в том числе там, где важно обойтись без крупных и ресурсоёмких LLM. Вариант small-v2.1 содержит 166 млн параметров, работает с английским языком и использует библиотеку GLiNER. Модель принимает текст и выдаёт найденные сущности с их типами. Для запуска требуется библиотека GLiNER. Распространяется по лицензии Apache-2.0.

GLM-4.5-Air-Base — базовая языковая модель семейства GLM-4.5 от Zhipu AI, предназначенная для разработки интеллектуальных агентов. Серия GLM-4.5 объединяет возможности рассуждения, программирования и работы с инструментами; эта версия является базовой, а не готовой чат-моделью. В README для GLM-4.5-Air указаны 106 млрд параметров всего и 12 млрд активных параметров, однако метаданные именно этого репозитория указывают 8,5 млрд параметров. Модель генерирует текст; метаданные относят её к архитектурному семейству GLM4-MoE и указывают контекстное окно 131 072 токена. В карточке заявлены английский и китайский языки. Возможные сценарии включают дальнейшее обучение и создание агентных систем, которым нужны генерация текста, рассуждение, программирование или взаимодействие с инструментами. Лицензия MIT допускает коммерческое использование и вторичную разработку. README отдельно уточняет, что это base-модель, не предназначенная для чата без дополнительной настройки.

Это квантованные сборки модели GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill, опубликованные пользователем noctrex в формате GGUF. Основа — дообученная для рассуждений модель GLM-4.7-Flash; каталог описывает её как ориентированную на программирование, научные вопросы и сложные задачи с длинным контекстом. Репозиторий содержит обычную MXFP4_MOE-квантизацию и экспериментальный вариант, который распределяет точность по важности тензоров: BF16 для наиболее важных, Q8_0 для умеренно важных и MXFP4 для остальных. Подбор точности основан на imatrix, созданной на данных code_tiny. Модель предназначена для генерации текста и диалогового использования, с упором на задачи программирования. Автор README сообщает, что экспериментальный вариант ещё не проверялся бенчмарками, поэтому его преимущество над основной MXFP4_MOE-сборкой не подтверждено. Лицензия в предоставленных данных не приведена.

jina-embeddings-v2-base-en-GGUF — англоязычная модель для создания векторных представлений текста. Оригинальная модель разработана jinaai, а GGUF-версии подготовлены Second State Inc. Модель предназначена для семантического поиска, сопоставления текстов, кластеризации, классификации и других задач, где требуется сравнивать смысловое сходство текстовых данных. Модель работает в режиме embedding, поддерживает контекст до 8192 токенов и формирует эмбеддинги размерностью 768. Распространяется в формате GGUF с вариантами квантования от Q2_K до Q8_0, а также в формате f16. Квантированные версии занимают примерно от 61,7 до 146 МБ, тогда как f16-версия — 274 МБ. Для запуска в README указан LlamaEdge версии v0.14.17. Основное преимущество модели — возможность локального запуска и выбор между компактностью и качеством через разные уровни квантования; версии Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые. При этом сильное квантование может приводить к существенной потере качества, особенно у вариантов Q2_K и Q3. Модель ориентирована на английский язык, поэтому её пригодность для других языков не подтверждена. Лицензия — Apache-2.0.

jina-embeddings-v3-GGUF — GGUF-версия модели jina-embeddings-v3, разработанной jinaai и квантизированной компанией Second State Inc. Это модель для построения векторных представлений текста, предназначенная для семантического поиска, сопоставления текстов, кластеризации и других задач, где требуется сравнивать смысловое сходство документов или запросов. Модель рассчитана на запуск через совместимые инструменты, включая LlamaEdge; для неё используется шаблон prompt типа embedding. Доступны варианты размерности эмбеддингов от 32 до 1024: 32, 64, 128, 256, 512, 768 и 1024. Формат GGUF поддерживает различные уровни квантования, позволяя выбирать между размером файла и сохранением качества; среди указанных вариантов Q4_K_M и Q5_K_M отмечены как сбалансированные или рекомендуемые. В README не указаны архитектура исходной модели, поддерживаемые языки, модальности и точный размер контекста; для запуска LlamaEdge приведён контекст 768. Сильными сторонами модели являются возможность локального запуска, выбор размерности эмбеддингов и нескольких уровней квантования, включая компактные варианты. Более агрессивное квантование может приводить к заметной потере качества, тогда как версии с большим числом бит занимают больше памяти. Лицензия в предоставленном README не указана; условия использования следует уточнять в карточке исходной модели jinaai/jina-embeddings-v3 и соответствующего GGUF-репозитория.

CISCai — модель Model2Vec, дистиллированная из jinaai/jina-embeddings-v3 с применением LoRA-адаптера для задачи separation. Она создаёт статические текстовые эмбеддинги: при выводе усредняет векторы токенов, что позволяет выполнять кодирование значительно быстрее на CPU и GPU, чем у исходного Sentence Transformer. Модель предназначена для поиска по смыслу, сопоставления предложений и других сценариев, где важны низкие задержки или ограниченные вычислительные ресурсы. Модель использует подход Model2Vec: векторы словаря получают из Sentence Transformer, уменьшают их размерность с помощью PCA и взвешивают с помощью Zipf weighting. В метаданных заявлена поддержка контекста до 1 000 000 токенов, мультиязычность и формат safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

Jina AI выпустила MLX-порт модели Jina Embeddings v5 Text Small Classification для запуска на компьютерах Apple с процессорами M1, M2, M3 и M4 и ускорением Metal. Это плотная модель эмбеддингов на архитектуре Qwen3-0.6B с предварительно объединёнными LoRA-адаптерами для задач классификации и поиска. Она преобразует запросы и документы в векторы размерностью до 1024; поддерживается сокращение размерности по схеме Matryoshka до 32, 64, 128, 256, 512 или 768. Максимальная длина последовательности — 32 768 токенов. Модель предназначена для получения представлений запросов и фрагментов документов, которые можно использовать для поиска и классификации текста. Репозиторий распространяет веса в формате safetensors и рассчитан на работу с библиотекой MLX. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.