I.3Извлечение и структурирование данных

RedHatAI/Qwen3.5-9B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе модели Qwen от Qwen. Она принимает текст и изображения, а генерирует текст; модель предназначена для диалоговых приложений, анализа визуальной информации, выполнения инструкций и задач рассуждения. Для работы рекомендуется использовать vLLM, поддерживаются мультимодальный и текстовый режимы. Модель содержит около 9 млрд параметров и использует квантование весов INT4 по схеме W4A16 при сохранении исходной точности активаций. Квантируются линейные операторы в трансформерных блоках, тогда как vision encoder, токенизаторные embeddings и linear attention layers остаются в BF16. Размер на диске составляет около 11 ГБ против 19,3 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена максимальная длина контекста 262144 токена. К сильным сторонам относятся существенное сокращение размера и возможность эффективного инференса при сохранении близкой к исходной точности: на опубликованных тестах результаты квантованной версии составили 97,9–100,1% от показателей базовой модели на задачах следования инструкциям. Ограничения связаны с частичным, а не полным квантованием, зависимостью от совместимого стека vLLM и отсутствием в представленном описании сведений о поддерживаемых языках и подробных характеристиках архитектуры. Модель распространяется по лицензии Apache-2.0.

abhishekchohan/Qwen3.8-27B-AWQ-INT4 — это 4-битная AWQ-квантизированная версия модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста, рассуждений, математических и научных задач, программирования, обработки мультиязычных запросов и работы с изображениями. Она поддерживает визуально-текстовые сценарии благодаря встроенному ViT-энкодеру. Модель имеет гибридную архитектуру с 64 текстовыми слоями, включающими стандартное attention и линейное внимание DeltaNet, а также контекст до 262 144 токенов. Используется weight-only формат W4A16: веса хранятся в INT4 с group size 32 и асимметричными zero-point, KV-кэш — в BF16. Размер весов составляет около 20 ГБ, благодаря чему модель рассчитана на запуск с родным контекстом на одной GPU с 48 ГБ памяти. На GPU с 96 ГБ возможно расширение контекста до 524 288 токенов через YaRN, однако retrieval за пределами 262 144 токенов не проверялся. Главное преимущество — существенное снижение требований к памяти при сохранении результатов, близких к BF16-версии: на 9 из 10 заявленных тестов различия находятся в пределах статистического шума, а поиск информации на длинном контексте успешно проверен до 262 144 токенов. Ограничения включают заметное снижение результата в MathVision, неполную проверку визуальных возможностей, отсутствие оценки агентных сценариев и инструментального вызова, а также отсутствие количественной валидации speculative decoding. Модель распространяется по лицензии Apache-2.0.

lovedheart/Qwen3.8-Flash-Next-NVFP4-FP8 — квантованная версия мультимодальной модели Qwen3.8-Flash-Next, разработанной Qwen и обработанной с помощью NVIDIA Model Optimizer. Это частный кандидатный релиз для разработчиков, оценивающих запуск Qwen3.8-Flash-Next в агентных системах, чат-ботах, задачах программирования и мультимодального рассуждения. Модель использует гибридную архитектуру Transformer с сочетанием GDN и разреженного QSA-внимания, multi-hyperconnection streams и PLE n-gram injection. Это MoE-модель примерно на 180 млрд параметров с 48 декодерными слоями, 512 маршрутизируемыми экспертами на слой, выбором top-10 экспертов, общим экспертом и одним MTP-слоем. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Квантование выполнено по смешанной схеме: маршрутизируемые эксперты используют NVFP4, а отдельные проекции внимания — FP8 E4M3 с блочной схемой 128×128. Сильные стороны модели — мультимодальность, MoE-архитектура, снижение требований к памяти по сравнению с исходной BF16-версией и поддержка длинного контекста. Ограничения включают необходимость патченной версии SGLang: стандартные сборки могут выдавать некорректный текст. Модель проверена на NVIDIA Blackwell, включая RTX PRO 6000 Blackwell, GB300 и B300, и ориентирована на Linux; совместимость с другими платформами не указана. Лицензия обозначена как other, а условия использования следует уточнять по лицензии исходной модели Qwen3.8-Flash-Next.

furiosa-ai/Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, опубликованная FuriosaAI вместе с пакетом Furiosa Executable Bundle для запуска на ускорителе RNGD через Furiosa-LLM. Модель основана на Qwen/Qwen3-Embedding-0.6B и дообучена для получения плотных векторных представлений текста. Её размер — 507,6 млн параметров, архитектура — плотный трансформер Qwen3, контекст — до 32 768 токенов. Модель предназначена для семантического поиска, извлечения релевантных документов и сопоставления сходства текстов. Поддерживает многоязычные сценарии и Matryoshka Representation Learning: размерность эмбеддингов можно уменьшать с помощью параметра dimensions. Принимает текст и возвращает векторы. Репозиторий предоставляет веса в safetensors и запуск через Furiosa-LLM; также README указывает совместимость с Sentence Transformers, vLLM и Transformers. Квантизация не применяется: указана точность BF16. Лицензия — Apache 2.0.

Rank-Embed-0.6B — компактная модель эмбеддингов от GorankLabs для семантического поиска и плотного извлечения текстов. Она дообучена на Qwen/Qwen2.5-0.5B-Instruct и использует архитектуру bi-encoder: запросы и документы кодируются в общее векторное пространство для сравнения по смыслу и намерению. Модель формирует нормализованные векторы размерности 768: скрытые представления Qwen агрегируются mean pooling, затем линейная проекция преобразует размерность 896 в 768. Модель предназначена для семантического поиска, извлечения контекста для RAG, кластеризации и поиска дубликатов; векторные представления можно сопоставлять по косинусному сходству. Число параметров в метаданных — 494 млн, длина контекста — 32 768 токенов. Указан английский язык. Лицензия — Apache-2.0.

mrm8488/roberta-base-bne-finetuned-sqac-retriever — модель эмбеддингов на базе RoBERTa, опубликованная пользователем mrm8488. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства, кластеризации и построения систем поиска по вопросам и ответам. Модель содержит 151,8 млн параметров, принимает текст и имеет контекстное окно до 514 токенов. Обучение с MultipleNegativesRankingLoss и косинусной мерой сходства настроено на получение полезных представлений для ранжирования релевантных текстов. Репозиторий содержит веса PyTorch; для использования предлагаются Sentence-Transformers или Transformers с подходящим pooling.

sobamchan/roberta-base-mean-400 — англоязычная модель Sentence Transformers, дообученная разработчиком на FacebookAI/roberta-base на наборе all-nli. Она кодирует предложения и абзацы в плотные векторы размерности 768 и нормализует их; для сравнения используется косинусное сходство. Архитектура включает RoBERTa, усреднение токенных представлений и нормализацию. В README указан максимальный размер последовательности 256 токенов, а метаданные указывают контекст до 514 токенов. Модель предназначена для оценки семантической близости текстов, семантического поиска, поиска перефразировок, кластеризации и извлечения признаков для классификации. Она обучалась на парах и тройках текстов из all-nli с MultipleNegativesRankingLoss. Поддерживает английский язык; лицензия и конкретные условия использования в предоставленных данных не описаны.

asaakyan/ruRoPEBert-e5-base-512-allRU-authorship — модель Sentence Transformers, дообученная на базе Tochka-AI/ruRoPEBert-e5-base-512 для сопоставления русскоязычных текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического сходства, поиска, выявления перефразировок, кластеризации и классификации текстов. В основе — RoPEBert с усреднением токенных представлений; сходство векторов оценивается косинусной мерой. Максимальная длина входа — 512 токенов. Модель подходит для ранжирования документов по смысловой близости к запросу, группировки похожих текстов и выявления сходных формулировок. В карточке указаны 2 465 773 обучающих примера с парами предложений и метками, а также контрастивное обучение. Репозиторий содержит веса в формате safetensors и использует библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

peter2000/sdg_sentence_transformer — модель на основе BERT, созданная для преобразования предложений и абзацев в плотные векторные представления размерности 768. Её можно применять для семантического поиска, кластеризации и сравнения сходства текстов. Размер модели — 136,7 млн параметров; максимальная длина контекста — 512 токенов. Для работы доступны веса PyTorch и библиотека Sentence-Transformers. Модель принимает текст и выдаёт эмбеддинги. В карточке указано обучение с функцией потерь DenoisingAutoEncoderLoss. Язык обучения и лицензия в предоставленных данных не указаны.

stella-mrl-large-zh-v3.5-1792d — модель векторных представлений предложений, разработанная автором семейства Stella. Она предназначена для поиска по смыслу и сопоставления текстов, включая retrieval, оценку семантического сходства и ранжирование. Модель основана на stella-large-zh-v3-1792d и обучена методом MRL; архитектура — BERT, размер — 424,3 млн параметров. Модель кодирует текст в эмбеддинги размерностью до 1792 и позволяет выбирать меньшую размерность, обрезая вектор; автор рекомендует размерности, кратные 128, и нормализацию после обрезки. Заявлена поддержка китайского и английского языков. Максимальная длина контекста — 512 токенов. В README приведены результаты оценки на CMTEB для разных размерностей; более крупный вектор обычно даёт лучшие результаты при больших расходах памяти и вычислений. Модель подходит для семантического поиска, сравнения предложений и построения систем извлечения информации. Лицензия — MIT.

Khoj AI Timely Arctic Medium — модель SentenceTransformer, дообученная на основе Snowflake/snowflake-arctic-embed-m для представления предложений и абзацев в виде плотных векторов. Архитектура основана на BERT и содержит 136,7 млн параметров; выходные эмбеддинги имеют размерность 768, а сходство можно оценивать косинусной мерой. Модель предназначена для семантического поиска и сравнения текстов. Её можно применять для поиска релевантных фрагментов по запросу, выявления перефразировок, кластеризации и извлечения признаков для классификации. В README описано дообучение на парах запросов и положительных примеров с MultipleNegativesRankingLoss; длина входа ограничена 512 токенами. Карточка не указывает лицензию. Базовая модель описана как англоязычная; отдельные языки для этой доработки не заявлены, поэтому её языковые возможности за пределами английского не подтверждены.

voyage-4-nano-ONNX — это ONNX-экспорт модели voyage-4-nano от Voyage AI, подготовленный для CPU-инференса с библиотекой sentence-transformers и интеграции с Vespa. Модель предназначена для получения векторных представлений текстов, семантического поиска, построения retrieval-систем и сравнения текстов по косинусному сходству. Модель имеет 306,6 млн параметров, формирует L2-нормализованные эмбеддинги размерности 2048 и использует mean pooling. В метаданных указана нативная длина контекста 40960 токенов; в README максимальная длина последовательности указана как 32K токенов. Доступны варианты FP32 размером около 1,3 ГБ и INT8 для AVX512 размером 332 МБ; INT8 рекомендован для экономии памяти и сохраняет косинусное сходство около 0,96 относительно FP32. Для retrieval-сценариев запросы следует кодировать с префиксом «Represent the query for retrieving supporting documents: », а документы — без префикса. Модель распространяется по лицензии Apache 2.0. Она предназначена для эмбеддингов, а не для генерации текста; качество INT8 может немного отличаться от FP32, а использование требует ONNX Runtime или sentence-transformers с ONNX-бэкендом.

AI21-Jamba-Reasoning-3B — компактная модель рассуждений компании AI21 для генерации текста и диалогов. Она предназначена для решения задач, требующих пошагового анализа, и работы с длинными входными материалами; в карточке заявлено преимущество на совокупности нескольких интеллектуальных бенчмарков по сравнению с рядом моделей сходного размера. Модель содержит около 2,3 млрд параметров по метаданным каталога. Её гибридная архитектура Jamba сочетает слои Transformer и Mamba: 26 слоёв Mamba и 2 слоя внимания, 20 голов внимания с multi-query attention и словарь размером 64 тыс. токенов. Контекст достигает 262 144 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс для вызова инструментов. Поддерживаются английский, испанский, французский, португальский, итальянский, нидерландский, немецкий, арабский и иврит. AI21 рекомендует запуск через vLLM версии 0.11.0 или выше с настройкой кэша Mamba; README также описывает локальный запуск через отдельную GGUF-сборку. Репозиторий распространяется под лицензией Apache-2.0. Практические ограничения: опубликованные в README сравнительные результаты приведены не для всех конкурентов в доступном фрагменте, а обучение через VeRL на момент карточки ещё описано как будущее расширение.

airoboros-l2-7b-2.2 — экспериментальная текстовая языковая модель на архитектуре LLaMA, разработанная jondurbin и дообученная преимущественно на синтетических данных набора airoboros-2.2. Она предназначена для ответов на инструкции и вопросы, генерации текста и кода, ответов по заданному контексту, а также формирования планов и структурированных аргументов для вызова функций. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, а её нативный контекст составляет 4096 токенов. Карточка описывает шаблон диалога с метками USER и ASSISTANT и рекомендации по остановке генерации; для ответов по предоставленным источникам предусмотрен формат с явными разделителями контекста. Модель в основном ориентирована на выполнение инструкций, а не на свободный чат или ролевую игру. В README отмечены частичное выравнивание для обычного использования и возможность переопределения этого поведения системным промптом. Ответы по контексту могут галлюцинировать, поэтому автор советует явно просить не придумывать неизвестные ответы. Модель распространяется под лицензией Llama 2; опубликована в формате PyTorch.

AX Qwen3 Embedding 0.6B MLX 8-bit — текстовая модель эмбеддингов от AutomatosX для Apple Silicon, основанная на Qwen/Qwen3-Embedding-0.6B. Это 8-битная версия с форматом MLX Safetensors, 28 слоями трансформера и векторами размерности 1 024; настроенная длина контекста — 32 768 токенов. Тензоры и токенизатор совпадают с mlx-community/Qwen3-Embedding-0.6B-8bit, а выпуск AutomatosX добавляет манифест и сведения о происхождении модели. Модель преобразует текст в нормализованные векторы для семантического поиска, сравнения предложений и задач извлечения признаков. Пригодна для создания эмбеддингов документов и поисковых запросов; для запросов на извлечение информации при необходимости можно добавлять инструкцию на английском языке, а документы обычно подавать без префикса. В карточке описана проверка подачи запросов к API эмбеддингов на macOS arm64 с AX Engine. Модель рассчитана на запуск на компьютерах Apple с Apple Silicon и распространяется по лицензии Apache-2.0. Это эмбеддинговый выпуск, а не универсальная модель генерации текста; качество поиска зависит от выбранной инструкции и прикладного процесса.

BEE-spoke-data/bert-plus-L8-v1.0-syntheticSTS-4k — модель эмбеддингов на архитектуре BERT, разработанная BEE-spoke-data на базе BEE-spoke-data/bert-plus-L8-v1.0-allNLI_matryoshka. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для поиска семантически близких текстов и кластеризации. Модель дообучена на синтетических данных о сходстве текстов; поддерживает Matryoshka-размерности 768, 512, 256, 128 и 64, а контекст составляет до 4096 токенов. Её можно применять для семантического поиска, сравнения сходства текстов и группировки документов по смыслу. Репозиторий содержит веса Safetensors и формат ONNX; модель рассчитана на английский язык. Лицензия — Apache-2.0.

abhijitt/bert_st_qa_multi-qa-mpnet-base-cos-v1-epochs-10 — модель на архитектуре MPNet, дообученная для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для семантического поиска, сравнения сходства текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусной мерой сходства. Модель подходит для построения поисковых индексов по текстам и группировки похожих фрагментов. В карточке указана библиотека Sentence-Transformers и формат PyTorch; сведения о лицензии и поддерживаемых естественных языках в доступных данных отсутствуют.

furiosa-ai/bge-m3 — сборка многоязычной модели эмбеддингов BGE-M3, разработанной BAAI на архитектуре энкодера XLM-RoBERTa. Репозиторий содержит веса BF16 и Furiosa Executable Bundle для запуска через Furiosa-LLM на ускорителе FuriosaAI RNGD; размер модели — 658,7 млн параметров, контекст — 8194 токена. Сборка выдаёт плотные эмбеддинги размерностью 1024 для семантического поиска, извлечения релевантных текстов и сопоставления сходства. Векторы нормализованы по L2, поэтому их скалярное произведение соответствует косинусному сходству. В отличие от возможностей исходной BGE-M3, описанных в карточке, эта сборка через Furiosa-LLM предоставляет именно плотные эмбеддинги, а не разреженные или многовекторные представления. Модель принимает текст и выдаёт векторы. Она предназначена для многоязычных сценариев; список конкретных языков в предоставленных данных не приведён. Лицензия — MIT. Для запуска этой сборки указаны Furiosa-LLM и оборудование FuriosaAI RNGD; исходная модель также поддерживается другими фреймворками.

BidirLM-270M-Embedding — многоязычная модель-энкодер из семейства BidirLM, разработанного авторами проекта BidirLM и представленного как финальная версия после контрастивного дообучения промежуточной модели BidirLM-270M-Base. В ней около 257 млн параметров; архитектура BidirLM построена на базе Gemma3-270M и использует двунаправленный энкодер. Модель выдаёт векторы размерности 640 с mean pooling. Контекст по архитектуре — до 32 768 токенов; в основном сравнении MTEB использовалась длина до 512 токенов. Модель предназначена для получения текстовых эмбеддингов и поддерживает поиск по смыслу, оценку семантического сходства, кластеризацию, классификацию, переранжирование и поиск параллельных текстов. Также её можно дообучать для классификации последовательностей и токенов, извлечения информации и других прикладных задач. Карточка указывает поддержку более 140 языков; метаданные подтверждают мультиязычность и перечисляют языки, включая английский, немецкий, французский, испанский, арабский и хинди. По данным карточки, модель показывает высокие результаты на мультиязычном MTEB и задачах длинноконтекстного поиска. Для загрузки требуется trust_remote_code=True и совместимая версия Transformers; использование Sentence Transformers автоматически применяет mean pooling. Модель распространяется по лицензии Apache-2.0.

danfeg/CAMeL_Finetuned-EN-500 — модель на базе BERT, дообученная как sentence-transformers для преобразования предложений и абзацев в плотные векторы размерности 768. Она предназначена для вычисления семантического сходства, семантического поиска и кластеризации текстов. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и выдаёт эмбеддинги. По названию и карточке она ориентирована на английский язык; лицензия в предоставленных данных не указана.

perceptiveshawty/compositional-bert-large-uncased — англоязычная модель на архитектуре BERT Large без учёта регистра, разработанная пользователем или организацией perceptiveshawty для оценки семантического сходства предложений. Модель предназначена для сравнения текстов, поиска похожих предложений и построения систем семантического сопоставления. Модель содержит около 433,9 млн параметров, работает через библиотеку Transformers и поддерживает контекст до 512 токенов. В качестве источников обучения указаны datasets-for-compcse и datasets-for-simcse. Модель ориентирована на английский язык и распространяется по лицензии Apache-2.0.

DeepSeek-V3.1-Base — базовая языковая модель, разработанная DeepSeek AI. Она предназначена как основа для последующего дообучения и создания прикладных версий, включая варианты с режимами рассуждения и без рассуждения, поддержкой вызова инструментов и агентскими сценариями. Модель ориентирована на обработку длинного контекста и сложных текстовых запросов. Модель построена на архитектуре Mixture-of-Experts: общий размер составляет 671 млрд параметров, из которых для одного токена активируется 37 млрд. Максимальная длина контекста — 128K токенов. В README не указаны точный набор поддерживаемых языков и мультимодальные возможности, поэтому подтверждённо описать её можно только как текстовую языковую модель. Для обучения использовалось расширение длинного контекста в два этапа, а веса и активации представлены в формате UE8M0 FP8. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость при меньшем числе активируемых параметров и пригодность в качестве базы для специализированного дообучения. Ограничения включают очень высокие требования к ресурсам для развёртывания и отсутствие в предоставленных данных подробных результатов оценки, перечня языков и описания мультимодальности. Модель распространяется по лицензии MIT.

tomaarsen/distilroberta-base-nli-v4 — модель Sentence Transformers, дообученная на distilbert/distilroberta-base на наборе all-nli. Она преобразует предложения и абзацы на английском языке в плотные векторы размерностью 768 для сравнения семантической близости с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура включает RoBERTa-трансформер с усреднением токенных представлений; модель содержит 95,2 млн параметров и принимает последовательности длиной до 512 токенов. Данные README приводят результаты на STS: коэффициент Спирмена с косинусным сходством составляет 0,7892 на sts-dev и 0,7221 на sts-test. Модель рассчитана на английский язык и выдаёт эмбеддинги, а не готовые текстовые ответы. Для входов длиннее 512 токенов потребуется усечение или разбиение текста; качество на других языках не заявлено. Лицензия в предоставленных данных не указана.

LGAI-EXAONE/EXAONE-4.0-32B-FP8 — языковая модель компании LG AI Research из серии EXAONE 4.0. Она предназначена для генерации текста, решения сложных задач, многоязычного общения и построения агентных приложений с вызовом инструментов. Модель поддерживает два режима работы: Non-reasoning для обычных запросов и Reasoning для задач, требующих пошагового рассуждения. Заявлена поддержка английского, корейского и испанского языков. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя и использует архитектуру с GQA на 40 attention heads и 8 KV heads. Для 32B-версии применена гибридная схема внимания с локальным и глобальным вниманием в соотношении 3:1, а также архитектурное изменение QK-Reorder-Norm. Размер словаря составляет 102 400 токенов, контекст — до 131 072 токенов. Весы представлены в формате fine-grained FP8. Сильными сторонами являются сочетание общего режима генерации и рассуждений, поддержка инструментов, длинный контекст и мультиязычность. Ограничения включают высокие требования к вычислительным ресурсам из-за размера модели; README не приводит подробностей о точности, безопасности и типичных ошибках. Модель распространяется по лицензии exaone, обозначенной как other; условия следует уточнять в файле LICENSE.

hermoine1234/fine_tuned_model_v3 — модель Sentence Transformers на базе архитектуры XLM-RoBERTa, обученная сопоставлять предложения и абзацы в плотном векторном пространстве. Она содержит 305,2 млн параметров и строит эмбеддинги размерности 768; для оценки сходства используется косинусная близость. Модель подходит для семантического поиска, поиска похожих предложений, выявления перефразирований, кластеризации и классификации текста. Карточка описывает обучение на 1 784 парах текстов с CosineSimilarityLoss; примеры датасета представлены на нескольких языках. README указывает максимальную длину последовательности 128 токенов, тогда как метаданные каталога указывают нативный контекст 514 токенов. Модель принимает текст и выдаёт векторы эмбеддингов; файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.

Jainam/freeflow-biencoder — модель Sentence Transformers на базе RoBERTa, разработчик которой указан в идентификаторе репозитория как Jainam. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Обучение использовало MultipleNegativesRankingLoss с косинусным сходством; модель также подходит для сравнения смысловой близости текстов. Модель содержит 151,8 млн параметров и принимает текст, выдавая векторные представления. Её можно использовать через Sentence-Transformers либо Transformers с подходящей операцией pooling. Репозиторий содержит веса PyTorch и TensorFlow. Лицензия и конкретные поддерживаемые естественные языки в предоставленных данных не указаны.

llmfan46/gemma-4-12B-it-uncensored-heretic-NVFP4-GGUF — квантизированная в формате GGUF версия Gemma 4 12B Instruct, доработанная в варианте uncensored/heretic. Карточка описывает семейство Gemma 4 как мультимодальное; эта сборка предназначена для диалогового использования через llama.cpp, LM Studio, Ollama и другие инструменты с поддержкой GGUF. Архитектура семейства сочетает локальное скользящее и глобальное внимание. Для 12B указано контекстное окно до 256K токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, суммаризации, ответов на вопросы по тексту и анализа изображений, видео и аудио. Семейство поддерживает более 35 языков; для версии 12B заявлены распознавание речи и перевод речи в текст на нескольких языках. Сборка имеет метку uncensored, однако карточка не описывает отдельные процедуры её дообучения или снятия ограничений. Указана лицензия Apache-2.0. Качество ответов зависит от формулировки запроса и обучающих данных; возможны фактические ошибки, предвзятость и трудности с нюансами языка или сложными открытыми задачами. Заявленные возможности семейства не подтверждают отдельно поведение именно этой GGUF-сборки во всех режимах.

MoonRide/gemma-4-26B-A4B-it-heretic-ara-GGUF — GGUF-сборка инструкционной мультимодальной модели Gemma 4 26B A4B, разработанной Google DeepMind и модифицированной MoonRide. Это версия с уменьшенным количеством отказов, полученная из google/gemma-4-26B-A4B-it методом Heretic v1.2.0 с использованием Arbitrary-Rank Ablation (ARA) и сохранением row-norm. Модель предназначена для генерации текста, рассуждений, программирования, работы с агентными сценариями и анализа изображений при локальном запуске через совместимые движки, включая llama.cpp. Модель относится к архитектуре Mixture-of-Experts с 26B общих параметров и 4B эффективных активных параметров; для семейства Gemma 4 заявлена поддержка контекста до 256K токенов, более 140 языков, текстового и графического ввода с генерацией текста. Семейство использует гибридное внимание со скользящим локальным окном и глобальными слоями, что помогает обрабатывать длинный контекст при сниженных затратах памяти. Доступны различные GGUF-квантизации, включая рекомендуемые Q3_K_M размером около 13,3 ГБ и IQ3_M_L размером около 12,6 ГБ. Главная особенность этой версии — существенно сниженная склонность к отказам: в приведённом тесте она отказала в 12 из 100 случаев против 100 из 100 у исходной модели; при этом KL divergence относительно оригинала составляет 0,0513. Такое изменение может быть полезно для исследовательских и экспериментальных сценариев, но одновременно означает более слабые встроенные ограничения безопасности. Для загрузки README рекомендует llama.cpp b8751 или новее. Лицензия указана как Apache 2.0; условия лицензии Gemma 4 могут содержать дополнительные положения.

unsloth/gemma-4-31B-it-qat-GGUF — инструкцияно дообученная мультимодальная модель из семейства Gemma 4, разработанного Google DeepMind и подготовленная в GGUF-формате компанией Unsloth. Модель принимает текст и изображения и генерирует текст; её назначение включает генерацию текста, программирование, рассуждения и работу с мультимодальными запросами. Модель основана на Gemma 4 31B и использует Quantization-Aware Training (QAT) с квантизацией Q4_0, что снижает требования к памяти при сохранении качества, близкого к bfloat16. Доступна в формате GGUF для совместимого локального и серверного развёртывания, включая llama.cpp. Для ускорения генерации в поставку входит Multi-Token Prediction drafter, поддерживающий speculative decoding без изменения итогового результата. Семейство Gemma 4 поддерживает контекст до 256K токенов и более 140 языков; конкретная языковая специализация этой версии отдельно не указана. Сильные стороны модели — сочетание инструкционного режима, мультимодальности, расширенного контекста и сниженных требований к памяти благодаря QAT. Ограничения связаны с тем, что квантизированная версия может требовать совместимого программного обеспечения и аппаратных ресурсов для эффективной работы, а точные характеристики архитектуры 31B и перечень поддерживаемых языков для этого репозитория не раскрыты. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4.

GadflyII/GLM-4.7-Flash-NVFP4 — квантизированная версия GLM-4.7-Flash, разработанная на основе базовой модели Zhipu AI. Модель предназначена для генерации текста и задач общего назначения на английском и китайском языках, включая развёртывание через vLLM и Transformers. Это Mixture-of-Experts-модель архитектуры Glm4MoeLiteForCausalLM с 30 млрд параметров, из которых 3 млрд активируются для каждого токена. Она содержит 64 маршрутизируемых эксперта, 4 активных эксперта и 1 общего эксперта, а также 47 слоёв. Максимальная длина контекста составляет 202 752 токена. Квантизация выполнена в формате compressed-tensors NVFP4 с размером блока 16 и масштабами FP8 E4M3. Для сохранения качества attention-компоненты MLA, нормализация, gates и embeddings оставлены в BF16, тогда как MLP-эксперты и первый dense MLP используют FP4. Размер модели составляет около 20,4 ГБ против 62,4 ГБ у BF16-версии; на тесте MMLU-Pro она показала точность 23,55% против 24,83% у базовой версии, что соответствует снижению на 1,28 процентного пункта. Основные ограничения — необходимость совместимой NVIDIA GPU с поддержкой FP4 tensor cores и актуальных версий vLLM и Transformers. Для запуска рекомендуется vLLM 0.14.0 или новее; на мног GPU-системах Blackwell могут потребоваться дополнительные исправления для P2P и tensor parallelism. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.