I.3Извлечение и структурирование данных

ARK-ASR-0.6B — мультиязычная модель распознавания речи от проекта AutoArk. Она использует авторегрессионный декодер Qwen2 примерно на 0,6 млрд параметров, отдельный аудиоэнкодер в стиле Whisper сопоставимого масштаба и MLP-адаптер для преобразования аудиопризнаков. Модель принимает речь с частотой дискретизации 16 кГц и генерирует текстовую расшифровку; заявленная длина контекста — 32 768 токенов. Модель обучена по схеме адаптации на данных учителя и онлайн-дистилляции политики: её собственные варианты транскрипций сопоставляются с оценками учителя. Она предназначена для распознавания речи на китайском, английском, немецком, японском, французском, корейском, испанском, польском, итальянском, румынском, венгерском, чешском, нидерландском, финском, хорватском, словацком, словенском, эстонском и литовском языках. В приведённых авторами тестах качество сопоставимо с Qwen3-ASR-0.6B на английских и китайских наборах данных, но уступает более крупной Qwen3-ASR-1.7B на части тестов. Веса доступны в формате safetensors и распространяются по лицензии Apache-2.0. Для загрузки требуется Transformers с trust_remote_code=True; авторы рекомендуют официальный скрипт инференса, который обрабатывает аудиопромпт и фильтрацию токенов. Код обучения, инференса и оценки находится в отдельном репозитории open-audio-opd.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-GGUF — мультимодальная модель в формате GGUF, созданная автором Genesis на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с переносом данных из Hermes-файнтюна DJLougen/hermes-qwen3.5-35b-a3b-GGUF. Модель ориентирована на диалоговые сценарии, агентские задачи, следование инструкциям и function calling; в карточке также заявлена поддержка обработки изображений и текста. Заявленная архитектура — MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров. Указаны английский, китайский и другие языки, однако точный перечень языков и размер контекстного окна не приведены. Автор применил собственный метод Genesis для численной коррекции весов GGUF без дополнительного обучения, включая анализ тензоров, восстановление нулевых блоков и снижение шума с использованием кастомного SVD и распределения Марченко—Пастура. К сильным сторонам относятся заявленные улучшения стабильности, ясности контекста, следования инструкциям и агентского поведения, а также отсутствие ограничений на отказы в базовой модели по внутреннему тесту автора. Ограничения включают отсутствие независимых бенчмарков и подробных результатов оценки, а также необходимость корректной настройки MoE, GPU offload и KV-cache. В карточке указана лицензия Apache-2.0; совместимость с лицензиями базовой модели и компонентов следует дополнительно проверить.

CompendiumLabs/bge-m3-gguf — это GGUF-версия модели BGE-M3, опубликованная Compendium Labs и основанная на исходной модели BAAI/bge-m3 от Beijing Academy of Artificial Intelligence (BAAI). Это не генеративная языковая модель, а многоязычная модель текстовых представлений для семантического поиска, поиска по сходству, гибридного retrieval и RAG-систем. Модель построена на архитектуре XLM-RoBERTa, содержит около 568–569 млн параметров, формирует векторы размерности 1024 и поддерживает контекст до 8192 токенов. Она рассчитана более чем на 100 языков и объединяет три режима поиска: dense retrieval, sparse retrieval и multi-vector retrieval в стиле ColBERT. Репозиторий CompendiumLabs содержит файлы GGUF в форматах F16 и F32; размер F16-файла составляет около 1,16 ГБ, F32-файла — около 2,27 ГБ. Сильные стороны модели — многоязычность, обработка длинных документов и возможность получать несколько типов retrieval-представлений из одной модели, что удобно для гибридного поиска. Ограничение состоит в том, что модель предназначена для эмбеддингов и извлечения признаков, а не для генерации текста; для максимальной точности поиска рекомендуется дополнительно применять отдельный reranker. Качество может различаться между языками, поскольку объём и баланс обучающих данных неодинаковы. В карточке CompendiumLabs указана лицензия MIT.

RinKana/bge-small-en-v1.5-afterimage — дообученная модель Sentence Transformers на базе BAAI/bge-small-en-v1.5, разработанная автором репозитория RinKana. Она кодирует предложения и абзацы на английском языке в плотные текстовые эмбеддинги размерностью 384 для семантического поиска и извлечения релевантных фрагментов. Архитектура включает BERT, пулинг по CLS-токену и нормализацию векторов; сходство можно оценивать косинусной мерой. Модель содержит около 40 млн параметров и принимает последовательности длиной до 512 токенов. В README описана настройка на сопоставление контекста диалога с подходящим ответом и приведена оценка на задаче извлечения информации. Это может быть полезно для поиска кандидатов ответа по контексту разговора и для семантического поиска по английским текстам. Доступна оценка качества на одном указанном наборе, но результаты сами по себе не показывают качество на других корпусах и типах запросов. Лицензия в предоставленных данных не указана.

BigQwen2.5-52B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели BigQwen2.5-52B-Instruct, разработанной mlabonne и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. В README указан английский язык; сведения о других языках отсутствуют. Модель имеет размер 52 млрд параметров и поставляется в вариантах от F16 до низкобитных Q- и IQ-квантизаций. Доступны файлы размером примерно от 12,39 до 104,55 ГБ. Квантизация выполнена с использованием llama.cpp и imatrix; варианты Q6_K, Q5_K_L, Q5_K_M, Q4_K_L, Q4_K_M и IQ4_XS отмечены как рекомендуемые благодаря сочетанию качества и размера, тогда как более низкие уровни квантизации снижают качество, но уменьшают требования к памяти. Размер контекста и точная архитектура в README не указаны. Для работы требуется совместимое ПО, например llama.cpp или LM Studio, а также значительный объём оперативной или видеопамяти в зависимости от выбранного файла. Модель использует лицензию tongyi-qianwen; в карточке она обозначена как other и приведена ссылка на лицензию Qwen2-72B-Instruct. Условия коммерческого и иного использования следует уточнять в тексте этой лицензии.

JANGQ-AI представила Bonsai-27b-1bit-JANG — мультимодальную модель на архитектуре Qwen3.5 для диалога с текстом и изображениями. Это плотная модель условной генерации с 27 млрд параметров, полученная дообучением prism-ml/Bonsai-27B-unpacked и преобразованием весов в профиль JANG affine с преимущественно 1-битным хранением текстовых матриц. Поддерживаются чат-шаблон с режимом thinking и интерфейсом вызова инструментов, а также обработка изображений и видео. Модель предназначена для ответов на вопросы по изображениям, диалоговых сценариев и использования инструментов. Текстовые матрицы хранятся в 1-битном формате с группами размера 128; часть визуальных линейных слоёв использует 4-битное хранение, а несовместимые тензоры и некоторые параметры остаются в float16. Для запуска требуется сборка vMLX с поддержкой дискретного JANG-affine и смешанной точности для зрения; стандартный mlx_lm эту схему не поддерживает. В README указана проверка на Apple M5 Max с 128 ГБ объединённой памяти. Лицензия — Apache-2.0.

ByT5-small — небольшая предобученная модель Google на архитектуре T5, работающая напрямую с последовательностями байтов UTF-8 и не требующая токенизатора. Она содержит около 364,6 млн параметров и обучалась на mC4 с задачей восстановления замаскированных фрагментов; для практического решения конкретных задач её необходимо дообучить. Модель предназначена для последующего дообучения на задачах преобразования текста: например, для работы с шумными или ошибочными текстами, где важны написание и произношение. Предобучение охватывает многоязычный текст, а обработка байтов позволяет принимать текст на разных языках без отдельного словаря токенов. По данным README, ByT5-small превосходила mT5-small на TweetQA. Это модель кодировщик-декодер для генерации текста по текстовому входу. Последовательности байтов обычно длиннее токенизированных последовательностей, что может снижать скорость обработки. Лицензия — Apache-2.0.

calme-2.1-qwen2-72b-GGUF — это квантизированная версия дообученной языковой модели calme-2.1-qwen2-72b, разработанная и квантизированная MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и выполнение инструкций. Она распространяется в формате GGUF с вариантами квантования от 2 до 8 бит, а также 16-битной версией, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы, в том числе при локальном запуске через llama.cpp. Архитектура, модальности, поддерживаемые языки и размер контекста в README не указаны. Для взаимодействия используется шаблон ChatML. В приведённых оценках модель получила accuracy 0,6761 на TruthfulQA, 0,8248 на Winogrande, 0,7184 нормализованной accuracy на ARC-Challenge и до 0,8893 exact match на GSM8K; эти результаты характеризуют отдельные тесты и не гарантируют качество в любых прикладных сценариях. Квантизация может уменьшать требования к ресурсам, но потенциально сопровождается потерей качества по сравнению с исходной точностью. Лицензия обозначена как other; в качестве лицензии указана tongyi-qianwen, а ссылка ведёт на лицензию Qwen/Qwen2-72B-Instruct. Условия использования следует уточнять по указанному лицензионному документу.

CatPPT-base-Mistral-7B-Instruct-v0.1 — языковая чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/CatPPT-base методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; метаданные отмечают поддержку чата и задачи text-generation. Модель принимает текст и выдаёт текст, её контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README описывает конфигурацию слияния и тип данных bfloat16. Сведения о специальных предметных областях или отдельных языках в предоставленных данных отсутствуют.

ColBERT-Zero-supervised — модель поиска LightOn на базе PyLate и архитектуры ModernBERT, предназначенная для много-векторного поиска по тексту с поздним взаимодействием ColBERT и оценкой MaxSim. Она формирует векторы размерности 128 для токенов запросов и документов; в карточке указаны максимальные длины 39 токенов для запроса и 519 токенов для документа, а метаданные задают контекст до 8192 токенов. Модель содержит 149 млн параметров и использует асимметричные промпты: при кодировании нужно применять prompt_name="query" для запросов и prompt_name="document" для документов. Модель рассчитана на построение поисковых индексов и ранжирование документов по релевантности; в README сообщается результат 55,43 nDCG@10 на BEIR. Данные в карточке указывают на обучение на англоязычных наборах, а метаданные отмечают английский язык. Среди ограничений — чувствительность к соответствию промптов и зависимость результатов от состава обучающих данных и масштаба обучения. Лицензия — Apache-2.0.

NVIDIA Qwen3-8B FP4 — это квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с применением TensorRT Model Optimizer от NVIDIA. Модель предназначена для коммерческого и некоммерческого использования в AI Agent системах, чат-ботах, RAG-системах и других приложениях на базе генерации текста. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми последовательностями, принимает и возвращает строки, поддерживает контекст длиной до 131 тыс. токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс через TensorRT-LLM. Указана совместимость с GPU-ускорителями NVIDIA Blackwell, тестирование проводилось на B200; предпочтительная операционная система — Linux. Поддерживаемый runtime — TensorRT-LLM, версия Model Optimizer — 0.35.0. Сильными сторонами модели являются предварительная FP4-квантизация, большой контекст и готовность к развертыванию в оптимизированном стеке NVIDIA. Ограничения включают зависимость от TensorRT-LLM и рекомендуемого оборудования NVIDIA Blackwell, а также отсутствие в README подробностей о языковом покрытии, результатах тестирования, обучающих данных и характеристиках качества. Калибровка выполнялась на датасете cnn_dailymail. Модель распространяется по лицензии Apache License 2.0; при использовании разработчикам рекомендуется самостоятельно оценивать качество, риски и соответствие конкретным отраслевым требованиям.

sasa2000/cosmos-reason2-2b-text-only — неофициальная текстовая версия NVIDIA Cosmos-Reason2-2B, подготовленная автором репозитория sasa2000. Это плотная причинная языковая модель Qwen3ForCausalLM: из исходной мультимодальной модели оставлены языковой блок и выходной слой lm_head, а компоненты обработки изображений и видео удалены. В метаданных указано 1,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогового использования. Она загружается через Transformers как Qwen3ForCausalLM; README сообщает об успешной загрузке и проверочном прямом проходе. В отличие от исходной Cosmos-Reason2-2B, этот чекпойнт не принимает изображения или видео и не включает соответствующие процессоры и проектор. Репозиторий помечен лицензией other; конкретные условия README не приводит. Это производный чекпойнт, созданный не NVIDIA, поэтому перед использованием следует проверить условия исходной модели и репозитория.

Cygnis-Alpha 2 (8B) v0.3 — это языковая модель для генерации текста, представленная в формате GGUF с различными вариантами квантизации. Базовую модель разработал Simonc-44, а квантизацию выполнил mradermacher. Модель обучалась с использованием наборов данных Cygnis-Alpha2-Instruct-Mix и Cygnis-Identity-SFT и предназначена для локального запуска через совместимые инструменты работы с GGUF. Модель содержит около 8 миллиардов параметров и, судя по метаданным, относится к семейству архитектур Llama 3.1. Она ориентирована на текстовые задачи, включая генерацию ответов, следование инструкциям и рассуждения. Заявлены английский и французский языки. Поддержка мультимодальных входов и размер контекстного окна в README не указаны. Основное преимущество версии — широкий выбор квантизированных вариантов размером примерно от 2,1 до 6,7 ГБ, что позволяет адаптировать модель к доступным ресурсам и выбирать компромисс между скоростью, требованиями к памяти и качеством. При этом некоторые малобитные варианты характеризуются как низкокачественные, поэтому для практического использования рекомендуется выбирать более качественные варианты, например i1-Q4_K_M или i1-Q5_K_M. Модель распространяется под лицензией Apache-2.0.

bartowski/deepcogito_cogito-v1-preview-qwen-14B-GGUF — это квантизированная версия языковой модели cogito-v1-preview-qwen-14B, разработанной deepcogito. Модель предназначена для генерации текста и поставляется в формате GGUF для запуска через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется шаблон диалога с ролями system, user и assistant. Доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Версии с более высокой разрядностью обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4 и Q3 уменьшают требования к ресурсам ценой снижения качества и подходят для локального запуска при ограниченном объёме ОЗУ. Размер базовой модели составляет 14 млрд параметров, однако сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны. Квантизация выполнена bartowski с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0.

KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Mungert/Devstral-Small-2505-GGUF — это набор GGUF-квантизованных версий модели Devstral-Small-2505, базовой моделью которой указана mistralai/Devstral-Small-2505. Модель предназначена для генерации и преобразования текста, а GGUF-формат — для ресурсоэффективного локального запуска, в том числе на системах с ограниченной видеопамятью, CPU и edge-устройствах. Файлы созданы с использованием llama.cpp, commit f5cd27b7. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Точные архитектура, число параметров, размер контекста и набор модальностей не указаны. Представлены варианты квантования, включая ультранизкобитные схемы IQ1 и IQ2 с динамическим распределением точности IQ-DynamicGate; они снижают требования к памяти, но могут уступать полноразмерным версиям по точности. В приведённых тестах для Llama-3-8B такие схемы улучшали perplexity относительно стандартного квантования при сопоставимой скорости, однако эти результаты не являются прямой оценкой данной модели. Модель подходит для локального инференса при ограниченных ресурсах и для исследований низкобитного квантования. Для максимальной точности рекомендуется использовать более высокоточные форматы, если оборудование их поддерживает. Лицензия — Apache-2.0.

DRAMA-1B — плотная мультиязычная модель векторного поиска от разработчиков DRAMA, созданная на основе прунированной большой языковой модели и дообученная для извлечения текстов. Она кодирует запросы и документы в векторы, которые можно сравнивать по сходству для поиска релевантных материалов. Модель имеет архитектуру Llama, около 1,2 млрд параметров и контекст до 131 072 токенов. Модель предназначена для семантического поиска и сопоставления запросов с документами на английском и других языках. Она использует двунаправленное внимание и префикс «Query: » для текста запроса; для документов префикс не нужен. Обучение с Matryoshka Representation Learning позволяет сокращать размерность векторов с базовых 2048 до 768 или 256, выбирая компромисс между размером векторов и качеством поиска. DRAMA-1B оценивалась на бенчмарках BEIR, MIRACL, MLDR и задачах MTEB. В обучающих данных представлены арабский, бенгальский, китайский, английский, финский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, персидский, португальский, русский, испанский, суахили, телугу, тайский и йоруба; для других языков качество может снижаться. Для работы используются пользовательская реализация модели и режим trust_remote_code. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Это компактная модель Sentence Transformers, разработанная автором репозитория much1na и дообученная на основе capemox/ettin-encoder-17m-pretrain-50m для поиска по текстам. Она кодирует предложения и абзацы в плотные векторы размерности 768 и позволяет сопоставлять запросы с документами по косинусному сходству. Модель построена на архитектуре ModernBERT, содержит 16,8 млн параметров и принимает текст с контекстом до 7999 токенов по метаданным; в README заявлена максимальная длина 8192 токена. Модель обучена на 483 497 примерах датасета msmarco-embed-dense_on-triples-v3 с EmbedDistillLoss. Её сценарии — семантический поиск, извлечение релевантных документов и ранжирование кандидатов по близости векторных представлений; в README приведены результаты оценки на наборах NanoBEIR и отдельных задачах поиска. Базовая модель описана как англоязычная, а оценка использует английский NanoBEIR и подсказки query/document, поэтому подтверждена пригодность прежде всего для английского текста. Лицензия в предоставленных данных не указана. Как и другие модели векторного поиска, качество зависит от языка и тематики входных текстов; приведённые оценки относятся к указанным тестовым наборам и не гарантируют качество на произвольных данных.

beomi/EXAONE-3.5-2.4B-Instruct-Llamafied — это адаптированная («llamafied») версия инструкционной языковой модели EXAONE 3.5 2.4B Instruct, разработанной LG AI Research и преобразованной пользователем beomi. Модель предназначена для генерации текста и диалогового взаимодействия на основе инструкций и запросов пользователя. Модель содержит 2,4 млрд параметров, поддерживает контекст длиной до 32 768 токенов и работает с английским и корейским языками. Она распространяется для использования через библиотеку Transformers; в метаданных также указана совместимость с форматом Llama и файлами safetensors. Версия ориентирована на сценарии, где требуется компактная инструкционная LLM с поддержкой длинного контекста. Модель подходит для диалоговых помощников, написания и продолжения текстов, ответов на вопросы, суммаризации и других задач генерации на английском и корейском языках. Ограничения связаны с тем, что это адаптированная версия исходной модели, поэтому совместимость, качество и поведение могут отличаться от оригинальной EXAONE-3.5-2.4B-Instruct. Модель распространяется по лицензии EXAONE, обозначенной в Hugging Face как other; перед использованием необходимо проверить её условия.

Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

guillaumekln/faster-whisper-tiny — конверсия модели Whisper tiny от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи; исходная модель — openai/whisper-tiny. Веса сохранены в FP16. При загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий лицензирован по MIT.

FuseChat-Qwen-2.5-7B-Instruct-Heretic-GGUF — языковая модель в формате GGUF, созданная на основе FuseAI/FuseChat-Qwen-2.5-7B-Instruct и опубликованная пользователем ChiKoi7. Базовая модель относится к семейству Qwen 2.5 и имеет 7 млрд параметров. FuseChat-3.0 разработана FuseAI с использованием неявного объединения возможностей нескольких крупных языковых моделей через Supervised Fine-Tuning и Direct Preference Optimization на данных предпочтений; в качестве целевой модели использовалась Qwen-2.5-7B-Instruct. Для данной версии дополнительно применён Heretic v1.0.1 — метод удаления ограничений на отказы от ответов. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая общие разговорные задачи, следование инструкциям, математику и программирование. По приведённому сравнению, версия Heretic отказалась от ответа в 3 случаях из 100 против 93 из 100 у исходной модели, при этом её KL-дивергенция относительно оригинала составила 0,07. Это указывает на существенно более редкие отказы при сохранении близкого поведения к исходной модели, однако одновременно означает потенциально менее выраженные защитные ограничения. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура трансформера, требования к аппаратному обеспечению и конкретная лицензия. Также не приведены результаты независимой оценки качества после применения Heretic. Поэтому модель следует использовать с учётом возможного отсутствия встроенных ограничений безопасности; условия распространения необходимо уточнять по лицензии базовой модели и репозитория модели.

bartowski/gemma-1.1-7b-it-GGUF — это набор GGUF-квантизованных версий языковой модели Gemma 1.1 7B IT, разработанной Google и подготовленной для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и выполнение инструкций в текстовом формате. Модель содержит около 7 миллиардов параметров и является текстовой, без заявленной поддержки изображений или других модальностей. Доступны варианты квантизации от Q8_0 до Q2_K с размером файлов примерно от 3,48 до 9,07 ГБ. Более качественные варианты требуют больше памяти; в README рекомендован Q6_K, а низкоразрядные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Сведения о размере контекста и поддерживаемых языках не указаны. Преимущество этого набора — возможность локального запуска в формате GGUF с выбором компромисса между качеством, размером и требованиями к памяти. Ограничения связаны с потерями качества при агрессивной квантизации, а также с тем, что README не содержит подробных оценок, перечня языков и характеристик производительности. Использование регулируется лицензией Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

bartowski/gemma-2-27b-it-GGUF — это набор GGUF-квантизаций инструкционно дообученной текстовой модели Google Gemma 2 27B IT, подготовленный bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при запуске через llama.cpp и совместимые инструменты. В README не указаны поддерживаемые языки, максимальный размер контекста и дополнительные модальности, поэтому модель следует считать текстовой. Доступны варианты от F32 размером 108,91 ГБ до низкобитных Q2 и IQ2 размером около 9,40 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6 и Q5 сохраняют очень высокое или высокое качество, а Q4 ориентированы на более экономное использование памяти. Низкобитные варианты требуют меньше ресурсов, но снижают качество и могут быть менее стабильными. Модель не поддерживает системный промпт; для диалогов необходимо использовать указанный в README формат ролей Gemma. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma. README не содержит полного текста лицензии, поэтому перед использованием необходимо ознакомиться с её условиями и проверить их применимость к конкретному сценарию.

bartowski/gemma-2-9b-it-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Gemma 2 9B IT, разработанной Google и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальные чат-приложения и другие задачи, где требуется выполнение инструкций. Доступны варианты от F32 до низкобитных Q2 и IQ-квантизаций объёмом примерно от 3,43 до 36,97 ГБ. Модель является текстовой и использует архитектуру Gemma 2 с примерно 9 млрд параметров. README не указывает поддерживаемые языки и размер контекста. Для работы необходимо применять специальный формат prompt с маркерами начала и конца хода; системные сообщения не поддерживаются. Квантизации с более высокой точностью сохраняют лучшее качество, а варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; низкобитные варианты экономичнее, но могут заметно уступать в качестве. Распространение основано на лицензии Gemma от Google. Для доступа к исходной модели на Hugging Face требуется принять условия использования Google. README не содержит подробного описания ограничений лицензии или результатов бенчмарков, поэтому качество следует оценивать с учётом выбранной квантизации и конкретного сценария применения.

MaziyarPanahi/gemma-3-4b-it-GGUF — набор файлов модели в формате GGUF для Google Gemma 3 4B Instruct, разработанной Google и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие инструменты экосистемы GGUF. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит. Формат GGUF разработан командой llama.cpp как замена устаревшему GGML и поддерживает запуск с ускорением на GPU, а в некоторых инструментах — совместимые API и интеграцию с фреймворками. Эти варианты позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако README не содержит точных сведений об архитектуре, контекстном окне, языках, модальностях и характеристиках производительности модели. Основные преимущества — возможность локального развертывания, широкий выбор уровней квантизации и поддержка несколькими популярными клиентами. Ограничения связаны с потерями качества, возможными при квантизации, а также зависимостью от конкретного рантайма и аппаратной конфигурации. Лицензия в README не указана.

MLX-версия языковой модели GLM-4.7, разработанной организацией zai.org и конвертированной сообществом mlx-community из исходной модели zai-org/GLM-4.7 с помощью mlx-lm 0.30.0. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple. Типичные сценарии включают диалоговое взаимодействие и другие задачи текстовой генерации. Модель использует 6-битное квантование и формат MLX. В карточке указаны поддерживаемые языки English и Chinese, модальность — текстовая. Архитектура, количество параметров и размер контекста в README не уточняются. К сильным сторонам относятся адаптация для MLX и снижение требований к памяти благодаря 6-битному представлению; ограничения — отсутствие подробных данных о качестве, производительности, точном аппаратном охвате и возможностях исходной GLM-4.7. Модель распространяется по лицензии MIT.

GME-Qwen2-VL-7B — мультимодальная модель эмбеддингов Tongyi Lab, подразделения Alibaba Group, дообученная на основе Qwen2-VL-7B-Instruct. Она преобразует текст, одно изображение или пару «изображение и текст» в векторные представления для поиска по тексту и изображениям, включая поиск между модальностями и визуальный поиск по скриншотам документов. Модель использует архитектуру Qwen2-VL, содержит 7,1 млрд параметров по метаданным, поддерживает контекст до 32 768 токенов и динамическое разрешение изображений; размер вектора — 3584. В README сообщается о высоких результатах на бенчмарках UMRB и MTEB, в том числе для задач мультимодального поиска и поиска по сложным документам, например научным статьям. Модель обучалась только на английских данных, поэтому качество мультимодальных эмбеддингов для других языков не гарантируется. В текущей версии поддерживается одно изображение на вход; число визуальных токенов ограничено 1024. Лицензия — Apache-2.0; при распространении модели, производных работ или продуктов с её использованием необходимо заметно указывать «Built with GME», а имена распространяемых моделей, созданных с использованием её выходов, должны начинаться с «GME».

gpt-oss-20b-Derestricted — производная модель Arli AI на основе openai/gpt-oss-20b. Авторы применили Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа, сохранив исходные нормы весов. В каталоге указано 1,6 млрд параметров, архитектура MoE для авторегрессионной генерации текста и контекст до 131 072 токенов. Модель предназначена для диалогов, рассуждений, агентных сценариев и других задач генерации текста, где требуется меньше отказов на запросы. Исходная модель поддерживает настраиваемый уровень рассуждений и формат Harmony; для корректной работы следует использовать шаблон Harmony. Карточка утверждает, что метод помогает сохранить качество рассуждений, но приводит это как результат авторских оценок, а не как независимую гарантию. Модель распространяется по лицензии Apache-2.0. Она может по-прежнему иногда пытаться подавлять запросы; языки в предоставленных данных явно не перечислены.

giladgd публикует модель gpt-oss-20b в формате GGUF для запуска через node-llama-cpp и llama.cpp. Это разговорная текстовая модель генерации на архитектуре семейства GPT-OSS, производная от openai/gpt-oss-20b. Репозиторий содержит варианты MXFP4 и F16; README указывает размер файла MXFP4 12,1 ГБ и F16 13,8 ГБ. Для запуска варианта MXFP4 заявлено потребление памяти в пределах 16 ГБ. Модель предназначена для диалогов, генерации текста и сценариев с агентными возможностями, включая вызов функций и структурированный вывод. README также описывает настройку уровня усилий рассуждения и дообучение под конкретные задачи. Модель поддерживает Apache-2.0, допускающую коммерческое использование. Указанные в карточке возможности не подтверждают качество выполнения конкретных прикладных задач или работу с вебом и Python без соответствующей внешней интеграции.