I.3Извлечение и структурирование данных

Vikhr-Gemma-2B-instruct-GGUF — русскоязычная инструктивная модель, разработанная Vikhrmodels на основе Gemma 2 2B и дообученная на датасете GrandMaster-PRO-MAX. Модель предназначена для генерации текста и выполнения инструкций на русском языке, включая диалоговые и прикладные сценарии, где требуется обработка текстовых запросов. Формат GGUF рассчитан на использование с llama.cpp и совместимыми инструментами. Модель относится к текстовым одно-модальным моделям; сведения о поддерживаемых языках указывают русский язык. Размер базовой модели составляет 2B параметров, однако характеристики контекстного окна и точные архитектурные параметры в README не указаны. Доступны варианты квантования от Q2 до Q8, а также F16, F32 и BF16; приведённые значения perplexity показывают, что более сильное квантование может ухудшать результат, особенно для вариантов Q2. Лицензия Apache-2.0 разрешает использование модели на соответствующих условиях этой лицензии.

jonatasgrosman/wav2vec2-xls-r-1b-english — модель распознавания английской речи, дообученная автором карточки с помощью HuggingSound на базе facebook/wav2vec2-xls-r-1b. Она преобразует аудиозапись в текст и подходит для транскрибирования речи, в том числе записей из наборов Common Voice, Multilingual LibriSpeech, TED-LIUMv3 и VoxPopuli. Архитектура — Wav2Vec2ForCTC семейства wav2vec2; число параметров — 1,3 млрд. Для входного аудио требуется частота дискретизации 16 кГц. Модель принимает аудио и выдаёт текст, поддерживаемый язык — английский. Распространяется в формате PyTorch по лицензии Apache-2.0.

Модель IonGrozea/whisper-base_ro-80mel — версия OpenAI Whisper Base, дообученная на объединённом корпусе румынской речи объёмом около 445 часов. Она предназначена для автоматического распознавания речи и преобразования аудио в текст на румынском языке. Модель использует архитектуру Whisper и 80-канальные мел-спектрограммы; содержит 51,7 млн параметров. Валидация на 25 348 примерах общей длительностью 52,75 часа показала WER 0,1483 и CER 0,048 при декодировании с beam=5. В качестве обучающих данных указаны Echo, VoxPopuli и RODigits. Модель распространяется по лицензии Apache-2.0.

NavAI · whisper-medium-uzbek — модель автоматического распознавания узбекской речи, созданная NavAI дообучением openai/whisper-medium на 753 часах аудио с человеческими расшифровками. Архитектура WhisperForConditionalGeneration, формат Safetensors; метаданные каталога указывают 455,8 млн параметров. README также называет размер 769 млн, поэтому точный размер в источниках расходится. Модель предназначена для преобразования узбекской речи в текст. Она обучена на Common Voice, FLEURS и Uzbek Speech Corpus, а тестовые наборы исключены из обучения. Для лучшего распознавания рекомендуется явно задавать язык uz; типичный вывод — узбекский текст латинским письмом. Обработка выполняется окнами по 30 секунд, длинные записи разбиваются на фрагменты. В README приведены результаты оценки на четырёх отложенных узбекских тестовых наборах и описана единая методика декодирования и нормализации. Слабее обрабатываются редкие иностранные имена, шумная дальняя запись и выраженные диалекты. Лицензия модели — Apache-2.0; для данных Uzbek Speech Corpus требуется атрибуция по CC BY 4.0.

Whisper-Small-CV11 — мультиязычная модель распознавания речи, созданная Burak Aydın путём дообучения стандартной архитектуры OpenAI Whisper Small на корпусе Whispered. Она содержит 153,1 млн параметров и предназначена для транскрибирования аудиозаписей на 11 языках. Модель работает в Transformers и совместима с обычными инструментами для Whisper; для загрузки не требуется доверять дополнительному коду репозитория. При оценке на CommonVoice 17 модель показала более низкий WER, чем исходная Whisper Small, на 10 из 11 языков; README приводит результаты для английского, немецкого и испанского. Обучение сохраняло замороженным энкодер и использовало 15 000 шагов. Модель подходит для расшифровки записанной речи с бытовых микрофонов, в том числе при фоновом шуме. Модель рассчитана на английский, немецкий, испанский, французский, русский, турецкий, арабский, грузинский, тайский, китайский и валлийский языки. Лицензия — Apache 2.0. По заявлению авторов, дообучение снижает качество для других языков Whisper; грузинский вариант на уровне Whisper Small не пригоден для использования. Качество на дальней речи, телефонном аудио 8 кГц и перекрывающейся речи не оценивалось.

xLAM-8x7b-r-IMat-GGUF — это квантизированная версия языковой модели Salesforce/xLAM-8x7b-r, разработанной Salesforce и преобразованной в формат GGUF с использованием llama.cpp. Квантизацию выполнил legraphista; доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0, включая варианты с IMatrix-калибровкой. Модель предназначена прежде всего для function calling, использования инструментов и построения LLM-агентов, а также для текстовой генерации в совместимых средах, включая llama.cpp. В карточке указана поддержка английского языка и датасет Salesforce/xlam-function-calling-60k. Архитектура обозначена тегом Mistral, однако точные сведения о размере контекста и других архитектурных параметрах не приведены. Главное преимущество модели — наличие множества вариантов квантизации, позволяющих выбирать баланс между качеством, требованиями к памяти и скоростью инференса; IMatrix может применяться в ряде низкоразрядных вариантов. Ограничения включают потенциальное снижение качества при агрессивной квантизации, необходимость значительных ресурсов для крупных вариантов и отсутствие подтверждённых характеристик для неанглийских языков и мультимодальных задач. Модель распространяется по лицензии CC BY-NC 4.0, а доступ к репозиторию требует принятия соответствующих условий.

sentence-transformers/xlm-r-100langs-bert-base-nli-mean-tokens — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 на основе XLM-RoBERTa и предназначена для поиска по смыслу и кластеризации текстов. Модель содержит 305,2 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт эмбеддинги; поддерживает 100 языков. Модель распространяется по лицензии Apache-2.0. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют использовать более новые модели Sentence-Transformers.

Карточка модели cocoirun/Yi-Ko-6B-instruct-v1.5-DPO на Hugging Face совпадает с карточкой cocoirun/Yi-Ko-6B-instruct-v1.5, поэтому описание составлено по ней. Yi-Ko-6B-instruct-v1.5 — инструктивная языковая модель, дообученная автором cocoirun на базе семейства Llama. По карточке, модель прошла SFT на примерно 110 тысячах примеров: использовались самостоятельно подготовленные корейские данные по истории, естественным наукам, математике, машинному чтению, анализу отзывов и грамматике, а также материалы Open-Orca-Ko, KoBEST и AIHub. Обучение выполнялось с помощью LoRA. Модель предназначена для генерации ответов и выполнения инструкций в задачах на корейском и английском языках, включая вопросы и ответы, машинное чтение, суммаризацию, перевод и анализ отзывов. Это плотная архитектура LlamaForCausalLM примерно на 5,9 млрд параметров с контекстом 2048 токена; репозиторий содержит веса Safetensors. Лицензия — CC BY-SA 4.0. Карточка не приводит количественных оценок качества. Данные обучения закрыты, поэтому состав и воспроизводимость SFT ограничены доступной информацией; контекст 2048 токена ограничивает работу с длинными документами.

Youtu-VL-4B-Instruct-GGUF — мультимодальная vision-language модель, разработанная Tencent на базе Youtu-LLM с 4 млрд параметров. Представленная версия распространяется в формате GGUF и предназначена для локального или эффективного инференса с использованием совместимых инструментов, включая llama.cpp. Модель принимает изображения и текст и генерирует текстовые ответы, поддерживая широкий спектр задач компьютерного зрения и мультимодального понимания. Модель предназначена для визуального вопросно-ответного взаимодействия, мультимодального рассуждения и математики, OCR, анализа нескольких изображений, оценки галлюцинаций и задач GUI-агента. Среди vision-centric сценариев заявлены визуальное заземление, классификация изображений, обнаружение объектов, referring segmentation, семантическая сегментация, оценка глубины, подсчёт объектов и оценка позы человека. Архитектурной особенностью является подход Vision-Language Unified Autoregressive Supervision (VLUAS), при котором визуальные и текстовые токены участвуют в едином авторегрессионном обучении через визуальный кодбук. Это позволяет решать плотные задачи зрения и задачи генерации текста без специализированных task-specific модулей. Сильными сторонами модели являются сочетание компактного размера, широкого набора визуальных возможностей и универсальной стандартной VLM-архитектуры. В данной сборке применена GGUF-квантизация с ручным повышением точности отдельных важных слоёв, что может улучшать точность при заданном уровне квантизации, но увеличивает размер файла. README не указывает поддерживаемые языки, размер контекстного окна, точные требования к памяти и количественные результаты отдельных бенчмарков, поэтому эти характеристики нельзя определить по имеющимся данным. Лицензия обозначена как youtu-vl; также указано ограничение доступа для пользователей из Европейского союза.

AIFT-ko-orca-plat-Yi-ko-6b-v1.7 — корейская instruct-модель для генерации текста, созданная на основе обучающих данных, собранных и очищенных разработчиком AIFT. Авторы использовали около 40 тысяч примеров: задания из KOR-OpenOrca-Platypus, данные по истории, науке, математике, машинному чтению, анализу отзывов и грамматике, а также материалы для перевода между английским и корейским. В README также указаны задания на краткое изложение и вопросы на проверку фактов. Модель имеет плотную архитектуру семейства Llama, около 5,9 млрд параметров и контекст до 2048 токенов. Для обучения применялся LoRA на двух ускорителях A100 с 40 ГБ памяти. Модель подходит для ответов на вопросы, учебных заданий, чтения и пересказа текста и перевода с английского на корейский и обратно. Обучающие данные не опубликованы, поэтому их состав и качество нельзя независимо проверить. Модель распространяется по лицензии CC BY-SA 4.0; при использовании и распространении производных следует учитывать её условия.

m3hrdadfi/albert-zwnj-wnli-mean-tokens — модель на базе ALBERT, опубликованная пользователем m3hrdadfi. Она предназначена для извлечения векторных представлений предложений и оценки их сходства; её можно подключить через Sentence-Transformers или Transformers с подходящей операцией pooling. Модель содержит 136,3 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате PyTorch. Модель подходит для поиска похожих предложений, семантического поиска и построения эмбеддингов для текстовых приложений. В названии указаны ZWNJ и WNLI, однако README не уточняет языковую поддержку, обучение и специальные ограничения. Лицензия в предоставленных сведениях не указана.

EpistemeAI/Alpaca-Llama3.1-8B.gguf — текстовая авторегрессионная модель семейства Llama 3.1, разработанная на основе Meta Llama 3.1 8B и дообученная в формате Alpaca с применением ORPO. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит GGUF F16, PyTorch и Safetensors версии. Модель принимает текст и генерирует текст. Модель предназначена для диалогового помощника и генерации текста: она может отвечать на вопросы, следовать инструкциям и помогать с черновиками и синтетическими данными. В README перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; отдельная настройка на русский не заявлена. Качество и безопасность ответов могут быть неоднородными, особенно на неподдерживаемых языках, а знания модели ограничены данными обучения. Для использования действует лицензия Llama 3.1 Community License с условиями и ограничениями Acceptable Use Policy.

APA-embed-embeddinggemma-300m-g39-v1.0 — текстовая модель эмбеддингов, дообученная агентством Austria Presse Agentur на базе google/embeddinggemma-300m. Она преобразует тексты в векторы размерностью 768 для семантического поиска; основная цель дообучения — поиск документов по запросу в большом корпусе, также поддерживается поиск похожих документов по примеру. Обучение использовало новостные тексты, предоставленные участниками G39. Модель основана на семействе Gemma и совместима с SentenceTransformers, vLLM и HuggingFace Text Embeddings Inference. Благодаря обучению Matryoshka векторы можно сокращать до 512, 256 или 128 измерений с небольшим снижением качества. Лицензионные условия унаследованы от базовой модели и отсылают к Gemma Terms of Use.

QuantFactory/ArliAI-Llama-3-8B-Dolfin-v0.5-GGUF — это квантизированная в формате GGUF версия модели ArliAI-Llama-3-8B-Dolfin-v0.5, созданная с использованием llama.cpp. Исходная модель разработана на основе Meta-Llama-3-8B-Instruct и дообучена OwenArli на улучшенных наборах данных Dolphin и WizardLM. Квантизация выполнена QuantFactory. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций. Дообучение ориентировано на более точное следование инструкциям и менее частые отказы от ответов. Модель использует архитектуру семейства Llama 3 и содержит около 8 миллиардов параметров. Поддерживается текстовая модальность; конкретные языки в README не указаны. Заявлена работа с контекстом до 8192 токенов, хотя обучение проводилось с длиной последовательности 2048 токенов. Модель обучалась с использованием QLoRA: 4-битной загрузки, rank 64 и alpha 128; обучаемыми были примерно 2% весов. Квантизированный формат рассчитан на запуск через llama.cpp и может быть удобен для локального инференса с ограниченными аппаратными ресурсами. Ограничения включают отсутствие подробных результатов OpenLLM Benchmark в представленном README и отсутствие точной информации о поддерживаемых языках, фактическом качестве на разных задачах и требованиях к аппаратному обеспечению. Модель распространяется по лицензии Meta Llama 3 License, унаследованной от базовой Meta-Llama-3-8B-Instruct. Условия этой лицензии необходимо учитывать при использовании и распространении модели.

zeromodels/bart_base — реализация базового чекпойнта BART в формате Keras 3 от проекта zeromodels, перенесённая с facebook/bart-base. Это трансформер encoder-decoder для извлечения признаков и дообучения на задачах понимания и генерации текста; веса доступны в формате TensorFlow, а реализация рассчитана на работу с TensorFlow, Torch и JAX. Модель обучена восстанавливать искажённый текст: двунаправленный энкодер сочетается с авторегрессионным декодером, используется токенизатор byte-level BPE, общий с RoBERTa. Чекпойнт предназначен прежде всего как языковой backbone: его можно применять для получения признаков или дообучать для суммаризации, перевода, классификации последовательностей и других задач text-to-text. Головы задач, отсутствующие в репозитории, инициализируются случайно и требуют дообучения; готовые специализированные веса можно загружать отдельно. Лицензия — Apache-2.0.

Компактная модель cnmoro для получения эмбеддингов предложений и извлечения признаков из текста на английском и бразильском португальском языках. Она создана дообучением google/bert_uncased_L-2_H-128_A-2 и опубликована с использованием AutoTrain; архитектура — BERT, размер модели составляет 4,4 млн параметров, а размер выходного вектора — 128 измерений. Модель предназначена для вычисления сходства между предложениями и создания текстовых векторов, например для поиска похожих фраз или сравнения смысловой близости. Она принимает текст, поддерживает контекст до 512 токенов и распространяется в формате safetensors для библиотеки Sentence Transformers. В карточке приведена метрика loss 0,057, но подробности методики оценки не сообщаются. Компактный размер может быть удобен при ограниченных вычислительных ресурсах. Модель настроена для английского и бразильского португальского, поэтому качество на других языках не подтверждено. Сведения о лицензии в предоставленных данных отсутствуют.

swardiantara/bert-tiny-yelp-k3-adaptive-euclidean — компактная модель Sentence Transformers, дообученная разработчиком на базе google/bert_uncased_L-2_H-128_A-2. Она преобразует предложения и абзацы в плотные векторы размерности 128 и предназначена для поиска и сравнения текстов по косинусному сходству. Архитектура включает BERT с двумя слоями и mean pooling; модель содержит 4,4 млн параметров, принимает текст длиной до 512 токенов по метаданным Hugging Face, а README указывает максимум 128 токенов. Модель обучалась на 7 605 030 парах текстов с метками и поддерживает получение эмбеддингов и оценку сходства предложений. Примеры и базовая модель указывают на английский язык; специализация набора данных связана с отзывами Yelp. Репозиторий распространяет веса в формате safetensors. Лицензия в предоставленных данных не указана.

bge-small-zh-v1.5-gguf — это модель для создания векторных представлений текста (embeddings), основанная на BAAI/bge-small-zh-v1.5. Репозиторий GGUF-файлов подготовлен Compendium Labs. Модель предназначена для семантического поиска, сравнения текстов, кластеризации, retrieval-сценариев и других задач, где требуются embedding-векторы. По названию и исходной модели она ориентирована на китайский язык, однако точный перечень поддерживаемых языков в README не указан. Модель доступна в форматах GGUF с представлениями F32, F16, Q8_0 и Q4_K_M; размеры файлов составляют примерно от 15 до 91 МБ. Она совместима с llama.cpp и llama-cpp-python, поддерживает получение embedding-векторов для одной строки или списка строк и автоматическую пакетную обработку. Архитектура, число параметров, размерность векторов, максимальная длина контекста и перечень модальностей в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. К сильным сторонам относятся компактность, возможность локального запуска и ускорение на CPU при использовании квантованных вариантов: заявлено до 30% прироста скорости при минимальной потере точности. На GPU преимущество над ONNX описано как умеренное и зависящее от приложения, а из-за небольшого размера модели выгода от квантования может быть ограниченной. Лицензия — MIT, если соблюдаются её условия.

biencoder-camembert-L4-mmarcoFR — компактная плотная двубашенная модель эмбеддингов для семантического поиска на французском языке, разработанная Antoine Louis. Она кодирует запросы и документы в векторы размерности 768, а релевантность оценивает по косинусному сходству. Основа — CamemBERT-L4, облегчённая версия CamemBERT с удалёнными верхними слоями; модель содержит 62,3 млн параметров и принимает последовательности длиной до 514 токенов, хотя при обучении максимальная длина запросов и документов составляла 128 токенов. Модель дообучена на французских данных mMARCO, включая сложные негативные примеры, для поиска релевантных фрагментов по запросам. Её можно применять для семантического поиска и ранжирования найденных документов в корпусах на французском языке. Для использования доступны Sentence-Transformers, FlagEmbedding и Transformers. Лицензия — MIT.

Cohere Transcribe 03-2026 — открытая модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Данная версия распространяется в формате .oasr для нативного запуска в среде OpenASR без Python во время инференса, с поддержкой CPU и GPU. Модель предназначена для преобразования аудио в текст и подходит для транскрибации записей, речи и других аудиоданных. Она поддерживает 14 языков, включая английский, основные европейские языки, арабский, китайский, японский, корейский и вьетнамский. Архитектура представляет собой Conformer-энкодер для обработки акустических признаков и облегчённый Transformer-декодер; размер модели составляет около 2 млрд параметров. К сильным сторонам относятся специализированная архитектура для распознавания речи, локальный запуск, поддержка CPU и GPU, а также варианты квантования, уменьшающие требования к памяти. Доступны сборки fp16, q8_0 и q4_k размером примерно от 1,51 до 4,14 ГБ; q8_0 рекомендуется как вариант с близким к fp16 качеством и меньшим размером, а q4_k — для более ограниченных по памяти систем. Абсолютная точность распознавания и ограничения по длине контекста в README не указаны. Модель и упаковки распространяются по лицензии Apache-2.0.

Cybertron v4 qw7B MGS — диалоговая плотная трансформерная модель на 7,1 млрд параметров, разработанная fblgit и основанная на Qwen2.5-7B-Instruct. Она дообучена методом SFT на датасете Magpie-Align/Magpie-Qwen2.5-Pro-1M-v0.1 и предназначена для генерации текста и ответов в диалоге; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет заявленную длину контекста 131 072 токена. В карточке автор заявляет высокие результаты в классе моделей 7B–8B и приводит оценки Open LLM Leaderboard, включая 62,64 на IFEval и 37,04 на BBH; эти результаты относятся к указанной автором оценке. Для модели указана лицензия other, поэтому условия использования следует сверить с лицензией и файлами репозитория. В README упоминается подход MGS, но его расшифровка и подробности не раскрыты.

Это GGUF-квантизированная версия языковой модели DeepSeek-V3.1, разработанной deepseek-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и совместимые проекты на его основе. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q4 и Q3/Q2, включая форматы IQ. Размер файлов составляет примерно от 188 до 713 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют значительно больше оперативной памяти и ресурсов; варианты Q4 и Q5 позиционируются как сбалансированные, а Q2 и Q3 — как более экономичные, но с заметным снижением качества. Квантизация выполнена с использованием imatrix и llama.cpp release b6214. Сильной стороной модели является возможность локального запуска в различных форматах GGUF и выбор между качеством и требованиями к памяти. Ограничения включают исключительно большие размеры файлов, высокие аппаратные требования и отсутствие в README сведений о поддерживаемых языках, длине контекста, точной архитектуре, рекомендованном шаблоне запросов и лицензии. Формат промпта также не указан; рекомендуется обратиться к странице исходной модели deepseek-ai/DeepSeek-V3.1.

KennethEnevoldsen/dfm-sentence-encoder-large — датская модель для получения векторных представлений предложений. Это версия chcaa/dfm-encoder-large-v1, дообученная методом SimCSE в рамках Scandinavian Embeddings Benchmark как простой базовый ориентир. Архитектура — BERT; модель содержит около 453,9 млн параметров и принимает последовательности длиной до 512 токенов. Модель предназначена для извлечения эмбеддингов датского текста, например для сравнения смысловой близости предложений и поиска похожих фрагментов. Опубликована в форматах PyTorch и Safetensors. Лицензия — MIT.

Diver-Retriever-0.6B — модель текстовых эмбеддингов и ранжирования AQ-MedAI, дообученная на Qwen/Qwen3-Embedding-0.6B. Она предназначена для семантического поиска и сопоставления запросов с документами, в том числе в задачах, требующих рассуждений. При обучении использовались данные по математике, программированию и медицине с подобранными по сложности негативными примерами. Модель поддерживает китайский и английский языки, имеет 507,6 млн параметров и контекст до 32 768 токенов; архитектура относится к семейству Qwen3. README отмечает результаты на Bright и MTEB-Medical, но не приводит здесь полные таблицы оценок. Распространяется в формате safetensors по лицензии Apache-2.0.

denniscraandijk/dutch-english-multilingual-e5-large-instruct — сжатая удалением параметров версия multilingual-e5-large-instruct, созданная с помощью mtem-pruner для задач на нидерландском языке. Модель на архитектуре XLM-RoBERTa содержит 450,6 млн параметров и формирует плотные текстовые эмбеддинги для семантического поиска, извлечения релевантных фрагментов и сравнения предложений. Она рассчитана прежде всего на нидерландский; README также указывает английский в названии, но не подтверждает его качество. Контекст — до 514 токенов. По данным карточки, модель на 37,2% меньше исходной и должна сохранять близкое качество на нидерландских задачах при меньших требованиях к памяти. Удаление токенов из словаря может ухудшить работу на других языках исходной многоязычной модели. Модель распространяется по лицензии MIT.

Fun-ASR-MLT-Nano-2512 — мультиязычная модель распознавания речи из семейства Fun-ASR, разработанного командой FunASR. Чекпойнт содержит около 800 млн параметров и обучен на сотнях тысяч часов многоязычной речи. Он предназначен для преобразования аудио в текст на 31 языке, с особым вниманием к языкам Восточной и Юго-Восточной Азии. Модель поддерживает управление языком распознавания; интерфейс FunASR также предоставляет настройку горячих слов и обратную текстовую нормализацию (ITN). В README приведены результаты для семейства Fun-ASR, но они не относятся непосредственно к этому чекпойнту. Возврат временных меток, диаризация говорящих и обучение модели отмечены как пока не поддерживаемые функции. Для запуска используется библиотека FunASR. Модель распространяется по лицензии Apache-2.0.

qwp4w3hyb/gemma-2-9b-it-iMat-GGUF — набор GGUF-квантизованных вариантов модели Google Gemma 2 9B IT, подготовленных на основе google/gemma-2-9b-it. Модель предназначена для генерации текста и локального запуска через llama.cpp; доступно множество уровней квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты с суффиксом _L. Для квантизации использовалась importance matrix (imatrix), призванная снизить потери качества по сравнению с обычной квантизацией. Модель имеет размер около 9 миллиардов параметров, поддерживает текстовый ввод и вывод и ориентирована на английский язык. В сборке учтены исправления llama.cpp, связанные с final logit soft capping, sliding window и токенизатором; конкретный размер контекстного окна в данных не указан. Разные уровни квантизации позволяют выбирать компромисс между качеством, потреблением памяти и скоростью, однако более компактные варианты могут заметнее терять качество. Лицензия указана как gemma; дополнительные условия использования в README не приведены.

RedHatAI/gemma-3-27b-it-FP8-dynamic — квантизированная версия мультимодальной модели Google Gemma 3 27B IT, подготовленная Neural Magic. Модель принимает изображения и текст, а генерирует текст, поэтому предназначена для визуально-текстового диалога, анализа изображений, ответов на вопросы по изображениям и обычных языковых задач. В README явно указан английский язык; сведения о поддерживаемых языках кроме него отсутствуют. Модель основана на архитектуре gemma-3-27b-it с 27 миллиардами параметров и использует FP8-квантизацию весов и активаций. Квантизация выполнена динамически для линейных слоёв; vision tower и мультимодальный проектор не квантизировались. Версия оптимизирована для инференса с vLLM версии 0.5.2 и выше, включая OpenAI-совместимый режим сервинга. Размер контекста в конфигурации оценки составлял 4096 токенов, однако это не обязательно соответствует максимальному контексту модели. По приведённым оценкам, FP8-версия в среднем сохраняет близкую к исходной модели точность на текстовом бенчмарке OpenLLM v1 и на vision-задачах MMMU и ChartQA. Её сильные стороны — сочетание обработки изображений и текста, снижение требований к памяти и эффективное развертывание с vLLM. Ограничения включают возможную потерю точности из-за квантизации, зависимость от совместимого инференсного стека и отсутствие в README подробностей о максимальном контексте, производительности, безопасном использовании и других языках. Модель распространяется по лицензии Apache-2.0.

ark4004/gemma3.8-27B-FP8 — репозиторий на Hugging Face, опубликованный пользователем ark4004. По истории репозитория он является копией Qwen/Qwen3.8-27B-FP8, поэтому название Gemma не подтверждает принадлежность к семейству Gemma. Модель предназначена для диалоговой генерации текста и обработки изображений с текстом: заявлена совместимость с Transformers, vLLM и SGLang, а примеры показывают ответы на текстовые запросы и анализ изображений. Это постобученная мультимодальная модель класса image-text-to-text с заявленным размером 27B параметров и FP8-квантизацией; для исходной Qwen-версии указана fine-grained FP8-квантизация с размером блока 128. Репозиторий распространяется по лицензии Apache-2.0. Точные архитектурные детали, поддерживаемые языки, размер контекстного окна, результаты оценки, сильные стороны и ограничения именно копии ark4004 в доступных данных надежно не указаны, поэтому их нельзя утверждать.

Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.