I.3Извлечение и структурирование данных

Карточка модели baggiofu1234567/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

Карточка модели YINzhiping/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой sentence-transformers/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers, разработанная в ходе Community Week Hugging Face. Это дообученный энкодер на архитектуре BERT с 25,9 млн параметров: он преобразует предложения и короткие абзацы в плотные векторы размерностью 384, отражающие их семантику. Модель дообучена контрастивным методом на более чем миллиарде пар предложений из нескольких наборов данных. Модель предназначена для семантического поиска, сравнения предложений и кластеризации текстов. Она поддерживает английский язык; максимальный контекст по метаданным — 512 токенов, при этом карточка сообщает, что вход длиннее 256 WordPiece-токенов обрезается. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Векторы полезны для поиска смыслового сходства, но сама модель не генерирует текст; длинные входы обрезаются, а качество представлений зависит от соответствия текста и задачи обучающим данным.

qxakshat/all-MiniLM-L6-v2-32dim — модель Sentence Transformers на архитектуре BERT, которая преобразует предложения и абзацы в плотные векторы размерностью 32. Её можно применять для семантического поиска, кластеризации и оценки сходства текстов. Репозиторий содержит веса в формате safetensors; модель насчитывает 25,9 млн параметров и принимает последовательности длиной до 512 токенов. Это уменьшенная по размерности версия all-MiniLM-L6-v2: README указывает, что 32-мерное представление получено снижением размерности исходного 384-мерного. На тесте STS с оценкой косинусного сходства версия на 32 измерения показала Pearson 0,7256 и Spearman 0,7481, ниже исходной версии с 384 измерениями (0,8274 и 0,8203 соответственно). Модель ориентирована на английский язык и выпущена по лицензии Apache-2.0.

KhaledReda/all-MiniLM-L6-v35-pair_score — англоязычная модель Sentence Transformers, дообученная автором KhaledReda на наборе pairs_with_scores_v30. Она преобразует предложения и абзацы в нормализованные плотные векторы размерности 384; косинусное сходство между векторами можно использовать для оценки семантической близости текстов. Архитектура включает BERT-трансформер, mean pooling и нормализацию; размер модели — 25,9 млн параметров. Контекст по метаданным — до 512 токенов, а README указывает ограничение последовательности в 256 токенов. Модель предназначена для семантического поиска, сравнения текстовых пар, поиска перефразировок, кластеризации и классификации текста. Обучающий набор содержит пары текстов со скалярными оценками сходства; обучение выполнено с помощью CoSENTLoss. Поддерживается английский язык. Лицензия — Apache-2.0. Модель выдаёт эмбеддинги, а не готовые текстовые ответы или метки: для сравнения текстов и поиска нужно отдельно вычислять сходство либо применять векторный индекс. Качество для языков кроме английского не подтверждено; указанная длина последовательности в README меньше контекстного лимита из метаданных.

KhaledReda разработал all-MiniLM-L6-v67-pair_score — модель Sentence Transformers, дообученную на парах текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 384; сходство между ними оценивается косинусной близостью. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию. Модель рассчитана на английский язык; в README указана максимальная длина последовательности 256 токенов, а метаданные Hugging Face указывают контекст 512 токенов. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. Она содержит 25,9 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0. Качество для языков помимо английского и применимость к длинным текстам свыше указанного предела последовательности не подтверждены.

KhaledReda/all-MiniLM-L6-v74-pair_score — англоязычный Sentence Transformer, дообученный на парах текстов с оценками сходства. В основе лежит sentence-transformers/all-MiniLM-L6-v2; модель построена на архитектуре BERT и содержит 25,9 млн параметров. Она кодирует предложения и абзацы в плотные векторы размерности 384, нормализует их и предназначена для сравнения по косинусному сходству. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 256 токенов. Модель подходит для семантического поиска, поиска перефразировок, кластеризации и классификации текстов, а также для оценки семантического сходства пар. Она обучена на датасете KhaledReda/pairs_with_scores_v60 с помощью CoSENTLoss. Репозиторий использует формат safetensors и библиотеку sentence-transformers; лицензия — Apache-2.0. Модель ориентирована на английский язык. Её векторное представление можно использовать как признак или для ранжирования по близости, но качество на других языках не заявлено. При применении следует учитывать указанное в README ограничение длины 256 токенов; метаданные каталога приводят контекст в 512 токенов.

AhmetAytar разработал модель на базе sentence-transformers и архитектуры MPNet для преобразования предложений и абзацев в плотные векторы размерности 768. Модель насчитывает 136,7 млн параметров, принимает текст и формирует эмбеддинги; длина контекста составляет 514 токенов. Модель предназначена для семантического поиска и кластеризации текстов. Она обучалась с помощью MultipleNegativesRankingLoss с косинусной мерой сходства, что ориентирует эмбеддинги на сопоставление семантически близких текстов. Лицензия в предоставленных данных не указана.

BAAI/bge-m3 — многоязычная модель эмбеддингов семейства XLM-RoBERTa, разработанная BAAI и представленная в репозитории Bylaw/BAAI-bge-m3. Она предназначена для поиска по смыслу и извлечения документов, включая многоязычный и межъязыковой поиск, а также поиск по длинным текстам. Модель формирует плотные эмбеддинги, разреженные лексические веса и многовекторные представления ColBERT; эти представления можно использовать отдельно или объединять в гибридном поиске и RAG-конвейерах. Модель имеет 658,7 млн параметров, размерность эмбеддинга 1024 и контекст до 8194 токенов. README заявляет поддержку более 100 языков и указывает, что модель можно применять к коротким предложениям и длинным документам. В карточке также заявлены форматы PyTorch и Safetensors, а лицензия — MIT. BGE-M3 удобна тем, что объединяет несколько подходов к поиску и поддерживает длинный контекст. По README, для задач на одном языке специализированные одноязычные модели могут показывать лучшие результаты; поддержка разреженного поиска также зависит от используемой библиотеки. Для повышения точности авторы рекомендуют сочетать гибридный поиск с отдельной моделью-реранкером.

sobamchan/bert-large-uncased-no-mrl — англоязычная модель Sentence Transformers, дообученная на наборе all-nli на основе google-bert/bert-large-uncased. Она кодирует предложения и абзацы в плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель подходит для семантического поиска, сравнения текстов по смыслу, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README приведён результат на sts-dev: Spearman 0,8165 для косинусного сходства. Модель построена на BERT с усреднением токенных представлений и распространяется в формате Safetensors. Модель рассчитана на английский язык. Для других языков её пригодность не подтверждена; длинные входы ограничены 512 токенами. Лицензия в предоставленных данных не указана.

RinKana/bge-base-en-v1.5-afterimage-v.0.1 — англоязычная модель Sentence Transformer, дообученная на базе BAAI/bge-base-en-v1.5. Она кодирует предложения и абзацы в плотные текстовые векторы размерности 768 для поиска и сравнения по смыслу. Архитектура включает BERT, пулинг по CLS-токену и нормализацию; сходство векторов можно оценивать косинусной мерой. Максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, извлечения релевантных фрагментов и подбора ответа к контексту диалога. Для обучения использовались 4 744 примера с якорным текстом, положительными и отрицательными парами; в README приведена оценка retrieval на наборе gap-to-candidate-eval. Репозиторий содержит веса safetensors и рассчитан на использование с библиотекой Sentence Transformers. Лицензия в предоставленных данных не указана.

Карточка модели katanemo/bge-large-en-v1.5 на Hugging Face совпадает с карточкой BAAI/bge-large-en-v1.5, поэтому описание составлено по ней. BAAI/bge-large-en-v1.5 — англоязычная модель эмбеддингов семейства BGE, разработанная Beijing Academy of Artificial Intelligence (BAAI) для поиска и сравнения текстов. Она преобразует текст в векторы, пригодные для семантического поиска, извлечения документов и построения систем с дополненной генерацией (RAG). Версия v1.5 улучшает retrieval и делает модель менее зависимой от инструкций для запросов по сравнению с предыдущей версией. Модель основана на архитектуре BERT и содержит 433,9 млн параметров. Она принимает текстовые входы на английском языке, имеет контекстное окно до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Для поиска можно сначала получить кандидатов с помощью эмбеддингов, а затем повысить точность ранжирования отдельной моделью BGE Reranker. Модель подходит для семантического поиска и сходства предложений. README предупреждает, что абсолютные значения сходства не следует трактовать как универсальную шкалу: из-за особенностей обучения оценки могут быть выше 0,5 даже для несхожих предложений. Лицензия — MIT.

RishabJ/bge-m3-dim-384 — вариант мультиязычной модели эмбеддингов BGE-M3, опубликованный пользователем RishabJ. Основан на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и рассчитан на последовательности длиной до 8194 токенов. Репозиторий содержит веса PyTorch и Safetensors; лицензия — MIT. Модель предназначена для поиска по смыслу, извлечения документов и построения RAG-систем. Семейство BGE-M3 поддерживает плотный поиск, разреженные лексические веса и многовекторное представление ColBERT, что позволяет строить гибридный поиск и обрабатывать как короткие фразы, так и длинные документы. README указывает поддержку более 100 языков; этот репозиторий имеет уменьшенную размерность эмбеддингов 384. Модель полезна для многоязычного семантического и гибридного поиска, а также для оценки сходства предложений. Для повышения точности поиска README рекомендует применять отдельный реранкер после извлечения кандидатов. Доступна по лицензии MIT.

pqnet/bge-m3-gguf — конвертированная в формат GGUF версия модели BGE-M3 от BAAI, подготовленная для запуска через llama.cpp. Репозиторий содержит веса F16 без квантизации; исходная модель предназначена для многоязычного семантического, лексического и гибридного поиска по текстам и документам, а также получения эмбеддингов и вычисления сходства предложений. Лицензия — MIT. Модель подходит для построения векторного поиска, сравнения текстов и извлечения признаков в приложениях, использующих llama.cpp. Карточка репозитория указывает на конверсию весов из BAAI/bge-m3 и отсылает к исходной карточке за подробностями о возможностях модели.

harheem/bge-m3-nvidia-ko-v1 — модель Sentence Transformers, дообученная на базе BAAI/bge-m3 для создания векторных представлений предложений и абзацев. Она использует архитектуру XLM-RoBERTa с плотным выходом, нормализацией и косинусным сравнением; полная размерность эмбеддинга составляет 1024, а максимальная длина входной последовательности — 8194 токена по метаданным (в README указано 8192). Модель предназначена для семантического поиска и сопоставления текстов, поиска перефразирований, кластеризации и классификации на основе эмбеддингов. Карточка описывает обучение на 6397 парах «якорь — положительный пример» с матрёшечной функцией потерь и приводит показатели поиска для сокращённых размерностей от 64 до 768. В примерах обучающих данных есть корейские тексты о CUDA и NVIDIA, тогда как README заявляет английский язык; метаданные также помечают корейский. Модель принимает текст и выдаёт векторы; лицензия Apache-2.0. Карточка не описывает ограничения по предметной области или оценку работы на иных языках и типах данных, поэтому качество вне приведённых сценариев следует проверять отдельно.

mlx-community/bge-small-en-v1.5-8bit — компактная 8-битная версия модели bge-small-en-v1.5 в формате MLX для построения текстовых эмбеддингов. Модель относится к семейству sentence-transformers, основана на архитектуре BERT и содержит около 40 млн параметров; она предназначена для работы с английским языком и поддерживает контекст до 512 токенов. Модель преобразует тексты и предложения в векторные представления, пригодные для семантического поиска, сравнения похожести, классификации, кластеризации и reranking. Она может использоваться как компонент retrieval-систем и RAG-приложений, а формат MLX ориентирован на запуск в экосистеме Apple. Модель не является генеративной и не предназначена для создания ответов или продолжения текста. Распространяется по лицензии MIT. К ограничениям относятся поддержка английского языка, максимальная длина контекста 512 токенов и возможная потеря точности из-за 8-битного квантования; качество зависит от предметной области и способа использования эмбеддингов.

Citaman/command-r-33-layer — языковая модель семейства Cohere, созданная автором репозитория с помощью слияния моделей через mergekit и метод SLERP. В конфигурации использована Citaman/command-r-34-layer с диапазонами слоёв [0, 33] и [1, 34]; результат предназначен для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Модель содержит 29,2 млрд параметров, построена на плотной архитектуре CohereForCausalLM и принимает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Citaman/command-r-37-layer — объединённая с помощью mergekit модель на архитектуре Cohere для генерации текста и диалогового взаимодействия. В README описано слияние методом SLERP двух срезов модели Citaman/command-r-38-layer; метаданные классифицируют результат как дообучение этой базовой модели. Модель содержит 32,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 8192 токенов. Она предназначена для текстовых запросов, чата и сценариев с интерфейсом вызова инструментов. Лицензия в предоставленных данных не указана.

Это модель Sentence Transformers на архитектуре MPNet, дообученная на данных WebNLG 2020 для оценки покрытия данных. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, кластеризации и сравнения текстов. В модели 136,7 млн параметров, она принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель подходит для поиска семантически близких текстов и группировки предложений или документов по смыслу. Для использования предусмотрены Sentence-Transformers и Transformers с соответствующей операцией pooling. Данных о лицензии в предоставленных источниках нет.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

Kenneth Enevoldsen разработал dfm-sentence-encoder-large-exp2-no-lang-align — модель Sentence Transformers на архитектуре BERT с 453,9 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 1024; длина контекста — до 512 токенов. Модель предназначена для сравнения смысловой близости текстов и подходит для семантического поиска, кластеризации и получения текстовых эмбеддингов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель принимает текст и выдаёт векторы. В карточке нет сведений о поддерживаемых естественных языках или условиях лицензии, поэтому определить их нельзя.

juanmcristobal/e5-large-v2-mitre — дообученная модель Sentence Transformer на базе intfloat/e5-large-v2 для получения плотных текстовых эмбеддингов. Архитектура включает BERT, mean pooling и нормализацию; модель содержит 433,9 млн параметров, выдаёт векторы размерности 1024 и рассчитана на последовательности длиной до 32 токенов по README. Метаданные указывают максимальный контекст 512 токенов, поэтому фактический предел для этой версии в источниках расходится. Модель обучена на 2 268 288 парах предложений с MultipleNegativesRankingLoss. Она предназначена для семантического поиска и сравнения предложений, поиска перефразировок, кластеризации и использования эмбеддингов в классификации текста; близость векторов оценивается косинусным сходством. Примеры обучающих пар посвящены киберугрозам и защите, но данных недостаточно, чтобы считать модель специализированной только для этой области. Карточка не сообщает лицензию; базовая модель — англоязычная, а язык дообучения явно не указан.

EXAONE-4.5-33B-FP8 — плотная vision-language-модель с 33 млрд параметров, разработанная LG AI Research и подготовленная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD через Furiosa-LLM. Модель объединяет выделенный vision encoder с языковой архитектурой EXAONE 4.5 и принимает изображения вместе с текстом, возвращая текстовые ответы. Модель предназначена для мультимодального диалога, анализа изображений и текстовых запросов, гибридного рассуждения и вызова инструментов через функции. Рассуждение включено по умолчанию, но может отключаться для отдельных запросов. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Архитектура обозначается как Exaone4_5_ForConditionalGeneration; максимальная длина контекста в README не указана. Вариант использует статическую per-channel FP8-квантизацию выбранных весов линейных слоёв и динамическую token-wise-квантизацию активаций без офлайн-калибровки. Vision encoder, attention projections, LM head и MTP attention projections исключены из FP8-квантизации, а KV-кэш сохраняется в 16-битной точности. Сильными сторонами являются мультимодальность, гибридное reasoning и нативная поддержка tool calling. Ограничения включают зависимость описанной сборки от Furiosa-LLM и RNGD; для работы требуется tensor parallelism на 32 PE, то есть четыре карты RNGD. Модель распространяется по лицензии EXAONE AI Model License.

F2LLM-v2-80M — компактная многоязычная модель эмбеддингов из семейства F2LLM-v2, разработанного CodeFuse AI. Она основана на архитектуре Qwen3 и предназначена для получения векторных представлений текста для семантического поиска, ранжирования и других задач сравнения текстов. Модель содержит 66,8 млн параметров и поддерживает контекст до 40 960 токенов. Модель обучена на данных семейства F2LLM-v2, включающих курированный набор из 60 млн публичных примеров; в README заявлена поддержка более 200 языков, с акцентом на языки с ограниченными ресурсами. Она поддерживает инструкции для поисковых запросов и Matryoshka Representation Learning: размер эмбеддинга можно уменьшать усечением с последующей нормализацией. Представлены результаты на ряде бенчмарков MTEB, однако конкретные показатели этой версии в карточке не приведены. Репозиторий содержит safetensors-веса и использует библиотеку Transformers. Лицензия — Apache-2.0. Это дообученная и уменьшенная версия модели codefuse-ai/F2LLM-v2-0.6B-Preview-Pruned-80M.

Это конверсия модели распознавания речи Whisper large-v2 от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Она принимает аудио и предназначена для распознавания речи; веса сохранены в FP16, а при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает много языков, включая русский, английский, китайский, немецкий, испанский и французский. Репозиторий распространяется по лицензии MIT.

joshuapb/fine-tuned-matryoshka-100 — англоязычная модель Sentence Transformers, дообученная автором на основе BAAI/bge-base-en-v1.5 с использованием MatryoshkaLoss и MultipleNegativesRankingLoss. Она кодирует предложения и абзацы в плотные эмбеддинги для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации текста. Архитектура основана на BERT: модель использует CLS-пулинг и нормализацию, создаёт векторы размерностью 768, а сходство можно оценивать косинусной мерой. Обучение Matryoshka позволяет использовать укороченные эмбеддинги размерностью 512, 256, 128 или 64; максимальная длина входа — 512 токенов. Модель содержит 136,7 млн параметров и распространяется по лицензии Apache-2.0.

srikarvar/fine_tuned_model_3 — модель Sentence Transformers на архитектуре BERT, дообученная автором на базе srikarvar/multilingual-e5-small-pairclass-contrastive. Она кодирует предложения и абзацы в плотные векторы размерности 384; для сравнения используется косинусное сходство. Модель рассчитана на английский язык, принимает последовательности длиной до 512 токенов и выдаёт эмбеддинги. Модель подходит для семантического поиска, оценки сходства текстов, поиска перефразирований, кластеризации и классификации. В README приведена оценка на наборе e5-cogcache-small-refined: cosine_accuracy@1 — 0,5, @3 — 0,8571, @5 — 1,0; обучающая выборка содержит 246 пар. Репозиторий использует safetensors и библиотеку Sentence Transformers. Лицензия — Apache-2.0.

TurkuNLP/finnish-modernbert-large-short-5e-05-msmarco — модель Sentence Transformers, дообученная TurkuNLP на базе TurkuNLP/finnish-modernbert-large-short на датасете msmarco-co-condenser-margin-mse-sym-mnrl-mean-v1. Она преобразует предложения и абзацы на английском языке в плотные эмбеддинги размерности 1024 для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации. Архитектура состоит из ModernBERT с усреднением токенных представлений; максимальная длина последовательности — 8192 токена, сходство оценивается косинусной мерой. Модель подходит для построения поиска по смыслу и систем ранжирования текстовых кандидатов, когда запросы и документы представлены на английском языке. В карточке приведён результат cosine_accuracy 0,994 на TripletEvaluator для msmarco-co-condenser-dev; он относится к указанной оценке и не гарантирует такую же точность на других данных. Лицензия в предоставленных сведениях не указана.

Gemma-3-12b-it-GGUF — квантизированная GGUF-версия мультимодальной модели Gemma 3 12B Instruct, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалогов, генерации и анализа текста, а также обработки изображений с использованием соответствующего мультимодального проектора. Модель содержит 12 миллиардов параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размеры файлов составляют примерно от 4,77 до 23,5 ГБ. Для обработки изображений требуется файл gemma-3-12b-it-mmproj-f16.gguf, изображения необходимо нормализовать до разрешения 896×896, при этом каждое изображение кодируется в 256 токенов. README не указывает поддерживаемые языки. Основные преимущества — большой контекст, поддержка текста и изображений и возможность локального запуска через LlamaEdge. Качество и требования к ресурсам зависят от выбранной квантизации: малые варианты экономичнее, но могут заметно терять в качестве, тогда как Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые. Для запуска через LlamaEdge требуется версия 0.18.5 или новее. Модель распространяется по лицензии Gemma.

gemma-4-12B-it-GGUF — это GGUF-сборка мультимодальной модели Google DeepMind gemma-4-12B-it, опубликованная prithivMLmods. Модель предназначена для генерации и понимания текста, анализа изображений, видео и аудио, категоризации контента, сжатия контекста и локальных AI-приложений без зависимости от API. Она также ориентирована на агентские сценарии и многошаговое рассуждение. Модель имеет 12 млрд параметров и унифицированную encoder-free архитектуру: текстовые, визуальные и аудиоданные поступают непосредственно в основу LLM без отдельных vision- и audio-энкодеров. Заявлены сниженные задержка и потребление памяти, поддержка Multi-Token Prediction для ускорения вывода и работа на устройствах примерно с 16 ГБ памяти. В README указан английский язык и мультимодальный режим image-text-to-text; размер контекста не указан. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16 и F16, с размерами основных файлов от 4,83 до 23,8 ГБ. Сильными сторонами являются мультимодальность с нативной поддержкой аудио, возможность локального запуска и широкий выбор уровней квантования. Ограничения README не описывает; в частности, отсутствуют подробности о фактической производительности, поддерживаемых языках кроме английского, максимальном контексте и требованиях к конкретному оборудованию. Модель распространяется по лицензии Apache 2.0.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.