I.3Извлечение и структурирование данных

VMware/xgen-7b-8k-open-instruct — языковая модель VMware с архитектурой LLaMA, дообученная для выполнения инструкций на основе SalesForce/xgen-7b-8k-base. Модель содержит 6,7 млрд параметров и поддерживает контекст до 8192 токенов; для токенизатора требуется библиотека tiktoken и параметр trust_remote_code=True. Модель предназначена для генерации ответов на инструкции и zero-shot рассуждений, в том числе на примерах из наборов Flan v2. Карточка описывает обучение на 140 тысячах инструкционных примеров, включая Open-instruct и подмножество задач COT. Указана лицензия CC BY 3.0; README заявляет возможность коммерческого использования.

Agnuxo/Agente-Director-Qwen2-7Bron-Instruct_CODE_Python_English_GGUF_16bit — локальный чат-ассистент для генерации кода, опубликованный Франсиско Ангуло де ла Фуэнте под именем Agnuxo. По README, модель основана на Qwen2, имеет 7 млрд параметров и предназначена для запуска локально; в репозитории указаны веса GGUF в формате F16 и лицензия Apache-2.0. Модель помогает писать и обсуждать код на Python, JavaScript, TypeScript, Rust, Go и C++, а также работать с научными вычислениями и библиотеками NumPy, SciPy, Pandas, PyTorch, TensorFlow и JAX. README также заявляет навыки координации агентов через MCP и A2A и декомпозиции задач. Модель принимает текстовые запросы и генерирует текстовые ответы; контекст и подтверждённый перечень языков естественного языка в доступных данных не описаны. Указанные автором возможности не подкреплены результатами независимой оценки качества.

airoboros-3_1-yi-34b-200k — языковая модель с открытыми весами, созданная автором репозитория на основе 01-ai/Yi-34B-200k. Модель дообучена методом QLoRA ранга 64 на наборе инструкций jondurbin/airoboros-3.1, а затем объединена с базовыми весами. Использует архитектуру LlamaForCausalLM и формат safetensors; содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для генерации текста и выполнения инструкций в формате чата Llama 2. Её можно применять для ответов на вопросы, диалогов, следования текстовым инструкциям и создания текстов. Автор сообщает, что проверял модель ограниченно; во время обучения промпты обрезались до 4096 токенов, поэтому качество работы с длинным контекстом отдельно не подтверждено. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты; перед использованием следует проверить лицензию базовой модели и карточку репозитория.

leliuga/all-MiniLM-L6-v2-GGUF — это квантизированные файлы модели all-MiniLM-L6-v2 в формате GGUF. Исходную модель разработала команда Sentence Transformers, а репозиторий с GGUF-файлами подготовлен пользователем Leliuga. Модель предназначена для получения векторных представлений предложений и оценки семантического сходства текста, а также может применяться в задачах поиска, сопоставления и извлечения признаков. Модель основана на архитектуре BERT и относится к семейству Sentence Transformers; её название указывает на использование компактного варианта MiniLM с шестью слоями. Поддерживаемый язык — английский. В README не указаны точный размер модели, доступные уровни квантования, длина контекста и перечень модальностей; по представленным данным модель является текстовой. К сильным сторонам относятся компактность архитектуры и формат GGUF, удобный для локального инференса в совместимых инструментах. Ограничениями являются англоязычная специализация и отсутствие в README подробностей о производительности, точности, контексте и конкретных вариантах квантования. Исходная модель распространяется по лицензии Apache-2.0; для GGUF-репозитория также указана лицензия Apache-2.0.

andreasmartin/apertus-v1.1-swiss-embed-0.4b-bidir-langmoe — экспериментальная модель эмбеддингов для семантического и межъязыкового поиска, созданная адаптацией модели andreasmartin/apertus-v1.1-swiss-embed-0.4b-bidir. Разработчик заменил финальную плотную проекцию эмбеддинга на разреженную смесь из семи экспертов с маршрутизатором Top-2; базовые модули до проекции были заморожены. Модель содержит около 446 млн параметров, принимает текст и формирует векторные представления предложений. Метаданные указывают контекст до 4096 токенов, однако качество MoE-головы обучалось на представлениях длиной до 512 токенов и отдельно не проверялось на более длинном контексте. Модель предназначена для извлечения релевантных документов и поиска сходных предложений, в том числе между языками Швейцарии. В карточке указаны немецкий, английский, французский и итальянский; эксперты также помечены для ретороманского и швейцарского немецкого, но эти метки являются экспериментальными и сами по себе не означают гарантированную поддержку языков. Внутренние диагностические результаты не являются внешними бенчмарками. Для загрузки артефакта требуется trust_remote_code=True, пока модуль не зарегистрирован в Sentence Transformers. Лицензия — Apache-2.0.

Карточка модели avsolatorio/AVES_BAAI_bge-base-en-v1.5-20240126151540-latest на Hugging Face совпадает с карточкой BAAI/bge-small-zh-v1.5, поэтому описание составлено по ней. BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

Компактная модель Sentence Transformer, разработанная swardiantara на базе google/bert_uncased_L-2_H-128_A-2 и дообученная для получения векторных представлений предложений и абзацев. Она кодирует текст в плотные эмбеддинги размерности 128, которые можно сравнивать по косинусному сходству и использовать для поиска и извлечения релевантных текстов. Модель построена на BERT с двумя слоями и использует усреднение токенных представлений; в метаданных указано 4,4 млн параметров. README задаёт максимальную длину последовательности 128 токенов, а метаданные — контекст до 512 токенов. Обучение проводилось на 42 730 парах текстов с OrdinalProxyContrastiveLoss. Модель принимает и выдаёт текстовые данные через векторные представления. Базовая модель англоязычная, и примеры обучающих данных также на английском. Подходит для семантического поиска и сравнения предложений, особенно в сценариях с ограниченными вычислительными ресурсами. README не указывает лицензию; перед использованием следует проверить условия в карточке репозитория. Короткое обучение и небольшая базовая архитектура могут ограничивать качество на задачах и языках, отличающихся от обучающих данных.

CompendiumLabs/bge-large-en-v1.5-gguf — набор квантованных и неквантованных embedding-моделей в формате GGUF, созданный Compendium Labs на основе исходной модели BAAI/bge-large-en-v1.5. Модель предназначена для преобразования текстов в векторные представления, которые можно использовать для семантического поиска, сравнения текстов, кластеризации и других задач, основанных на эмбеддингах. Модель рассчитана на запуск через llama.cpp, llama-cpp-python и интеграцию с LangChain. Доступны варианты F32 размером 1,3 ГБ, F16 размером 639 МБ, Q8_0 размером 342 МБ и Q4_K_M размером 199 МБ. Квантованные версии могут ускорить работу на CPU примерно до 30% при минимальной потере точности; выигрыш на GPU обычно скромнее и зависит от приложения. README не указывает архитектуру, размерность эмбеддингов, максимальную длину контекста и перечень поддерживаемых языков. Сильные стороны модели — поддержка эффективного выполнения на CPU, несколько вариантов точности и совместимость с популярными инструментами экосистемы llama.cpp. Ограничения связаны с тем, что это embedding-модель, а не генеративная языковая модель, а влияние квантования на качество зависит от выбранного формата и сценария. Модель распространяется по лицензии MIT.

Карточка модели RamyAhmed55/bge-m3-arabic-legal на Hugging Face совпадает с карточкой BAAI/bge-m3, поэтому описание составлено по ней. BGE-M3 — многоязычная модель эмбеддингов для поиска, разработанная BAAI и основанная на архитектуре XLM-RoBERTa. Она создаёт плотные эмбеддинги, разреженные лексические представления и многовекторные представления текста для задач извлечения и сопоставления.

bge-m3-italian — модель эмбеддингов и поиска на итальянском языке, разработанная Alberto Barnabò на основе BAAI/bge-m3. Это дообученная XLM-RoBERTa с 658,7 млн параметров, контекстом до 8194 токенов и тремя совместно обученными головами: dense, sparse и ColBERT. Модель предназначена для семантического, лексического и гибридного поиска по коротким фрагментам и длинным документам; её можно использовать как замену bge-m3 в существующих сценариях Sentence Transformers. Для коротких фрагментов автор рекомендует гибридный режим или dense-поиск: sparse-поиск отдельно уступает базовой модели. В приведённых тестах гибридный режим улучшил ранжирование итальянских документов относительно bge-m3; для более точной выдачи модель можно сочетать с реранкером. Репозиторий содержит веса Safetensors и ONNX для dense-головы, включая динамически квантованный вариант int8; sparse- и ColBERT-головы доступны отдельно. Модель обучена на итальянских данных mMARCO и проверена на задачах поиска и семантического сходства. Результаты могут быть скромнее на текстах, заметно отличающихся от обучающих данных. Источник обучающих данных основан на MS MARCO, условия которого ограничивают коммерческое использование; при этом веса модели распространяются по лицензии MIT.

BAAI/bge-small-zh-v1.5 — компактная модель эмбеддингов из семейства BGE (BAAI General Embedding), разработанная BAAI. Она преобразует китайский текст в плотные векторы для поиска документов, семантического поиска, классификации и кластеризации, а также для использования в векторных базах данных и системах дополненной генерации. Модель построена на архитектуре BERT, содержит 27,6 млн параметров и принимает последовательности длиной до 512 токенов. Версия v1.5 улучшает поиск без специальных инструкций и смягчает проблему распределения сходства: для поиска важнее относительный порядок оценок, чем их абсолютное значение. Для коротких запросов к длинным документам инструкция запроса может улучшить результат; её пользу рекомендуется оценивать на конкретной задаче. Модель выдаёт эмбеддинги, а не готовые ответы или оценки ранжирования; для более точного переранжирования README рекомендует отдельную модель BGE reranker. Лицензия — MIT.

C4AI-Command-R-v01-GGUF — это квантизированная версия языковой модели C4AI Command-R, разработанной Cohere и опубликованной как CohereForAI/c4ai-command-r-v01. Формат GGUF подготовлен Second State Inc. Модель предназначена для локального запуска и инференса через совместимые инструменты, включая LlamaEdge; в README указано, что поддержка LlamaEdge находится в разработке. Модель ориентирована на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Размер исходной модели, архитектура, точные сценарии применения и другие характеристики в README не указаны. Контекстное окно составляет 8192 токена. Доступны варианты квантизации от Q2_K до Q8_0 размером от 13,8 до 37,2 ГБ. Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более агрессивная квантизация уменьшает требования к памяти, но может существенно ухудшить качество ответов. Модель квантизирована с использованием llama.cpp b2450. Лицензия модели — CC BY-NC 4.0, поэтому её использование ограничено условиями этой лицензии и некоммерческим характером. Возможности, ограничения по производительности и требования к аппаратному обеспечению в README подробно не описаны.

calme-2.2-qwen2-72b-GGUF — это квантизированная версия текстовой языковой модели calme-2.2-qwen2-72b, разработанной MaziyarPanahi на базе Qwen2-72B. GGUF-квантизации подготовлены пользователем bartowski с использованием llama.cpp и imatrix; модель предназначена для локального запуска, в частности через LM Studio, и поддерживает формат диалога ChatML. В README указано, что модель ориентирована на английский язык и задачи генерации текста, включая чат, следование инструкциям, рассуждения и решение математических и академических задач. Размер исходной модели составляет 72 млрд параметров. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ4, с размером файлов примерно от 39,71 до 77,26 ГБ; некоторые варианты разделены на несколько файлов. Более высокие разрядности обычно сохраняют лучшее качество, тогда как компактные варианты снижают требования к памяти. Для ARM-платформ предусмотрена отдельная Q4_0_4_4. Размер контекста и мультимодальные возможности в README не указаны; по описанию это текстовая, а не мультимодальная модель. Сильными сторонами являются большой размер базовой модели, варианты квантизации для разного объёма доступной памяти и результаты на стандартных тестах, включая 80,08% строгой точности на IFEval, 56,8% на BBH и 41,16% exact match на MATH уровня 5. К ограничениям относятся высокие требования к оперативной или видеопамяти даже у компактных вариантов, возможное снижение качества из-за квантизации и относительно слабые результаты на отдельных сложных тестах, например GPQA и MuSR. Лицензия обозначена как other с названием tongyi-qianwen; условия следует уточнять по лицензии Qwen/Qwen2-72B.

osiria/distiluse-base-italian — модель DistilUSE для получения векторных представлений предложений на итальянском языке. Она создана на основе mDistilUSE (sentence-transformers/distiluse-base-multilingual-cased-v1) с адаптацией слоя эмбеддингов под итальянский язык с использованием частот слов из Википедии. Модель построена на архитектуре DistilBERT, содержит 67 млн параметров и словарь из 30 785 токенов; максимальная длина контекста — 512 токенов. Модель предназначена для кодирования итальянских текстов и вычисления сходства между ними, например, для семантического поиска и сравнения предложений. Она принимает текст и выдаёт векторные представления. Выпущена под лицензией Apache-2.0.

Dumpling-Qwen2.5-32B-GGUF — это квантованные файлы языковой модели Dumpling-Qwen2.5-32B, подготовленные пользователем bartowski на базе модели nbeerbower. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Она может использоваться для диалогов, написания и преобразования текстов, ответов на вопросы и других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит 32 миллиарда параметров и распространяется в формате GGUF с вариантами от BF16 до низкобитных квантований Q2–Q8 и IQ. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Для квантования применялась imatrix с использованием llama.cpp. В README не указаны точный контекст, перечень поддерживаемых языков и мультимодальные возможности; по заявленному pipeline_tag это текстовая, а не мультимодальная модель. Для работы рекомендуется использовать соответствующий шаблон prompt с маркерами Qwen. Сильной стороной является широкий выбор квантований, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию. Более компактные варианты экономят память, но могут заметно снижать качество. Модель лицензирована по Apache-2.0.

sultanbi/e5-base-kazakh — модель Sentence Transformer автора sultanbi, дообученная на переведённой на казахский язык версии набора SNLI. Она основана на intfloat/multilingual-e5-base и использует архитектуру XLM-RoBERTa с усреднением токенных представлений и нормализацией. Модель преобразует предложения и абзацы в плотные векторы размерности 768; близость текстов можно оценивать косинусным сходством. В README указана максимальная длина последовательности 128 токенов, а метаданные Hugging Face сообщают нативный контекст в 514 токенов. Модель предназначена прежде всего для сравнения смысловой близости казахских текстов и семантического поиска; также подходит для поиска перефразировок, кластеризации и классификации текста. В README приведены результаты retrieval на валидационной части казахского SNLI, превосходящие показатели базовой multilingual-e5-base на этом тесте. Метаданные указывают поддержку множества языков, хотя специальное дообучение выполнено для казахского. Лицензия — MIT.

OmarAlsaabi/e5-base-mlqa-finetuned-arabic-for-rag — модель эмбеддингов предложений на базе XLM-RoBERTa, дообученная для сценариев поиска по арабским вопросам и документам MLQA. Она преобразует предложения и абзацы в плотные векторы размерности 768, подходящие для семантического поиска, ранжирования по сходству и кластеризации. Модель содержит около 305,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель предназначена для поиска релевантных фрагментов в RAG-системах и сопоставления арабоязычных запросов с текстами. В README указано обучение с MultipleNegativesRankingLoss и косинусным сходством. Репозиторий использует формат safetensors; лицензия в предоставленных данных не указана.

E5-large-trm-nl — модель эмбеддингов предложений на базе XLM-RoBERTa, дообученная CLiPS на модели clips/e5-large-trm для нидерландского языка. Она кодирует запросы и фрагменты текста в векторы для поиска и сравнения по смыслу; карточка приводит пример работы с ранжированием фрагментов MS MARCO и оценку на бенчмарке MTEB-NL. Модель содержит 453,9 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Модель предназначена для семантического поиска, сопоставления запросов с документами и других задач сходства предложений на нидерландском языке. Распространяется в формате safetensors и использует библиотеку Sentence Transformers. Лицензия — MIT. Качество зависит от соответствия домена и языка входных текстов обучающим данным; опубликованные результаты относятся к бенчмаркам нидерландского языка. Модель выдаёт векторные представления, а не готовые ответы на вопросы.

jspringer/echo-mistral-7b-instruct-lasttoken — модель для извлечения текстовых признаков и построения эмбеддингов на основе Mistral. В карточке указаны плотная архитектура Mistral, 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. README связывает модель с подходом Echo, в котором повторение улучшает языковые эмбеддинги, но подробности и примеры использования вынесены во внешние материалы. Модель предназначена для получения векторных представлений текста, в том числе для сценариев семантического поиска и сравнения текстов. В метаданных также отмечена возможность диалогового взаимодействия. Поддерживаемые языки и лицензия в доступных данных не указаны, поэтому их нельзя надёжно определить.

Embedding-Amharic-Base — модель Sentence Transformers, разработанная rasyosef и дообученная на базе rasyosef/roberta-base-amharic для поиска по амхароязычным текстам. Она преобразует предложения и абзацы в плотные векторы размерности 768, нормализует их и сравнивает по косинусному сходству. Архитектура включает XLM-RoBERTa с усреднением токенных представлений; максимальная длина последовательности в карточке указана как 510 токенов, а контекст в метаданных — 512 токенов. Модель подходит для семантического поиска и извлечения релевантных фрагментов, оценки сходства предложений, поиска перефразирований, кластеризации и классификации текстов. В README приведены результаты оценки поиска на датасете dim_768: cosine recall@10 — 0,9051 и cosine nDCG@10 — 0,8037; при усечении векторов до 256 измерений указаны 0,902 и 0,7978 соответственно. Лицензия — MIT.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

Модель Zoont/faster-whisper-large-v3-turbo-int8-ct2 — преобразованная версия OpenAI Whisper large-v3-turbo в формате CTranslate2 с 8-битной квантизацией. Она предназначена для распознавания речи и преобразования аудио в текст с использованием faster-whisper; поддерживает мультиязычную обработку, включая русский и английский языки. Репозиторий создан 31 января 2025 года, использует библиотеку CTranslate2 и распространяется по лицензии MIT. Карточка отсылает к исходной модели за подробностями; в ней не приведены отдельные сведения о качестве распознавания или длине контекста.

GEFS-language-detector — модель классификации текста для определения, написан ли текст на немецком, английском, французском или испанском языке. Её разработал Muhammad Imran Zaman; модель дообучена на наборе данных papluca/language-identification на базе xlm-roberta-base. Модель использует архитектуру XLM-RoBERTa для классификации последовательностей, содержит 305,2 млн параметров и принимает текст длиной до 514 токенов. На выходе она предсказывает код одного из четырёх поддерживаемых языков: de, en, fr или es. Автор сообщает о результате F1, близком к 100%, но не приводит подробностей методики оценки. Модель подходит для автоматической сортировки и маршрутизации текстов по языку. Распознавание ограничено четырьмя указанными языками, поэтому для других языков её предсказания могут быть ненадёжны. Лицензия — Apache-2.0.

Gemma 3 12B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Квантизацию выполнил bartowski на основе llama.cpp; исходная модель — google/gemma-3-12b-it. Модель предназначена для генерации текста и понимания изображений. Поддерживаемые сценарии включают ответы на вопросы, суммаризацию, рассуждения и другие задачи обработки текста с учётом визуального контекста. Заявлена длина контекста до 128 000 токенов и максимальная длина вывода 8192 токена. Изображения обрабатываются в разрешении 896 × 896. Поддержка конкретных языков в README не указана. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, большой контекст и возможность локального запуска в экосистеме llama.cpp. Ограничениями являются зависимость от совместимого runtime, требование llama.cpp версии 1.19.0 или более новой beta-версии, а также возможные компромиссы качества и скорости, связанные с квантизацией GGUF. Модель может выдавать неточные, вредные или неподходящие ответы. Для доступа к Gemma на Hugging Face требуется принять лицензию Google. В README указана лицензия Gemma; дополнительные условия её использования следует учитывать перед развёртыванием модели.

Gemma 3 4B IT QAT GGUF — мультимодальная модель семейства Gemma 3, разработанная Google и представленная в формате GGUF сообществом LM Studio. Квантизация выполнена с использованием Quantization Aware Training для повышения качества работы в 4-битном режиме. Модель предназначена для генерации текста и понимания изображений, включая ответы на вопросы, суммирование и задачи, требующие рассуждений. Она поддерживает текстово-изображённые сценарии, обрабатывает изображения, нормализованные до разрешения 896 × 896 пикселей, имеет контекстное окно до 128 000 токенов и максимальную длину вывода 8192 токена. Другие характеристики, включая языковой охват и точный набор архитектурных параметров, в README не указаны. К сильным сторонам относятся мультимодальность, большое контекстное окно и оптимизация 4-битной версии с помощью QAT, что делает модель подходящей для локального запуска при ограниченных ресурсах. Ограничения связаны с применением квантизации и указанным пределом разрешения изображений; конкретное влияние на качество и требования к аппаратным ресурсам не описаны. Модель распространяется по лицензии Gemma, для доступа к ней на Hugging Face требуется принять условия лицензии Google.

unsloth/gemma-3n-E4B-it-litert-preview-GGUF — это GGUF-версия инструкционно настроенной модели Gemma 3n E4B от Google DeepMind, подготовленная Unsloth на основе google/gemma-3n-E4B-it-litert-preview. Семейство Gemma создано с использованием технологий и исследований Google, применявшихся при разработке Gemini. Модель предназначена для диалогов, ответов на вопросы, обработки запросов и суммаризации документов. Gemma 3n ориентирована на эффективный запуск на устройствах с ограниченными ресурсами. В исходной конфигурации семейство поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако для данной версии в README заявлена только текстовая поддержка. Максимальный контекст составляет 32K токенов. Модель использует технологию выборочной активации параметров, благодаря чему эффективный размер составляет около 4B параметров при меньших требованиях к ресурсам, чем у моделей с полностью активными параметрами сопоставимого общего размера. Обучение проводилось на данных более чем для 140 разговорных языков, но в карточке явно указан язык en, поэтому возможности для других языков не гарантируются. Для корректной работы рекомендуется использовать параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется на условиях лицензии Gemma; применяются официальные Terms of Use Google. Ограничениями являются заявленная в этой версии текстовая поддержка, отсутствие в карточке подробностей об архитектуре, полном числе параметров и результатах бенчмарков, а также необходимость учитывать требования GGUF-совместимого программного обеспечения.

DealignAI выпустила Gemma-4-12B-it-MXFP4-CRACK — дообученную и квантизированную 4-битную версию Gemma 4 12B-it от Google. Модель рассчитана на запуск через MLX на компьютерах Apple Silicon; файлы занимают около 7,5 ГБ. Архитектура объединяет текст, изображения, аудио и видео, использует 48 слоёв и гибридное внимание со скользящим окном и полным вниманием. Заявленная длина контекста — 128 тысяч токенов. Модель предназначена для диалогов, мультимодального анализа и генерации текста. По описанию автора, CRACK удаляет поведение отказа на уровне весов, сохраняя рассуждения, знания и мультимодальные возможности. В README приведены результаты HarmBench и MMLU, полученные на конкретной конфигурации; они не гарантируют такое же качество на других запросах и средах. Для запуска автор рекомендует Osaurus, поддерживающий архитектуру Gemma 4 Unified. Лицензия — Gemma. Модель не рассчитана на естественный язык отказа при потенциально вредоносных запросах, поэтому ответы требуют самостоятельной проверки.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.

Momix-44/gemma-4-31B-it-heretic-v2 — модифицированная версия мультимодальной модели Google DeepMind gemma-4-31B-it. Модель создана с использованием Heretic 1.2.0 и метода Magnitude-Preserving Orthogonal Ablation (MPOA), направленного на снижение количества отказов в ответах. Согласно README, она предназначена для генерации текста, рассуждений, программирования и анализа изображений. Модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и контекстное окно до 256 тысяч токенов. Она принимает текстовые и визуальные входные данные и генерирует текст. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер скользящего окна составляет 1024 токена. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой производной модели не указаны. Ключевая особенность модели — существенно меньшее число отказов по сравнению с исходной gemma-4-31B-it: в приведённом тесте 37 из 100 против 99 из 100 у оригинала. При этом значение KL divergence составляет 0,3801, поэтому поведение и распределение ответов отличаются от базовой модели. README не содержит независимых оценок качества, а снижение защитных ограничений может повышать риск генерации небезопасного или нежелательного контента. В качестве лицензии указана Apache 2.0 со ссылкой на лицензию Gemma 4.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash, разработанная BatiAI на основе официальных весов Z.ai. Это текстовая генеративная модель для локального запуска и сценариев on-device AI, включая диалоги, генерацию текста на английском, корейском и китайском языках, а также вызов инструментов. Модель использует архитектуру glm5next и разреженную MoE-конфигурацию: около 320 млрд параметров всего, из которых примерно 18 млрд активируются для каждого токена. В составе указаны 288 экспертов с выбором 8 экспертов на токен. Доступны варианты квантизации Q4_K_M, Q3_K_M, Q2_K, IQ3_XXS и IQ2_XXS; размер файлов составляет примерно от 76,6 до 175,7 GiB. Размер контекста в README не указан. Сильными сторонами являются возможность локального запуска, поддержка нескольких языков и проверенная генерация корейского текста и вызовов инструментов на всех заявленных уровнях квантизации. Ограничения связаны с тем, что архитектура пока требует специальной сборки llama.cpp с PR #27752 и не поддерживается стандартными сборками, Ollama и LM Studio. Вызовы инструментов выдаются в собственном XML-подобном формате, поэтому OpenAI-совместимый endpoint llama.cpp может возвращать пустое поле tool_calls; требуется самостоятельный разбор содержимого и запуск с параметром --jinja. Модель распространяется по лицензии MIT.