I.3Извлечение и структурирование данных

Карточка модели mikelalda/multilingual-e5-base на Hugging Face совпадает с карточкой intfloat/multilingual-e5-base, поэтому описание составлено по ней. Multilingual-E5-base — многоязычная модель для получения эмбеддингов текста, разработанная авторами технического отчёта Multilingual E5. Она основана на XLM-RoBERTa-base и продолжительно обучена на смеси многоязычных наборов данных. Модель имеет 12 слоёв, размер эмбеддинга 768 и около 305,2 млн параметров; поддерживает до 512 токенов текста и доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO. Модель предназначена для поиска по смыслу, сопоставления предложений и текстов, семантической близости, поиска парафразов и межъязыкового поиска. Для асимметричного поиска используйте префиксы «query: » и «passage: », а для симметричных задач и извлечения признаков — «query: »; без префиксов качество может снизиться. Поддерживается около 100 языков, включая русский, хотя для языков с малым объёмом данных качество может быть ниже. Лицензия — MIT.

sentence-transformers/quora-distilbert-multilingual — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель построена на DistilBERT и предназначена для работы с текстом; максимальная длина контекста составляет 512 токенов. Модель подходит для поиска похожих вопросов и текстов, группировки предложений по смыслу и получения эмбеддингов для поисковых систем. Доступны варианты весов PyTorch, TensorFlow, ONNX и OpenVINO; для удобной работы можно использовать библиотеку Sentence-Transformers. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-32B-FP8-dynamic — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-32B. Она предназначена для рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под специализированные предметные области посредством дообучения. Модель работает с текстом на входе и выходе и построена на архитектуре Qwen3ForCausalLM. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри transformer-блоков. Веса квантизуются статически по каналам, активации — динамически по токенам; слой lm_head не квантуется. По заявлению разработчиков, это примерно вдвое снижает требования к памяти GPU и размер на диске, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Модель рассчитана на эффективное развертывание с vLLM, включая OpenAI-совместимую подачу. К сильным сторонам относятся сочетание возможностей базовой Qwen3-32B с уменьшенными требованиями к памяти и поддержка рассуждений, многоязычных инструкций и function calling. При этом FP8-квантизация может влиять на точность по сравнению с исходной моделью, а README не содержит подробностей о поддерживаемых языках, длине контекста и количественных результатах оценки. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

RedHatAI/Qwen3-4B-Instruct-2507-quantized.w8a8 — это квантизированная версия языковой модели Qwen/Qwen3-4B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель построена на архитектуре Qwen3ForCausalLM, работает с текстом на входе и генерирует текст на выходе. Размер базовой модели — 4 млрд параметров; поддерживается контекст до 262 144 токенов в конфигурации развертывания, указанной в README. Модель предназначена для рассуждений, следования многоязычным инструкциям, перевода и function calling. Её также можно адаптировать под предметные области с помощью дообучения. Языки перечислены обобщённо как многоязычные, без указания конкретного набора языков. Поддерживается эффективное развертывание через vLLM, включая OpenAI-совместимый API. Веса и активации линейных операторов в блоках Transformer квантизированы в INT8; применяются SmoothQuant и GPTQ. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может увеличить пропускную способность матричных умножений примерно в 2 раза. Ограничение модели — использование квантованного представления и текстовая модальность; сведения о конкретном влиянии квантования на качество и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Apache 2.0.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

AxionML/Qwen3.5-9B-NVFP4 — квантизированная версия мультимодальной модели Qwen3.5-9B, разработанная AxionML на базе Qwen/Qwen3.5-9B с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для открытого и коммерческого применения, локального развертывания и высокопроизводительного инференса в сценариях, связанных с обработкой текста и изображений, включая рассуждения, программирование, работу агентов и визуальное понимание. Модель представляет собой причинную языковую модель с vision encoder и поддерживает 9 млрд параметров. Архитектура сочетает Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention; заявлены 32 слоя, скрытая размерность 4096 и контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Qwen3.5 заявляет поддержку 201 языка и диалекта, однако конкретные языки и ограничения мультимодального ввода для этой сборки не уточнены. Линейные слои модели используют NVFP4-квантизацию весов и активаций: значения хранятся в 4-битном формате FP4 с блочным масштабированием FP8. Это уменьшает размер модели на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16 и делает модель удобной для экономичного сервинга. Ограничением является потенциальная потеря качества из-за квантизации: в приведённых результатах NVFP4-версия немного уступает исходной Qwen3.5-9B на отдельных языковых бенчмарках. Для эффективной работы требуются совместимые аппаратные и программные средства, в частности GPU NVIDIA Blackwell и стек инференса с поддержкой NVFP4, например SGLang. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование.

Qwen3.6-35B-A3B-GPTQ-4bit — это 4-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, работы с изображениями, задач программирования, рассуждений, вызова инструментов и обслуживания через vLLM. Она поддерживает мультимодальные запросы с текстом и изображениями, а также спекулятивное декодирование благодаря модулю MTP. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; в каждом слое выбираются 8 из 256 экспертов. Архитектура включает 40 слоёв, чередующиеся линейное и полное внимание, визуальный энкодер ViT из 27 блоков и контекстное окно до 262 144 токенов. Экспертные модули квантизованы до INT4 методом GPTQ, тогда как визуальный энкодер, MTP, общие эксперты, эмбеддинги и ряд других компонентов сохранены в BF16 или FP16. Размер модели составляет около 25 ГБ, а измеренная деградация perplexity относительно исходной BF16-версии — около 0,83% на wikitext-2. К сильным сторонам относятся значительное сокращение размера и требований к памяти при сохранении мультимодальности, длинного контекста и поддержки инструментов. Ограничение заключается в том, что согласно README модель напрямую не загружается через GPTQModel или transformers и предназначена для инференса в vLLM; для запуска может потребоваться исправление совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

RadixArk/Qwen3.8-27B-NVFP4 — квантизированная производная модели Qwen3.8-27B, разработанной Qwen. Квантизация выполнена RadixArk с использованием NVIDIA Model Optimizer по смешанной схеме NVFP4 W4A4; RadixArk не обучала и не дообучала исходную модель. Модель предназначена для развертывания в системах AI-агентов, чат-ботах, RAG-системах и других приложениях искусственного интеллекта. Это плотная мультимодальная Transformer-модель с 27 млрд параметров. Она принимает текст, изображения и видео, а генерирует текст; заявленная нативная длина контекста — до 262 144 токенов. Для MLP-слоёв и lm_head используется динамическая NVFP4 W4A4-квантизация с размером группы 16, веса внимания представлены в FP8, а тензоры MTP и vision сохраняют исходную точность BF16. Модель ориентирована на запуск через SGLang в Linux на GPU NVIDIA Blackwell; данный checkpoint был создан и проверен на GB300. К преимуществам относятся готовая низкобитная конфигурация, поддержка мультимодального ввода, длинного контекста и сценариев работы с инструментами, а также заявленные результаты 97,27% на GSM8K и 73,81% на подмножестве Terminal-Bench 2.1. Эти оценки получены в текстовом режиме на конфигурации из четырёх GPU NVIDIA B300/GB300 и не гарантируют аналогичные результаты в других условиях. Модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому перед использованием необходимы проверка и защитные меры. Распространяется по Apache License 2.0; сведения о возможностях, обучении и ограничениях унаследованы от исходной модели Qwen3.8-27B.

Deritak/Qwen3.8-Flash-Next-heretic-2-ROCMFP4 — размещённая пользователем сборка Qwen3.8-Flash-Next, причинной языковой модели с визуальным энкодером. README описывает гибридную архитектуру с Gated DeltaNet, Qwen Sparse Attention, Mixture of Experts и n-граммными эмбеддингами: заявлены 125 млрд параметров, из которых активируются 6 млрд, а также отдельные параметры эмбеддингов и слой multi-token prediction. Модель принимает текст и изображения и предназначена для диалогов, задач с длинным контекстом и агентных сценариев, включая работу с кодом и офисными приложениями. В README указан контекст 262 144 токена с возможностью расширения до 1 000 000. Автор репозитория сообщает о проблеме с встроенной квантизацией MTP и рекомендует её не использовать; приведённые замеры скорости относятся к AMD AI Max+ PRO 395. Метаданные указывают GGUF и GGUF BF16, но лицензию обозначают только как other, поэтому точные условия использования по доступным сведениям определить нельзя.

unsloth/Step-3.7-Flash-GGUF — GGUF-квантизированная версия модели Step 3.7 Flash, разработанной StepFun и распространяемой в формате Unsloth Dynamic 2.0. Это мультимодальная vision-language модель со sparse Mixture-of-Experts: она объединяет языковую основу примерно на 196 млрд параметров и vision-энкодер на 1,8 млрд параметров, активируя около 11 млрд параметров на токен. Модель поддерживает изображения и текст, английский язык и контекст до 256 тысяч токенов. Доступны уровни рассуждения low, medium и high для выбора баланса между скоростью, стоимостью и глубиной обработки. Модель предназначена для высоконагруженных агентных сценариев, объединяющих восприятие изображений, поиск, проверку информации, работу с инструментами и рассуждение. Она подходит для анализа больших финансовых документов, обработки интерфейсов, wireframe, графиков и диаграмм, многошагового поиска с перекрёстной проверкой источников, оркестрации внешних API и параллельных задач программирования. Заявленная производительность достигает 400 токенов в секунду; модель также ориентирована на исправление ошибок в многосоставных репозиториях и генерацию патчей, проходящих автоматические тесты. Сильные стороны модели — большое контекстное окно, нативное понимание изображений, поддержка длительных агентных рабочих процессов и возможность локального, облачного или серверного развёртывания через Transformers, vLLM, SGLang и llama.cpp. Ограничения включают значительные требования к памяти и вычислительным ресурсам: для локального запуска указаны устройства как минимум со 128 ГБ unified memory. README не содержит подробностей о качестве на языках, кроме английского, а заявленные результаты бенчмарков могут зависеть от конфигурации и способа инференса. Лицензия — Apache-2.0.

Карточка модели jamiehudson/579-STmodel-brand-rem-v5_final на Hugging Face совпадает с карточкой jamiehudson/579-STmodel-v5_final, поэтому описание составлено по ней. jamiehudson/579-STmodel-v5_final — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и подходит для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров и принимает последовательности длиной до 514 токенов. В карточке указано обучение с функцией потерь CosineSimilarityLoss. Модель можно использовать через Sentence-Transformers или Transformers с подходящей операцией pooling. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.

Карточка модели delwinn/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

Карточка модели PIXMELT/all-MiniLM-L6-v2 на Hugging Face совпадает с карточкой yosuaw/all-MiniLM-L6-v2, поэтому описание составлено по ней. all-MiniLM-L6-v2 — модель Sentence-Transformers на базе MiniLM, разработанная в рамках проекта Hugging Face Community Week. Она кодирует предложения и короткие абзацы в плотные векторы размерности 384, отражающие семантическое содержание. Модель обучена контрастивным дообучением предварительно обученной nreimers/MiniLM-L6-H384-uncased на наборе более чем из миллиарда пар предложений. Модель предназначена для семантического поиска, извлечения информации, сравнения сходства предложений и кластеризации текстов. Архитектура — BERT-подобный MiniLM с 25,9 млн параметров; максимальная длина контекста — 512 токенов, а по умолчанию входы длиннее 256 WordPiece-токенов обрезаются. Карточка указывает поддержку английского языка. Веса доступны в форматах PyTorch, Safetensors и TensorFlow; лицензия — Apache-2.0.

VladimirRH/all-MiniLM-L6-v2-ru-mnrl — русскоязычная модель Sentence Transformers, дообученная разработчиком на базе sentence-transformers/all-MiniLM-L6-v2 на 20 000 примерах с использованием MultipleNegativesRankingLoss. Энкодер на архитектуре BERT преобразует предложения и абзацы в плотные векторы размерности 384; сходство между ними можно оценивать косинусной близостью. Модель предназначена для семантического поиска и извлечения релевантных текстов. Модель принимает текст и выдаёт векторы признаков. В README указана максимальная длина последовательности 256 токенов, а в метаданных — нативный контекст 512 токенов. Примеры обучающих данных — на русском языке; они включают пары близких по смыслу предложений и отрицательные примеры. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

BAAI/bge-large-en — англоязычная модель плотных текстовых эмбеддингов из семейства BGE (BAAI General Embedding), разработанного Beijing Academy of Artificial Intelligence (BAAI). Она кодирует текст в векторы для семантического поиска, извлечения документов, классификации и кластеризации, а также для поиска контекста в системах с векторными базами данных и RAG. Модель построена на архитектуре BERT и содержит около 433,9 млн параметров; принимает текстовые последовательности длиной до 512 токенов и выдаёт векторы. Для поиска по короткому запросу и длинным документам README рекомендует добавлять к запросу инструкцию. В карточке также рекомендована более новая версия bge-large-en-v1.5: у исходной модели распределение оценок сходства может быть смещено, поэтому абсолютный порог сходства следует выбирать по данным конкретной задачи. Модель распространяется по лицензии MIT.

Command A+ — открытая мультимодальная модель Cohere и Cohere Labs для диалогов, агентных сценариев и задач, требующих рассуждений. Эта версия представлена в формате BF16; её архитектура — декодерный трансформер со sparse Mixture-of-Experts: 218 млрд параметров всего, из которых 25 млрд активны, 128 экспертов и 8 активных экспертов на токен. Модель принимает текст и изображения и генерирует текст; поддерживает вызов внешних инструментов в диалоге. Модель рассчитана на многоязычные сценарии и обучение охватывает 48 языков, включая русский, английский, арабский, хинди, японский и китайский. Контекст составляет до 128 тысяч входных и 64 тысяч выходных токенов. Веса распространяются по лицензии Apache 2.0. Для запуска указаны Transformers с необходимыми изменениями из исходного репозитория либо vLLM версии 0.21.0 или выше; для корректного разбора ответов в vLLM требуется библиотека Cohere Melody. BF16-версия требует значительных GPU-ресурсов: в карточке приведены конфигурации от четырёх B200 или восьми H100.

distiluse-base-multilingual-cased-v2 — модель Sentence Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 512 на основе архитектуры DistilBERT и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель поддерживает множество языков, включая русский, и может применяться для поиска похожих фраз и документов в многоязычных коллекциях. Максимальная длина контекста — 512 токенов. Доступны форматы PyTorch, safetensors, TensorFlow, ONNX и OpenVINO; лицензия — Apache-2.0. Модель выдаёт эмбеддинги, а не готовые ответы или метки. Качество поиска зависит от языка, предметной области и выбранного способа сравнения векторов; тексты длиннее контекстного окна ограничиваются доступной длиной.

Карточка модели Nguyentruong031203/embeddinggemma-300m на Hugging Face совпадает с карточкой michaelfeil/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная мультиязычная модель эмбеддингов от Google DeepMind на основе текстовой архитектуры Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы и предназначена для семантического поиска и извлечения информации, оценки сходства, классификации и кластеризации. Модель содержит 302,8 млн параметров, принимает текст длиной до 2048 токенов и выдаёт эмбеддинги размером 768, 512, 256 или 128 измерений с помощью Matryoshka Representation Learning. Обучалась на данных более чем из 100 языков и рассчитана в том числе на запуск на мобильных устройствах и компьютерах с ограниченными ресурсами. Подходит для поиска документов и кода по запросам, поиска материалов для систем вопросов и ответов, обнаружения дубликатов, тематической группировки текстов и классификации по заданным категориям. Для использования предусмотрена библиотека Sentence Transformers. Лицензия — Gemma; применяются условия использования и политика допустимого использования Gemma. Качество зависит от охвата и особенностей обучающих данных. Модель может хуже улавливать языковые нюансы, сарказм и переносный смысл; возможны смещения в эмбеддингах.

unsloth/gemma-4-26b-a4b-it-MLX-8bit — это 8-битная MLX-версия мультимодальной instruction-tuned модели Gemma 4 26B A4B. Семейство Gemma разработано Google DeepMind, а данный вариант опубликован Unsloth и основан на google/gemma-4-26B-A4B-it. Модель предназначена для локального запуска и дообучения, включая работу на совместимом оборудовании Apple через экосистему MLX. Модель принимает текст и изображения и генерирует текст. Она ориентирована на генерацию текста, рассуждения, программирование, мультимодальное понимание, агентские сценарии и вызов функций. В семействе Gemma 4 заявлены поддержка более 140 языков, настраиваемые режимы рассуждения, нативная роль system и контекстное окно до 256K токенов для средних моделей. Архитектура семейства включает гибридное внимание с локальными скользящими окнами и глобальным вниманием, а вариант 26B A4B использует архитектуру Mixture-of-Experts; обозначение A4B указывает на примерно 4 миллиарда активных параметров при общем размере модели около 26 миллиардов. К сильным сторонам относятся мультимодальность, поддержка длинного контекста, возможности рассуждения и программирования, а также 8-битное представление, снижающее требования к памяти по сравнению с полноразмерными вариантами. Ограничения конкретного MLX-релиза, результаты бенчмарков, точные требования к оборудованию и перечень поддерживаемых языков в README не приведены; качество также может отличаться от исходной модели из-за квантования. Модель распространяется по лицензии Apache 2.0.

aoiandroid/gemma-4-E2B-it-GGUF — GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной в формате GGUF с использованием материалов Unsloth. Модель предназначена для локального запуска и решения задач генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями; для E2B также заявлена поддержка аудио. Она генерирует текст и поддерживает системные инструкции, вызов функций и настраиваемые режимы рассуждения. Модель имеет около 2,3 млрд эффективных параметров, или 5,1 млрд с учётом эмбеддингов, 35 слоёв и контекстное окно до 128 тысяч токенов. Архитектура использует гибридное внимание: локальное скользящее окно на 512 токенов чередуется с глобальным вниманием. Поддерживаются текст, изображения с переменным соотношением сторон и разрешением, а также аудио; семейство Gemma 4 в целом заявляет поддержку более 140 языков. Небольшой размер и формат GGUF ориентированы на эффективное выполнение на ноутбуках и мобильных устройствах, однако квантование может снижать точность по сравнению с полноразмерной версией, а конкретные требования к памяти и производительность зависят от выбранного файла квантования и среды запуска. Модель распространяется по лицензии Apache 2.0; при использовании также следует учитывать условия лицензии Gemma 4, указанной разработчиком.

gemma-4-E2B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем или организацией prithivMLmods. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для исследований и приложений на базе llama.cpp. Она поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, анализ изображений, OCR, анализ кадров видео и native function calling. Доступен настраиваемый режим рассуждений. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров вместе с embedding-слоями, использует Per-Layer Embeddings и Quantization-Aware Training (QAT). Архитектура включает 35 слоёв с чередованием локального sliding window attention на 512 токенов и глобального внимания, а также отдельные vision- и audio-энкодеры примерно на 150 млн и 300 млн параметров соответственно. Контекстное окно составляет 128K токенов, словарь — 262 тысячи токенов, заявлена поддержка более 140 языков; в README явно указан английский язык. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16, F16 и F32, с размером основных файлов примерно от 2,98 до 18,5 ГБ. К сильным сторонам относятся мультимодальность, большое контекстное окно, оптимизация QAT для снижения требований к памяти и локального инференса, а также широкий выбор уровней квантования. Ограничения — заметные требования к памяти для старших вариантов, а также отсутствие подробных данных о производительности на конкретном оборудовании и практических ограничениях мультимодальных возможностей. Лицензия — Apache-2.0.

Marqo/multilingual-e5-small — клон модели multilingual-e5-small, основанной на intfloat/multilingual-e5-small. Изменение относительно оригинала — исправленный pad_token_id в config.json. Это плотная BERT-модель с 12 слоями и размерностью эмбеддингов 384; она выдаёт текстовые векторы для оценки сходства и поиска по смыслу. Модель содержит 124,3 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, Safetensors и ONNX. Модель предназначена для многоязычного семантического сходства, поиска фрагментов по запросам, поиска перефразировок и межъязыкового поиска. Для обучения использовалась смесь многоязычных наборов данных; заявлена поддержка 100 языков, хотя качество может снижаться для языков с малым объёмом данных. Для корректной работы следует добавлять префиксы «query: » и «passage: » в соответствии с типом входного текста. Длинные тексты обрезаются до 512 токенов; лицензионные условия — MIT.

SanctumAI/Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия модели Phi-3.5-mini-instruct, разработанной Microsoft и подготовленной к распространению в данном формате командой SanctumAI. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций, включая задачи, связанные с обработкой естественного языка и кодом. Она относится к семейству Phi-3 и обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. В процессе дообучения применялись supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на улучшение следования инструкциям и безопасности ответов. Модель поддерживает контекст до 128K токенов и заявлена как multilingual, однако конкретный перечень языков не указан. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 1,42 до 7,64 ГБ, а оценочная потребность в оперативной или видеопамяти — от 5,02 до 10,82 ГБ. Это позволяет запускать модель на сравнительно ограниченных по ресурсам системах, но более сильная квантизация может снижать качество по сравнению с f16. Модель распространяется по лицензии MIT.

Qwen2.5-7B-DeepSeek-R1-1M — объединённая плотная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров. Её создал prithivMLmods методом TIES с помощью MergeKit, объединив DeepSeek-R1-Distill-Qwen-7B и Qwen2.5-7B-Instruct на базе Qwen2.5-7B-Instruct-1M. В репозитории веса представлены в формате safetensors; конфигурация слияния использует точность bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы в стиле рассуждений. Заявленная длина контекста — до 1 010 000 токенов; модель работает через библиотеку Transformers. Она принимает текст и генерирует текст, а метаданные также отмечают интерфейс для вызова инструментов. Сведения о лицензии в предоставленных данных отсутствуют. Качество и поведение после слияния могут отличаться от исходных моделей; заявленная длина контекста не гарантирует одинаковую точность на всём объёме.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-27B-AWQ-BF16-INT4 — квантизированная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и KTransformers. Модель построена как каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Она содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Название репозитория указывает на представление AWQ с использованием BF16 и INT4, что должно снижать требования к памяти и ускорять инференс, однако подробные характеристики квантизации в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, широкая языковая поддержка и эффективность гибридной архитектуры. Ограничения включают потенциальные потери качества и совместимости, связанные с квантизацией, а также отсутствие в предоставленных данных подробного описания ограничений, требований к оборудованию и результатов для конкретной квантизированной сборки. Лицензия — Apache-2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-4bit — это 4-битная AWQ-квантизированная версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая визуальное понимание, рассуждения, программирование и агентские сценарии. Она распространяется в формате, совместимом с Transformers, vLLM, SGLang и KTransformers. Модель содержит около 9 млрд параметров и построена как авторегрессионная языковая модель с vision encoder. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; заявлены 32 слоя и скрытая размерность 4096. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация AWQ снижает требования к памяти и может сделать инференс практичнее на совместимом оборудовании, однако возможны потери качества по сравнению с полноразмерной версией, а фактическая производительность зависит от используемого движка. Модель ориентирована на разработчиков и корпоративные приложения, которым нужны мультимодальные ответы, анализ изображений, работа с длинным контекстом, кодом и сложными задачами. README не содержит подробностей о специфических ограничениях, безопасности, точных требованиях к оборудованию или характеристиках именно квантизированной версии. Лицензия — Apache-2.0.