I.14Автоматизация процессов и AI-агенты

bunnycore/Qwen2.5-7B-R1-Bespoke-Stock — объединённая языковая модель, созданная с помощью mergekit методом Model Stock. В качестве базовой использована huihui-ai/Qwen2.5-7B-Instruct-abliterated-v3; в объединение также вошли bunnycore/Qwen2.5-7B-R1-Bespoke-Task, deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и bespokelabs/Bespoke-Stratos-7B. Модель построена на архитектуре Qwen2 с плотной causal language model, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования. Она может применяться для ответов на запросы и многошаговых рассуждений; базовая DeepSeek-R1-Distill-Qwen-7B ориентирована, в частности, на математику и программирование, но README не приводит отдельных оценок возможностей именно этого объединения. Репозиторий содержит веса в формате safetensors и рассчитан на библиотеку Transformers. Язык лицензии в предоставленных данных не указан.

DavidAU создал Qwen2.5-QwQ-35B-Eureka-Cubed — плотную языковую модель для генерации текста и диалогов с акцентом на рассуждения. Она объединяет QwQ-32B с компонентами DeepSeek-R1-Distill-Qwen-32B и TinyR1-32B-Preview методом автора «Cubed»: в README заявлены четыре дополнительных слоя и прирост примерно на 2 млрд параметров. Метаданные указывают архитектуру Qwen2 и 33,9 млрд параметров; модель рассчитана на контекст до 131 072 токенов и распространяется в формате safetensors для использования напрямую или конвертации в другие форматы. Модель предназначена для решения задач, требующих пошагового рассуждения, включая математику и программирование, а также для написания развернутых, творческих и научных текстов. README рекомендует шаблон ChatML без системного промпта и приводит настройки генерации; указанный там дополнительный промпт необязателен. Автор сообщает о более коротких цепочках рассуждений на некоторых задачах и улучшении детализации и креативности ответов, но не приводит независимых оценок. Лицензия в предоставленных данных не указана.

Qwen3.5-397B-A17B-Opus-4.6-Reasoning-Uncensored-GGUF — GGUF-версия модели, разработанная timteh673 на базе Qwen/Qwen3.5-397B-A17B. Модель предназначена прежде всего для генерации текста, сложного рассуждения, аналитических задач, многошагового решения проблем и диалоговых сценариев. Она прошла abliteration для снижения отказов и LoRA-дообучение на 12 842 образцах рассуждений, дистиллированных из ответов Anthropic Claude Opus 4.6, с использованием тегов <think> для явного отображения процесса рассуждения. Архитектура представляет собой гибридную Qwen3.5 MoE с GatedDeltaNet и Transformer-компонентами: 397 млрд параметров всего, 17 млрд активных параметров на токен, 60 слоёв, 32 attention-головы, 2 KV-головы, 512 маршрутизируемых экспертов и общий эксперт, из которых активны 10 на токен. Заявлена длина контекста до 262 144 токенов, словарь из 248 320 токенов и поддержка более 201 языка, включая английский, китайский, японский, корейский, русский и другие. Модель также сохраняет нативный vision encoder для работы с текстом, изображениями и видео, однако мультимодальные возможности после дообучения не тестировались. Сильными сторонами являются MoE-архитектура с большим общим числом параметров, улучшенное структурированное рассуждение и широкий контекст. Модель очень требовательна к ресурсам: размер доступных вариантов составляет примерно от 135 до 739 ГБ, а для рекомендованной квантизации Q4_K_M требуется около 230 ГБ оперативной памяти. Возможны отдельные отказы, поскольку routed-эксперты не были полностью обработаны при abliteration; режим рассуждения генерирует теги <think>, которые при необходимости следует удалять постобработкой. Лицензия — Apache 2.0.

RedHatAI/Qwen3.5-4B-quantized.w8a8 — мультимодальная модель, разработанная RedHatAI на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, анализа изображений, ответов на вопросы, следования инструкциям и задач, требующих рассуждений. Модель оптимизирована для инференса через vLLM. В модели применена квантизация весов и активаций линейных операторов в трансформерных блоках до INT8 по схеме W8A8. Визуальный энкодер, токеновые эмбеддинги и слои linear attention сохранены в BF16. Размер модели на диске составляет около 6,1 ГБ против 8,8 ГБ у версии BF16, что уменьшает требования к памяти примерно на 31%. Для мультимодального и текстового режимов заявлена поддержка контекста до 262 144 токенов при запуске через vLLM. К сильным сторонам относятся значительное сокращение размера и требований к памяти при близких к исходной модели результатах на представленных тестах, а также поддержка текстовых и визуальных входов. Ограничения связаны с частичной, а не полной квантизацией и необходимостью совместимой инфраструктуры vLLM; конкретные поддерживаемые языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Rabbit-Hole-Ai/Qwen3.8-27B-5090-goldilocks-GGUF — это квантованная версия Qwen3.8-27B в формате GGUF, предназначенная для запуска через llama.cpp. Модель основана на Qwen/Qwen3.8-27B и оптимизирована для размещения на одной видеокарте NVIDIA RTX 5090 с 32 ГБ памяти под Windows 11. Основное назначение — генерация текста с большим контекстом, включая локальный инференс и сценарии, где важны высокая вместимость контекста и поддержка speculative decoding. Файл использует смешанную точность с эффективным показателем 7,36 bpw и занимает около 23 990 МиБ. В составе 866 тензоров применяются 339 тензоров Q8_0, 167 Q6_K и 360 F32; MTP-слой blk.64 сохранён для совместимости с режимом draft-mtp. Для текстовых задач заявлена поддержка контекста до 131 тыс. токенов, а при использовании vision projector — до 110 тыс. токенов. README приводит среднюю KL-дивергенцию относительно исходной BF16-модели 0,001800 для RTN-сборки и 0,001678 для imatrix-сборки. Сильная сторона модели — эффективное использование памяти RTX 5090 за счёт повышения точности квантования в пределах доступного объёма VRAM и сохранения качества, близкого к BF16-оригиналу. Указанная скорость генерации зависит от глубины контекста и конфигурации: для imatrix-файла приводятся значения 72,6 токена/с при глубине 8 тыс. и 64,0 токена/с при глубине 98 тыс. Ограничениями являются требовательность к видеопамяти, заметное падение скорости на длинном контексте и необходимость внимательно выбирать параметры KV-кэша и speculative decoding: сочетание квантованного KV-кэша с определёнными настройками спекулятивной генерации может резко ухудшить производительность. Лицензия — Apache-2.0.

Avesed/Qwen3.8-27B-INT4-W4A16 — это квантизированная версия Qwen/Qwen3.8-27B, разработанная сообществом Avesed. Модель относится к гибридным плотным vision-language моделям: сочетает линейное внимание GatedDeltaNet с периодическим полным вниманием, имеет встроенную vision tower и MTP head для спекулятивного декодирования. Она поддерживает английский и китайский языки, а также обработку изображений и текста. Модель предназначена для генерации и перевода текста, рассуждений, математических задач и мультимодальных сценариев с изображениями. Используется INT4 weight-only квантизация W4A16 с AWQ, symmetric INT4 weights и group size 32. Размер чекпойнта составляет около 20 ГБ, поэтому веса помещаются на одной GPU с 24 ГБ памяти; для обслуживания через vLLM в README указана конфигурация tensor parallel на двух RTX 3090. В чувствительных к качеству компонентах, включая embeddings, lm_head, vision tower и MTP head, сохранён формат bfloat16. На GSM8K модель показала результат 96,4% при описанном в README протоколе оценки; заявлена работоспособность китайской и английской генерации, перевода, vision path и режимов reasoning. MTP-спекулятивное декодирование обеспечивает среднюю длину принятой последовательности около 2,4 токена из 3 при K=2. Ограничения включают зависимость результатов от протокола оценки и параметров сэмплирования, отсутствие результатов MMLU-Pro, а также заметную зависимость производительности от аппаратной конфигурации. Для запуска рекомендуется vLLM; лицензия — Apache-2.0.

Qwen3.8-27B-nvfp4full-NInfer — квантованная версия модели Qwen3.8-27B, подготовленная пользователем cometkim для выполнения в формате NInfer. Артефакт содержит текстовый, визуальный и MTP-компоненты, а также встроенный спекулятивный модуль DFlash2 из модели z-lab/Qwen3.8-27B-DFlash2. Модель предназначена для диалоговых и мультимодальных сценариев, генерации текста, рассуждений и обработки длинного контекста. Основная модель имеет 27 млрд параметров. Значительная часть весов представлена в формате NVFP4, отдельные компоненты используют BF16 и W8G32_F16S. Встроенный DFlash2-драфтер имеет 2 млрд параметров, пять слоёв и скользящее окно 2048 токенов. Размер единого файла артефакта составляет около 18,07 GiB. В README не указаны точный список поддерживаемых языков и максимальная длина контекста. К преимуществам относятся уменьшенный размер весов, единый файл с основной моделью и DFlash2-драфтером, а также поддержка спекулятивного декодирования. В приведённых проверках модель получила точность 87,88% на GPQA-Diamond, 93,33% на AIME 2026 и 67,41% на LongBench v2; эти результаты относятся к указанным условиям оценки. К ограничениям относятся зависимость от движка NInfer v3 и соответствующей аппаратной и программной конфигурации, а также невозможность использовать артефакт напрямую в Transformers, Safetensors или GGUF. Лицензия — Apache 2.0.

Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная dbirks с использованием Intel AutoRound и упакованная в формат compressed-tensors для запуска через vLLM. Модель предназначена для генерации текста и обработки изображений с применением на NVIDIA GPU поколения Ampere и новее, включая сценарии инференса на видеокартах без поддержки Blackwell. В основе лежит гибридная архитектура GatedDeltaNet с линейным вниманием и полноформатным attention: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное; также присутствует vision tower. Заявлен контекст до 262 тысяч токенов. Квантизация W4A16 хранит веса языкового декодера в формате int4 с размером группы 128, тогда как активации остаются в BF16. В BF16 сохранены отдельные проекции управления рекуррентностью, vision tower, MTP-head и lm_head. Размер модели на диске составляет около 19,5 ГБ против примерно 52 ГБ для версии BF16; логический объём — около 27,78 млрд параметров. Основное преимущество — существенное сокращение размера при сохранении качества, близкого к BF16-версии: на заявленных тестах GSM8K, HumanEval и MMLU-Pro результаты находятся в пределах доверительных интервалов базовой модели. Ограничение W4A16 заключается в отсутствии ускорения за счёт квантизации активаций, поскольку они остаются BF16; для видеокарт Blackwell автор рекомендует родственную версию NVFP4. Указанная лицензия — Apache-2.0.

Qwen3.8-3.6-27B-blend-GGUF — неофициальная производная модель JetBrains на основе моделей Qwen, разработанных Alibaba Cloud. Это GGUF-квантизированная версия базовой модели JetBrains/Qwen3.8-3.6-27B-blend, предназначенная для локального запуска через llama.cpp, включая сценарии программирования, рассуждений и работы с изображениями. Базовая модель представляет собой равное смешение параметров Qwen3.6-27B и Qwen3.8-27B; конфигурация, токенизатор, процессор и шаблон диалога унаследованы от Qwen3.8-27B. Модель имеет размер 27B параметров, поддерживает текстовый и визуальный ввод, встроенную MTP-голову для speculative decoding и отдельный vision encoder с проектором. Доступны квантизации IQ3_S, Q4_K_M и Q5_K_M размером примерно от 12,60 до 19,54 ГБ; для изображений требуется дополнительный файл vision GGUF объёмом 0,93 ГБ. В README языки и размер контекстного окна самой модели не указаны; в проверенной конфигурации использовался контекст 8192 токенов. Сильные стороны модели — локальный запуск, поддержка изображений, режима рассуждений и ускорения через native MTP, а также успешные функциональные проверки текста, изображений, потоковой выдачи и конкурентных запросов. Приведённые показатели принятия черновых токенов являются отдельными результатами smoke-тестов и не подтверждают качество или реальное ускорение. Модель тестировалась на llama.cpp с поддержкой Qwen3.5 native MTP; для работы рекомендуется сохранять указанные в README параметры семплирования. Распространение заявлено по Apache License 2.0 с сохранением исходной лицензии Qwen и атрибуции JetBrains.

Vontra/Qwen3.8-Flash-Next-MLX-4bit-MTP — это 4-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия выполнена из официального BF16-чекпойнта для запуска на Apple Silicon через MLX и сохраняет штатный блок MTP для speculative decoding. Модель предназначена для диалогов и генерации текста, а также для сценариев vision-language с обработкой изображений при наличии совместимого MLX-VLM и runtime. Архитектура представляет собой vision-language sparse MoE на базе Qwen4Exp с языковой частью на 125 млрд параметров, из которых активны около 6 млрд, и контекстом до 262 144 токенов. Используются Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual streams, hashed bigram и trigram embeddings, а также один draft-блок MTP объёмом 4 млрд параметров. Основные языковые и MTP-модули квантизованы в 4 бита с размером группы 32; мультимодальные модули и router gates сохранены в BF16. Формат весов — MLX safetensors, общий размер — около 113,2 ГБ. К сильным сторонам относятся существенно сниженный по сравнению с BF16 объём весов, поддержка длинного контекста и потенциальное ускорение декодирования благодаря native MTP. На Apple M3 Studio в указанной конфигурации скорость генерации выросла с 27,83 до 31,44 токена в секунду, однако результаты зависят от длины контекста, версии runtime, состояния кэша, памяти и температуры. Для работы требуется runtime с явной поддержкой архитектуры qwen4_exp и native MTP; старые версии могут быть несовместимы, а поддержка изображений зависит от версий MLX-VLM и oMLX. Модель распространяется по Qwen Community License 1.0.

Smaug-Llama-3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Smaug-Llama-3-70B-Instruct, разработанной Abacus AI. Квантизацию выполнил bartowski с использованием imatrix и поддержки Smaug в llama.cpp. Модель предназначена для генерации текста по инструкциям, решения математических задач и работы с кодом; в качестве исходных данных указаны aqua_rat, microsoft/orca-math-word-problems-200k и m-a-p/CodeFeedback-Filtered-Instruction. Формат GGUF позволяет запускать её через llama.cpp, начиная с версии b3001. Модель содержит 70 миллиардов параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 75 ГБ до менее 20 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации отмечены как рекомендуемые: они предлагают компромисс между качеством и требованиями к памяти. Более сильная квантизация сохраняет качество, но требует значительных ресурсов, тогда как варианты Q2 и Q1 экономят память за счёт заметного снижения качества. Для корректной работы следует использовать указанный формат приглашений Llama 3 с системным сообщением, запросом пользователя и ответом assistant. README указывает лицензию llama2; дополнительные ограничения и условия коммерческого использования не описаны.

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

BigFalcon3-from10B — языковая модель для генерации текста и диалогов, созданная ehristoforu с помощью объединения весов через mergekit. В README указана модель tiiuae/Falcon3-10B-Instruct как единственная включённая в объединение; метаданные каталога классифицируют результат как дообучение этой базовой модели. Архитектура плотная, семейства Llama; модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, а также может использовать интерфейс вызова инструментов. Метаданные базовой модели указывают на сценарии рассуждений, программирования и математики. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

QuantFactory/calme-2.1-phi3.5-4b-GGUF — это квантованная GGUF-версия языковой модели calme-2.1-phi3.5-4b, созданной на основе Microsoft Phi-3.5-mini-instruct. Исходную модель разработал MaziyarPanahi, а квантование выполнено им же с использованием llama.cpp. Модель предназначена для генерации текста и работает с шаблоном диалогов ChatML. Модель ориентирована на ответы на вопросы, работу чат-ботов и виртуальных ассистентов, генерацию и суммирование контента, генерацию и анализ кода, решение сложных задач и поддержку принятия решений. Заявлен размер около 4 млрд параметров; поддерживаемая модальность — текст, основной указанный язык — английский. Длина контекста в карточке не указана. К сильным сторонам относятся универсальность, формат инструкционной и диалоговой работы, а также доступность в квантованном GGUF-формате, удобном для запуска с llama.cpp и совместимыми инструментами. Ограничения включают возможные смещения и ошибки, характерные для языковых моделей, а также умеренные результаты на сложных тестах рассуждений: средний результат Open LLM Leaderboard указан как 27,01. Для продуктивного использования рекомендуются защитные меры и контроль человеком. Лицензия модели — MIT.

Модель bcoding — дообученная версия unsloth/DeepSeek-R1-0528-Qwen3-8B на архитектуре Qwen3 с причинным языковым моделированием. Она предназначена для диалогов и генерации текста; каталог также указывает интерфейс вызова инструментов. Размер модели — 7,6 млрд параметров, контекст — до 131 072 токенов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель может применяться для диалоговых ответов, рассуждений, решения задач по математике и логике, а также помощи с программированием — эти сценарии указаны для базовой модели в описании каталога. Поддерживаемый язык карточки — английский. Репозиторий распространяется в формате Safetensors по лицензии Apache 2.0.

Карточка модели nguyenthilaitrieulong/DeepSeek-R1-Distill-Llama-70B-abliterated на Hugging Face совпадает с карточкой huihui-ai/DeepSeek-R1-Distill-Llama-70B-abliterated, поэтому описание составлено по ней. Это экспериментальная версия DeepSeek-R1-Distill-Llama-70B, созданная huihui-ai методом abliteration: из модели удаляли склонность отказываться от ответов. Это плотная причинно-следственная языковая модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; она работает через Transformers и принимает и выдаёт текст. Модель предназначена для диалогов и генерации текста, в том числе для математических рассуждений, программирования и ответов на сложные вопросы — эти возможности унаследованы от базовой модели. Вариант с abliteration нацелен на ответы без типичных отказов, однако автор описывает метод как грубый proof of concept. Лицензия в предоставленных данных не указана.

TechxGenus/DeepSeek-V2-Lite-Chat-AWQ — AWQ-квантованная версия диалоговой модели DeepSeek-V2-Lite-Chat, разработанной DeepSeek AI. Это языковая модель, дообученная для взаимодействия в формате чата и предназначенная для генерации текста, ответов на вопросы и других сценариев использования разговорных LLM. Модель построена по архитектуре Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA): всего она содержит 16 млрд параметров, из которых при обработке активируется 2,4 млрд. MLA сжимает KV-кэш в латентное представление, а разреженные вычисления MoE повышают эффективность обучения и инференса. Контекстное окно составляет 32 тысячи токенов. В README заявлена поддержка сценариев на английском и китайском языках; модель обучалась с нуля на 5,7 трлн токенов. К сильным сторонам относятся сравнительно небольшое число активных параметров, эффективность инференса и возможность развертывания на одной GPU с 40 ГБ памяти. Квантованный формат AWQ ориентирован на более экономичное локальное развертывание, однако README не приводит подробностей о влиянии квантования на качество, аппаратных требованиях конкретного запуска или результатах именно этой квантованной сборки. Модель распространяется по лицензии DeepSeek Model Agreement; код проекта отдельно отмечен как распространяемый по MIT, но это не заменяет условия лицензии самой модели.

DeepSeek V4 Flash 4Expert Q4K GGUF — это 4-битная квантизированная версия варианта DeepSeek V4 Flash с архитектурой MoE и MLA, опубликованная cloudyu. В конфигурации используются четыре активных эксперта на токен и 43 слоя; эксперты хранятся в формате Q4_K, а проекции внимания и веса общего эксперта — Q8_0. Репозиторий содержит модель в формате GGUF объёмом около 153 ГиБ. Модель предназначена для генерации текста, включая написание кода, рассуждения и ответы на вопросы. README сообщает о результатах оценки на HumanEval, AIME 2025, GPQA Diamond и SuperGPQA; это результаты автора репозитория, а не независимая гарантия качества. Карточка указывает английский и китайский языки. Для запуска требуется движок ds4 с поддержкой конфигурации 4Expert; стандартная upstream-версия ds4 без соответствующих изменений этот файл не загружает. Лицензия — Apache-2.0.

johnnas12/e5-galaxy-finetuned — англоязычная модель Sentence Transformer, дообученная на базе intfloat/e5-base-v2. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и сравнивает их по косинусному сходству. Архитектура включает BERT-трансформер, усреднение токенных представлений и нормализацию; максимальная длина входа — 512 токенов. Модель предназначена для семантического поиска, оценки сходства текстов и поиска перефразировок. Её также можно применять для кластеризации и классификации текстов на основе эмбеддингов. В обучающем наборе указано 68 840 пар запросов и passages; примеры ориентированы на поиск технической документации. Лицензия в предоставленных данных не указана.

ERNIE-4.5-300B-A47B-PT-GGUF — текстовая MoE-модель, разработанная Baidu в рамках семейства ERNIE 4.5. Она предназначена для понимания и генерации текста, включая диалоговые сценарии, создание контента и другие задачи общего назначения. Модель основана на предварительно обученной версии ERNIE-4.5-300B-A47B-PT и представлена в формате GGUF. Модель содержит 300 млрд параметров, из которых для каждого токена активируется 47 млрд. Архитектура включает 54 слоя, 64 attention heads для запросов и 8 для ключей и значений, а также MoE-компоненты с 64 экспертами, из которых активируются 8. Максимальная длина контекста составляет 131 072 токена. В README указана поддержка английского и китайского языков. Хотя семейство ERNIE 4.5 обучалось с учётом текстовой и визуальной модальностей, данная версия обозначена как текстовая и не предназначена для обработки изображений. Сильными сторонами модели являются большой контекст, высокая общая ёмкость параметров и вычислительная эффективность MoE за счёт активации только части параметров для каждого токена. Основные ограничения — значительные требования к вычислительным ресурсам и отсутствие заявленной мультимодальности в этой текстовой версии; конкретные характеристики квантования GGUF в README не приведены. Модель распространяется по лицензии Apache 2.0.

NorskHelsenett/eti-embeddinggemma-v3 — модель Sentence Transformer, дообученная Norsk Helsenett на базе google/embeddinggemma-300m для представления предложений и абзацев в виде плотных эмбеддингов размерности 768. Модель содержит 302,8 млн параметров, принимает текст длиной до 2048 токенов и предназначена для вычисления косинусного сходства. Её можно применять для семантического поиска, сравнения текстов, поиска перефразировок, классификации и кластеризации. Обучение проводилось на 543 922 примерах с anchor, positive и negative; в README приведены результаты оценки для задач сравнения и информационного поиска. Метаданные указывают базовую модель, библиотеку Sentence Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

Gemma-4-12B-it-qat-JANG_4M-CRACK — дообученная и квантизированная версия Gemma 4 12B-it от dealignai. Это плотная мультимодальная модель семейства Gemma4 Unified с единым ранним слиянием модальностей и гибридным скользящим и глобальным вниманием. Она принимает текст, изображения и аудио и предназначена для диалогов, рассуждений, ответов на вопросы и генерации кода; карточка также заявляет многоязычную поддержку и сохранение возможностей базовой модели в работе с изображениями и аудио. Модель использует схему JANG_4M: 8-битное квантование внимания и 4-битное квантование MLP. Разработчик сообщает о 84,2% на MMLU и 97% выполнении вредоносных запросов в тесте HarmBench, где отказ от ответов на такие запросы был удалён. Поэтому модель рассчитана на сценарии без стандартных отказов по этим категориям и требует осторожного контроля применения. Для запуска рекомендованы приложение или API vMLX и Mac на Apple Silicon с достаточной объединённой памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; разработчик указывает исследовательское назначение и возлагает ответственность за соблюдение применимых законов на пользователей.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

German-RAG-NEMO-12B-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это дообученная версия German-RAG-NEMO-12B-SFT-HESSIAN-AI с 12,1 млрд параметров, предназначенная для немецкоязычных RAG-сценариев и работы с предоставленным контекстом. Модель подходит для ответов на вопросы по найденным документам, извлечения релевантных сведений, рассуждений по контексту и составления кратких сводок. В карточке заявлена поддержка немецкого и английского языков; метаданные указывают контекст до 1 024 000 токенов. По условиям Apache 2.0 распространяются и код, и веса модели. В оценке авторов модель показала результаты на задачах извлечения, вопросно-ответных задачах, суммаризации и рассуждениях на немецком и английском языках. Результаты зависят от задачи и не гарантируют фактическую точность: ответы могут содержать ошибки и должны проверяться. У модели нет встроенной фильтрации безопасности; возможна генерация вредного или предвзятого контента.

Это квантованная версия Granite 3.3 8B Instruct — инструкционной текстовой модели, разработанной командой IBM Granite. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix; базовая модель указана как ibm-granite/granite-3.3-8b-instruct. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Доступны варианты от BF16 до различных уровней квантования Q3–Q8 и IQ, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти. Размер исходной модели составляет 8 миллиардов параметров, однако README не указывает архитектуру, языки, длину контекста или дополнительные модальности; по назначению это текстовая, а не мультимодальная модель. Сильной стороной сборки является широкий выбор квантований: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев при меньшем потреблении памяти. Более компактные варианты позволяют запускать модель на системах с ограниченной RAM, но могут снижать качество ответов. Для корректной работы следует использовать указанный шаблон prompt и совместимый llama.cpp-based runtime. Распространение осуществляется по лицензии Apache-2.0.

IFM/K2-Horizon-32B-GGUF — GGUF-версия модели K2-Horizon-32B-Stage1, разработанной IFM. Это открытая плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, а также для задач, связанных с агентными сценариями, программированием и рассуждениями. Указан английский язык; модель относится к текстовой модальности. Модель поддерживает контекстное окно размером 524 288 токенов. Тензоры сохранены в исходной точности BF16, а файлы GGUF содержат метаданные токенизатора и шаблон чата, совместимый с llama.cpp. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а доступный checkpoint относится к первой стадии обучения. К сильным сторонам относятся большой контекст, полностью открытая модель, публикация обучающих данных, рецепта и кода обучения, а также наличие промежуточных checkpoint для изучения изменений возможностей в процессе обучения. Ограничения связаны с необходимостью специальной поддержки архитектуры в llama.cpp и с тем, что это Stage 1, тогда как финальный checkpoint ещё должен быть выпущен. Лицензия — Apache 2.0.

OpenAssistant Llama2 70B SFT v10 — языковая модель OpenAssistant, дообученная на базе Meta Llama 2 70B. Это плотный авторегрессионный трансформер с декодером, примерно 68,7 млрд параметров; обучение проходило в два этапа: на смеси синтетических инструкций и задач по программированию, затем на отобранных человеческих диалогах OpenAssistant. Модель принимает диалог в формате ChatML и предназначена для генерации ответов, следования инструкциям и помощи с кодом. Контекст составляет 4096 токенов. Основной язык — английский; заявлены ограниченные возможности на немецком, испанском, французском, итальянском, португальском, польском, нидерландском, румынском, чешском и шведском. Сильные стороны — крупный размер и обучение на инструкциях, диалогах и коде. Ответы могут быть неточными, предвзятыми или нежелательными; тестирование проводилось преимущественно на английском, поэтому перед применением нужна проверка безопасности и качества. Модель распространяется по лицензии Llama 2 Community License Agreement.

Llama-3.1-Storm-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3.1-Storm-8B, подготовленный bartowski на базе модели akjindal53244. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она поддерживает текстовый ввод и вывод, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектура и размер исходной модели обозначены как Llama-3.1 и 8B; размер контекста в README не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Доступны варианты от f32 и Q8_0 до более компактных Q2_K и IQ2_M, поэтому можно выбирать между качеством генерации и требованиями к памяти. Квантизации созданы с использованием imatrix; отдельные варианты применяют Q8_0 для embedding- и output-весов, что заявлено как способ сохранить более высокое качество. Сильными сторонами являются широкий выбор размеров файлов, локальный запуск и поддержка задач instruction following, reasoning и function calling. Ограничения зависят от выбранной квантизации: варианты с низкой битностью имеют заметно более низкое качество, а некоторые прямо не рекомендуются. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Llama-3-Giraffe-70B-Instruct — разговорная языковая модель Abacus.AI, созданная на основе Meta Llama 3 70B Instruct с расширенным контекстом. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; в метаданных указана длина контекста 8192 токена, а авторы заявляют эффективную длину около 128 тысяч токенов. Для расширения контекста применялись PoSE и динамическая NTK-интерполяция; обучающий адаптер переносили с Llama-3-70B-Base на Instruct-версию и выпустили слитую модель. Модель предназначена для диалогов, следования инструкциям и ответов на вопросы по длинным текстам, включая поиск информации в большом контексте. В README приведены результаты MT-Bench, близкие к исходной Llama 3 70B Instruct, и эксперименты Needle-in-a-Haystack до 128 тысяч токенов; оценивание эффективности авторы продолжают. Модель принимает текст и генерирует текст, карточка указывает английский язык. Репозиторий содержит веса Safetensors. Лицензия — Llama 3 License (llama3).

Карточка модели context-labs/Meta-Llama-3.1-8B-Instruct-FP16 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.