I.14Автоматизация процессов и AI-агенты

Qwen-SEA-LION-v4-32B-IT — плотная языковая модель с архитектурой decoder-only Transformer семейства Qwen3, размещённая Scalejade как копия модели AI Singapore. В ней около 29,7 млрд параметров; исходную Qwen3-32B продолжительно обучали на корпусе SEA-Pile v2, а затем дообучили на инструкциях и применили слияние моделей. Метаданные указывают контекст до 40 960 токенов, тогда как README приводит 32 768 токенов; перед развёртыванием стоит сверить это значение с конфигурацией весов. Модель предназначена для диалогов и следования инструкциям на языках Юго-Восточной Азии, а также для перевода между английским и этими языками, суммаризации, ответов на вопросы, классификации и RAG по региональным материалам. Она поддерживает режим рассуждений Qwen3 и интерфейс вызова инструментов. В продолжительном предобучении использовались бирманский, индонезийский, малайский, филиппинский, тамильский, тайский и вьетнамский; README также предупреждает о неравномерном качестве для одиннадцати заявленных языков. Модель может галлюцинировать, не прошла выравнивание по безопасности и не проверялась на устойчивость к состязательным запросам. Не рекомендуется полагаться на неё без дополнительной проверки в медицинских, юридических и других ответственных сценариях. Репозиторий распространяется по лицензии MIT; Scalejade указывает, что не обучала веса и размещает копию работы команды SEA-LION из AI Singapore.

Fulcrum-AI/Ryze-Embed-2 — объединённая методом passthrough модель на архитектуре Qwen2, созданная из Alibaba-NLP/gte-Qwen2-7B-instruct. Карточка не описывает дополнительных изменений к базовой модели; метаданные указывают 12,7 млрд параметров, формат safetensors и контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и классификации текста. Базовая GTE-модель преобразует текст в эмбеддинги для семантического поиска и сравнения, однако README не объясняет, сохраняет ли объединённая модель эти возможности в пригодном для использования виде. В метаданных указана библиотека Transformers. Модель распространяется под лицензией, указанной в метаданных Hugging Face; в предоставленных метаданных поле лицензии отсутствует, поэтому условия использования определить нельзя.

SauerkrautLM Mixtral 8X7B Instruct — это инструкционная языковая модель на архитектуре Mixtral, разработанная VAGO solutions и представленная в квантованном формате GGUF командой TheBloke. Она предназначена для генерации текста и диалогового взаимодействия, включая выполнение пользовательских инструкций, ответы на вопросы и локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Модель основана на SauerkrautLM-Mixtral-8x7B-Instruct и использует архитектуру Mixtral 8x7B. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для форматирования запросов используется шаблон Mistral [INST] {prompt} [/INST]. При обучении или доработке применялся датасет argilla/distilabel-math-preference-dpo. К сильным сторонам относятся инструкционная настройка, многоязычность и широкий выбор уровней квантования, позволяющий адаптировать требования к памяти и производительности. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в предоставленных данных сведений о размере контекста и детальных результатах оценки. Указана лицензия Apache-2.0.

EuroLLM-22B-Instruct-2512-GGUF — это квантизированная версия инструкционной языковой модели EuroLLM-22B-Instruct-2512, разработанной utter-project и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, благодаря чему может использоваться в локальных чат-ботах, ассистентах и приложениях на базе llama.cpp. Модель имеет размер 22 млрд параметров и представлена в формате GGUF с вариантами квантизации от BF16 до Q3. Доступна поддержка llama.cpp, LM Studio и других совместимых проектов. Заявлена работа с широким набором языков, включая английский, немецкий, испанский, французский, итальянский, португальский, польский, русский, китайский, японский, корейский, арабский, хинди и многие другие европейские языки. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются широкий языковой охват, возможность локального запуска и выбор между вариантами квантизации, позволяющий балансировать качество и требования к памяти. Рекомендуемыми считаются варианты Q4_K_M, Q5_K_M, Q6_K и другие близкие к ним; менее битные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут обеспечивать более низкое качество. Архитектура, размер контекста и мультимодальные возможности в README не указаны; по имеющимся данным модель является текстовой и не поддерживает изображения или другие модальности. Распространение осуществляется по лицензии Apache-2.0.

constructai/VibeThinker-3B-GGUF — это квантизированная версия языковой модели VibeThinker-3B, разработанной WeiboAI и преобразованной в формат GGUF командой constructai. Модель предназначена для генерации текста и эффективного запуска на CPU и GPU с помощью llama.cpp, Ollama, LM Studio и других совместимых средств. Модель содержит около 3 миллиардов параметров и ориентирована на задачи рассуждения, математики, программирования, instruction-following и оценки уровня GPQA. Доступны варианты с разными уровнями квантизации и размером файлов примерно от 791 МБ до 6,18 ГБ, включая F16, Q8_0, Q6_K, Q5_K, Q4_K и другие форматы. README не указывает поддерживаемые языки, максимальную длину контекста и наличие мультимодальных возможностей, поэтому модель следует считать текстовой, а эти характеристики — неизвестными. К сильным сторонам относятся относительно небольшой размер, широкий выбор квантизаций и возможность локального запуска на доступном оборудовании. Более агрессивная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с F16 или менее сжатыми вариантами. Модель распространяется по лицензии MIT; исходная модель также указана как лицензированная по MIT.

airoboros-m-7b-3.1.2-dare-0.85-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на основе mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/airoboros-m-7b-3.1.2-dare-0.85. Модели объединены методом SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Она принимает текст и выдаёт текст; максимальный контекст — 32 768 токенов. В карточке не заявлены специальные прикладные области или поддержка конкретных естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; ограничения отдельно не описаны.

Alpha-Orionis-v0.1 — экспериментальная текстовая генеративная модель из серии Orion, разработанной автором fearlessdots. Она представляет собой плотную причинно-языковую модель семейства Mistral примерно на 7,1 млрд параметров с контекстом до 32 768 токенов и предназначена для диалога и генерации текста. Автор ориентирует серию на STEM, информатику и программирование, социальные науки, рассуждения, логическую дедукцию, критический анализ и общие знания; в метаданных указан обучающий набор ToxicQAFinal. В карточке указано, что модель дообучалась с применением LoRA и 4-битной конфигурации обучения, а затем адаптер был объединён с базовой моделью. Идентификатор базы не заполнен; среди благодарностей упомянута команда Wizard, но точная исходная модель не названа. Модель описана как намеренно малоцензурированная и экспериментальная, поэтому качество ответов может быть непостоянным, а результаты требуют проверки. Лицензия репозитория — Apache-2.0.

Virtuoso-Large-GGUF — это набор квантизированных версий языковой модели Virtuoso-Large, разработанной arcee-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Для общения используется шаблон сообщений в формате ChatML с ролями system, user и assistant. Модель доступна в формате GGUF с различными вариантами квантизации от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 29,34 до 77,26 ГБ; более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. В README не указаны точный размер исходной модели, архитектурные детали, поддерживаемые языки, длина контекста или мультимодальные возможности. Сильной стороной набора является широкий выбор вариантов для разных ограничений по памяти и производительности. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой квантизацией экономичнее, но могут заметно уступать по качеству. Лицензия обозначена как qwen и связана с лицензией Qwen2.5-72B-Instruct, однако точные условия следует проверять в указанном лицензионном документе.

Aura_Qwen_7B — созданная с помощью mergekit объединённая языковая модель на базе архитектуры Qwen2. В неё вошли jeiku/dontusethis и ResplendentAI/Qwen_jeiku_LoRA_128; при объединении использован метод passthrough, веса представлены в safetensors. Модель предназначена для генерации текста и диалогового общения. Она содержит 7,1 млрд параметров и поддерживает контекст длиной до 131 072 токенов. Карточка не уточняет языки, на которых модель обучалась, её специализацию или лицензию.

Beyonder-4x7b — языковая модель для генерации текста и диалогов, созданная Mlabonne как смесь экспертов (MoE) с помощью mergekit на ветке Mixtral. В неё объединены openchat/openchat-3.5-1210, beowolx/CodeNinja-1.0-OpenChat-7B, maywell/PiVoT-0.1-Starling-LM-RP и WizardLM/WizardMath-7B-V1.1. Архитектура Mixtral использует несколько экспертных сетей; размер модели по метаданным — 7,1 млрд параметров, контекст — до 8192 токенов. Модель предназначена для генерации текста в чате и может применяться для диалоговых ответов, объяснений, помощи с кодом и математическими задачами. Репозиторий содержит веса Safetensors. Модель распространяется по лицензии Apache-2.0. README содержит лишь краткий пример ответа и не приводит сравнительных оценок качества.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

BreezePipe-7B-merge — объединённая языковая модель, собранная автором Heng666 из MediaTek-Research/Breeze-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b с помощью LazyMergekit. В конфигурации используется метод passthrough: слои 0–31 взяты из Breeze, а слои 24–31 — из blossom-v4-mistral-7b. Модель основана на архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для генерации текста; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Deepseek-LLM-7B-Chat-GGUF — чат-модель Deepseek LLM 7B Chat, разработанная DeepSeek и представленная в формате GGUF. Репозиторий содержит квантизированные варианты модели, подготовленные Second State Inc., с разрядностью от 2 до 8 бит и размером файлов примерно от 2,72 до 7,35 ГБ. Модель предназначена для диалогового взаимодействия и может запускаться локально через LlamaEdge версии 0.2.8 или новее. Заявленный размер контекста составляет 4096 токенов. Доступны варианты с различным компромиссом между размером файла и качеством: Q2_K и варианты Q3 обеспечивают минимальные требования к ресурсам, но сопровождаются существенной потерей качества, тогда как Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые сбалансированные варианты. Модель работает с текстовыми запросами по шаблону deepseek-chat; сведения о поддерживаемых языках, точной архитектуре и результатах оценивания в README не приведены. Лицензия указана как deepseek, тип — other; применяются условия, описанные в файле LICENSE.

bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF — набор GGUF-квантизированных версий модели DeepSeek-R1-Distill-Qwen-32B, разработанной DeepSeek и подготовленной bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от BF16 до низкобитных Q3 и IQ3, а также Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Версии с более высокой точностью обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; варианты Q4 и Q5 предлагают компромисс между качеством и потреблением ресурсов, а Q3 рассчитаны на системы с ограниченным объёмом памяти. Квантизация выполнена с использованием imatrix и llama.cpp release b4514. Это текстовая модель, однако README не содержит достоверных сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре исходной модели, результатах оценки или специализированных сценариях применения. Лицензия в предоставленных данных также не указана. Для работы следует использовать рекомендованный формат prompt с системным сообщением, запросом пользователя и ответом ассистента.

Dynin-Omni — мультимодальная модель семейства Dynin-Omni, разработанная авторами проекта Dynin-Omni и дообученная на основе Gen-Verse/MMaDA-8B-MixCoT. Это плотная модель примерно на 9,2 млрд параметров с архитектурой masked diffusion: она представляет текст, изображения, видео и речь дискретными токенами в общем словаре и генерирует ответы итеративным уточнением масок. Модель предназначена для диалога и рассуждений, понимания изображений и видео, генерации и редактирования изображений, распознавания речи и синтеза речи. Единая архитектура поддерживает преобразования между модальностями, включая видео в текст, речь в текст, текст в речь и текст в изображение. В README заявлены расширенный контекст, генерация речи длительностью до 21 секунды и режимы рассуждения с управлением глубиной. Модель можно запускать и обучать локально через Transformers; поддержка в vLLM-Omni заявлена для будущего выпуска версии 0.19.0. В карточке приведены результаты на тестах рассуждений, понимания изображений и видео, генерации изображений и распознавания речи. Эти значения зависят от используемого протокола оценки. Лицензия — MIT. Карточка указывает английский язык; языки для аудио и других мультимодальных задач отдельно не перечислены.

FLAN-T5-Large — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Она предназначена для выполнения текстовых запросов и широкого круга задач обработки естественного языка, включая ответы на вопросы, рассуждения и генерацию текста, в том числе в режимах zero-shot и few-shot. Модель содержит 385,2 млн параметров, использует архитектуру T5 для преобразования текста в текст и имеет контекст до 512 токенов. Она поддерживает множество языков, среди которых английский, русский, французский, немецкий, испанский, китайский, японский и другие. Доступны веса в форматах PyTorch, TensorFlow и Flax, включая safetensors. Лицензия — Apache 2.0. Инструкционное дообучение повышает универсальность и удобство выполнения разнообразных запросов. Модель не проверялась в реальных приложениях; обучающие данные не фильтровались на откровенный контент и предвзятость, поэтому возможны вредные или предвзятые ответы. Перед применением следует оценить риски безопасности и справедливости для конкретного сценария.

EZForever/gemma-4-26B-A4B-it-qat-uncensored-heretic-UDmerge-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, созданная EZForever на основе объединения моделей Unsloth и llmfan46. Распространяется в формате GGUF и предназначена для запуска совместимых локальных inference-систем. Модель ориентирована на диалоговые и текстовые задачи, а при использовании файлов mmproj также поддерживает обработку изображений; файлы mtp обеспечивают поддержку MTP. Вариант UDmerge использует квантизацию Q4_0 для аблированных тензоров и имеет заявленный размер около 14,2 ГБ. В README также упоминается вариант UDmerge-Q4_K_XXL с квантизацией Q8_0 отдельных тензоров, но идентификатор модели указывает именно на UDmerge-GGUF без уточнения этого варианта. Для модели заявлены результаты MMLU-val 81,38%, PPL 5,236 и KLD 0,0448; авторы отмечают, что показатели отказов получены на ограниченном тесте и могут быть неточными. Сильными сторонами являются компактный квантизованный формат, мультимодальная поддержка, относительно небольшое отклонение от BF16-версии и высокая производительность на MMLU в приведённом сравнении. Ограничения включают возможные потери качества из-за квантизации, экспериментальный характер слияния и неопределённость результатов тестов. Контекстное окно, поддерживаемые языки и точные требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0; для работы с Gemma могут применяться дополнительные условия лицензии Google Gemma.

Vishva007/gemma-4-E4B-it-W4A16-AutoRound-GPTQ — это 4-битная GPTQ-квантизованная версия мультимодальной модели Google Gemma 4 E4B Instruct, созданная на базе google/gemma-4-E4B-it. Модель предназначена для генерации и понимания текста, работы с изображениями и аудио, включая мультимодальные диалоги, описание изображений и анализ визуальных материалов. Заявлена поддержка английского и многоязычных сценариев. Модель распространяется для использования через Transformers и vLLM; в README рекомендована совместимая сборка vLLM для сервинга и OpenAI-совместимого API. Архитектура включает 42-слойную текстовую часть Gemma4TextModel с размерностью скрытого состояния 2560 и смешанным локальным и глобальным вниманием, 16-слойную vision-модель с размерностью 768 и 12-слойную audio-модель с conformer-подобными слоями. Размер словаря составляет 262 144 токена. Линейные слои языковой модели квантизованы по схеме W4A16: веса INT4, активации BF16, размер группы 128, симметричная квантизация. Визуальная и аудиобашни, а также мультимодальные проекторы сохраняются в полной точности, что помогает поддерживать мультимодальное качество. В рекомендованной конфигурации vLLM указан максимальный размер контекста 18 432 токена, а число визуальных токенов на изображение можно настраивать. Главные преимущества — снижение требований к памяти и возможность эффективного развёртывания при сохранении мультимодальных возможностей. Ограничения связаны с использованием RTN-режима AutoRound без полной оптимизации, возможным небольшим снижением точности из-за пропуска слоёв, размеры которых не кратны 32, а также более низкой эффективностью speculative decoding по сравнению с исходной неквантизованной моделью. Лицензия указана как gemma; конкретные условия её применения следует уточнять в лицензии Google Gemma.

Adolphsson/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4 — мультимодальная модель для работы с текстом, изображениями и аудио. Это общественный, вручную собранный чекпойнт на основе Gemma-4-E4B и дообучения HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive. Модель не является официальным релизом Google или HauhauCS; сборку подготовил автор Adolphsson. Текстовый трансформер содержит 42 слоя со скрытым размером 2560. Он квантизован в формат NVFP4 W4A4 с 4-битными весами и активациями, а таблицы эмбеддингов используют FP8 e4m3 с построчными масштабами F32. Зрительный модуль и аудиоэнкодер сохранены в BF16. Модель поддерживает английский и другие языки, а также мультимодальные сценарии с изображениями и аудио. Заявлено контекстное окно до 131 072 токенов, однако фактическая доступная длина зависит от видеопамяти и настроек сервера. Основные преимущества — небольшой размер около 6,2 ГБ, возможность запуска на одной RTX 5090, высокая скорость декодирования с MTP speculative decoding и заметно увеличенный объём KV-кэша благодаря FP8-эмбеддингам. Для работы требуется vLLM с патчем из репозитория: без него FP8-таблицы эмбеддингов загружаются некорректно, что приводит к деградации генерации. Производительность и совместимость в README проверены на vLLM 0.28, Python 3.12, CUDA 13 и RTX 5090; заявленные показатели зависят от оборудования, параметров запуска и сценария нагрузки. Модель распространяется по лицензии Apache-2.0.

Gemma-SEA-LION-v4-27B-VL — мультимодальная инструктивно настроенная модель AI Singapore и SEACrowd для работы с изображениями и текстом в сценариях, связанных с Юго-Восточной Азией. Она построена на архитектуре Gemma 3 и дообучена на примерно 540 тысячах пар инструкций и изображений на бирманском, английском, индонезийском, кхмерском, лаосском, малайском, китайском, тагальском, тамильском, тайском и вьетнамском языках. Базовая модель — aisingapore/Gemma-SEA-LION-v4-27B-IT. Модель принимает текст и изображения, поддерживает визуальные вопросы и ответы, понимание документов, рассуждение с опорой на изображения и создание подписей к ним. Контекст составляет 128 тысяч токенов; заявлены также вызов функций и структурированный вывод. Она предназначена для мультиязычных приложений, ориентированных на регион Юго-Восточной Азии. Модель может галлюцинировать, выдавать нерелевантные или непоследовательные ответы и не проверялась на устойчивость к состязательным запросам. Она не прошла настройку безопасности; текстовые возможности близки к базовой Gemma-SEA-LION-v4-27B-IT. Распространяется на условиях Gemma Terms of Use.

German-RAG-PHI-3.5-MINI-4B-CPT-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Это вариант Phi, дообученный методом continued pre-training на наборе German-RAG-CPT; модель предназначена для работы с немецким и английским языками, с упором на немецкий. Модель обучалась на примерах контекстных ответов на вопросы, структурированных рассуждений и суммаризации. Её можно применять для ответов по предоставленному контексту, извлечения и синтеза сведений в сценариях RAG, анализа и краткого пересказа документов. В метаданных указаны 3,7 млрд параметров и контекст до 131 072 токенов; опубликованные веса представлены в формате safetensors. Модель распространяется по лицензии Apache 2.0. Ответы могут содержать фактические ошибки и предвзятость; фильтрация безопасности отсутствует, поэтому возможна генерация вредоносного или чувствительного контента. Результаты следует проверять.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.

Это набор GGUF-квантизированных файлов модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, разработанный Gradient AI и квантизированный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, требующих работы с инструкциями, включая локальный или совместимый с GGUF инференс. README не указывает поддерживаемые языки, дополнительные модальности или конкретные прикладные сценарии. В основе лежит Llama 3 с заявленным размером 8B параметров и контекстом 1048k; архитектурные подробности в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0, размером примерно от 3,0 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством, однако результаты конкретных вариантов в README не сравниваются. К сильным сторонам относятся большой заявленный контекст и широкий выбор форматов квантизации. Ограничения — отсутствие в предоставленных данных сведений о качестве, бенчмарках, системных требованиях, поддерживаемых языках и точной архитектуре. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации базовой модели gradientai/Llama-3-8B-Instruct-Gradient-1048k и соответствующего репозитория.

ibm-granite/granite-4.2-30b-fp8 — это версия модели Granite-4.2-30B в формате FP8, разработанная IBM и опубликованная в семействе моделей IBM Granite. Репозиторий предназначен для использования с библиотекой Transformers и содержит модель, оптимизированную по формату представления чисел FP8 относительно исходной версии ibm-granite/granite-4.2-30b. Модель относится к языковым моделям, однако README не содержит подробностей о её архитектуре, точном числе параметров, поддерживаемых языках, размере контекста, модальностях, целевых сценариях применения, производительности или известных ограничениях. За дополнительными характеристиками README направляет к карточке исходной модели Granite-4.2-30B. Модель распространяется по лицензии Apache-2.0. Практические условия запуска и требования к аппаратному обеспечению в предоставленных данных не указаны.

GreenOgno-v2-7b-passthrough — текстовая генеративная модель, созданная объединением GreenNode/GreenNode-mini-7B-multilingual-v1olet и eren23/OGNO-7b-dpo-truthful с помощью LazyMergekit. В конфигурации merge-метод passthrough: слои 0–7 взяты из первой модели, слои 8–31 — из второй; токенизатор объединённый, формат весов — float16 Safetensors. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Предназначена для генерации текста; базовая OGNO-7B имеет акцент на правдивость ответов, а компонент GreenNode обозначен как мультиязычный. Лицензия в предоставленных данных не указана.

Jebadiah/hermes-Poppy-stone-l3-8b — объединённая языковая модель семейства Llama 3, созданная с помощью mergekit методом DARE TIES. В слиянии использованы ChaoticNeutrals/Poppy_Porpoise-v0.7-L3-8B и NousResearch/Hermes-2-Pro-Llama-3-8B; основной моделью указана Poppy_Porpoise-v0.7-L3-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и распространяется в формате safetensors.

Abiray/K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Это текстовая генеративная модель для диалогов, написания и обработки текста, программирования и других задач, выполняемых через llama.cpp. Модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values Attention (MoVA): всего 36 млрд параметров, из которых на каждом токене активируется около 4 млрд. Заявленное преимущество — скорость инференса, близкая к моделям меньшего размера, при сохранении возможностей модели масштаба 36B. Указан английский язык; поддержка других языков и дополнительные модальности не заявлены. Репозиторий содержит варианты квантизации от Q3_K_S до Q8_0 размером примерно от 16,4 до 39,8 ГБ. Q4_K_M обозначен как рекомендуемый баланс качества и потребления памяти, а Q8_0 обеспечивает точность, близкую к исходной BF16-модели. Точные характеристики контекстного окна в README не указаны. Для запуска требуется специальная версия llama.cpp из форка MBZUAI-IFM с веткой model/K2Horizon; стандартная upstream-версия на указанном этапе не поддерживает архитектуру k2-horizon. Модель использует ChatML-подобный формат с тегами рассуждений. Лицензия — Apache-2.0. Требования к ресурсам зависят от квантизации: для вариантов Q4_K_M рекомендуется от 24 ГБ VRAM при полной выгрузке на GPU и 32 ГБ системной RAM, тогда как для Q8_0 требуется около 48 ГБ VRAM и RAM. README не содержит независимых результатов бенчмарков или подробного описания ограничений качества.

L3-NotCrazy-8B — языковая модель bunnycore, полученная слиянием трёх моделей семейства Llama 3 с помощью mergekit. Она предназначена для генерации текста в диалогах и сочетает способности к рассуждению и решению задач, творческой ролевой игре и точному следованию инструкциям. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. В репозитории представлены веса safetensors; лицензия — Llama 3 Community License.

LFM2-24B-A2B-GGUF — языковая модель семейства LFM2, разработанная Liquid AI для эффективного развертывания на периферийных устройствах и пользовательских компьютерах. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск на ноутбуках и настольных компьютерах; доступна в формате GGUF с поддержкой llama.cpp, а также заявленной совместимостью с vLLM и SGLang. Модель использует гибридную архитектуру Mixture-of-Experts с 24 миллиардами общих параметров, из которых около 2 миллиардов активируются для каждого токена. По данным разработчика, она рассчитана на работу в пределах 32 ГБ оперативной памяти и обеспечивает высокую скорость инференса на совместимом оборудовании. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Размер контекста, конкретный вариант квантования и подробные результаты оценки в README не указаны. Сильными сторонами модели являются сочетание крупного общего числа параметров с низкими вычислительными затратами на токен, ориентация на локальное выполнение и высокая заявленная скорость генерации. Ограничения включают отсутствие в предоставленных данных подробностей о качестве по отдельным задачам, требованиях к точному объёму памяти для разных вариантов GGUF и поддерживаемом размере контекста. Модель распространяется по лицензии lfm1.0; условия лицензии следует уточнять в файле LICENSE.

Ling-3.0-flash-abliterated-APEX-GGUF — неофициальная общественная GGUF-сборка модели Ling-3.0-flash, разработанной inclusionAI. Модель предназначена для генерации текста и задач рассуждения, включая локальный запуск через совместимое с GGUF программное обеспечение. В официальной версии мышление включено по умолчанию. Модель использует гибридную архитектуру MoE: 124 млрд параметров всего и около 5,1 млрд активных параметров. В её основе — стек из Kimi Delta Attention и gated MLA в соотношении 5:1, разреженный MoE с 512 маршрутизируемыми экспертами, выбором top-8 и одним общим экспертом, два плотных слоя и обученная MTP-голова. Заявленный график контекстного окна составляет 8K, затем 32K и до 256K токенов. Формат GGUF использует архитектуру bailingmoe3 и смешанную квантизацию APEX; наличие поддерживаемых языков в README не указано. Эта сборка отличается от официальной применением abliterix v6 trial 21 для снижения частоты отказов и последующим преобразованием в GGUF. Поэтому она может заметно отличаться от исходной модели по поведению и безопасности; README указывает на необходимость самостоятельной оценки соответствия требованиям, контроля доступа и аудита. Также для указанных уровней квантизации не использовалась imatrix. Лицензия — MIT, при этом необходимо соблюдать условия inclusionAI и применимое местное законодательство.