I.14Автоматизация процессов и AI-агенты

NavAI · whisper-base-uzbek — модель автоматического распознавания узбекской речи, разработанная NavAI на основе openai/whisper-base и дообученная на 753 часах аудио с человеческими расшифровками. Архитектура — WhisperForConditionalGeneration; в метаданных указано 51,7 млн параметров. Модель принимает аудио и выдаёт текст, преимущественно на узбекском языке латиницей. Модель предназначена для транскрибации узбекской речи. В тестировании на четырёх отложенных наборах её макро-WER составляет 15,13%, а микро-WER — 14,05%; значения измерены при жадном декодировании с общей нормализацией текста. Для лучших результатов рекомендуется явно задавать язык «uz»; длинное аудио обрабатывается окнами по 30 секунд. Слабее модель справляется с редкими иностранными именами, шумной и дальнеполевой записью, а также сильными диалектными особенностями. Она обучена для узбекского языка в латинской графике. Лицензия модели — Apache-2.0.

Monero/WizardLM-30B-Uncensored-Guanaco-SuperCOT-30b — языковая модель для генерации текста на основе архитектуры LLaMA, объединяющая WizardLM 30B, Guanaco и SuperCOT. В метаданных указаны 32,3 млрд параметров, контекст до 2048 токенов и форматы PyTorch и safetensors; README описывает обучение на инструкциях, данных с цепочками рассуждений и примерах кода. Модель предназначена для диалогов по инструкциям, продолжения многоходового общения, объяснения кода и ролевых сценариев. В README заявлена поддержка английского, упрощённого и традиционного китайского, японского и немецкого языков. Модель может генерировать недостоверные фактические ответы, поэтому для задач, требующих точности, следует предоставлять проверяемые источники. Указана лицензия «other» без уточнения условий.

Yarn-Solar-10b-32k — языковая модель NousResearch на архитектуре Llama с 10,6 млрд параметров, основанная на SOLAR-10.7B-v1.0. Авторы дополнительно обучили её на двух миллиардах токенов длинного контекста, применив метод YaRN для расширения контекстного окна до 32 768 токенов. Модель предназначена для генерации текста и работы с длинными входными материалами: например, для суммирования документов, ответов на вопросы по большим текстам и продолжения текста с учётом удалённых фрагментов. В карточке приведены оценки на тестах длинного контекста и стандартных языковых тестах; результаты относятся к указанным условиям оценки и не гарантируют качество на конкретных задачах. Модель распространяется в формате PyTorch и использует библиотеку Transformers. Для загрузки авторы указывают необходимость включить trust_remote_code и использовать актуальную версию Transformers. Лицензия — Apache-2.0.

Yi-34B — большая языковая модель, разработанная 01.AI и обученная с нуля на многоязычном корпусе объёмом 3 трлн токенов. Это базовая, не чатовая версия модели: она предназначена для генерации текста и может использоваться как основа для последующего дообучения и прикладных систем. Модель имеет плотную архитектуру Transformer, совместимую по структуре с Llama, но, согласно карточке, не использует веса Llama и не является её производной. Размер — 33,9 млрд параметров, родная длина контекста — 4096 токенов. Основные языки — китайский и английский; карточка описывает способности к пониманию языка, рассуждениям здравого смысла и чтению с пониманием. Для запуска доступны веса PyTorch и Safetensors. Модель требует значительных вычислительных ресурсов; в README для локального запуска Yi-34B-Chat приводится пример с ускорителем A800 на 80 ГБ. Лицензия — Apache 2.0.

Yi-Coder-9B-Chat-IMat-GGUF — это GGUF-квантизированная версия чат-модели Yi-Coder-9B-Chat, разработанной 01.AI. Квантизацию выполнил legraphista с использованием llama.cpp, исходная модель имела формат BF16. Модель предназначена для генерации текста и диалогового взаимодействия, включая сценарии локального запуска через совместимые с GGUF инструменты, такие как llama.cpp. Модель содержит около 9 миллиардов параметров и доступна в форматах BF16, F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и других вариантах квантизации. Для ряда низкоразрядных вариантов применена IMatrix, призванная сохранить качество при уменьшении размера модели. Размер файлов варьируется примерно от 3,35 ГБ для Q2_K до 17,66 ГБ для BF16/F16. README не сообщает архитектуру, поддерживаемые языки, размер контекста или наличие мультимодальных возможностей; по указанным данным модель является текстовой. Основные преимущества — широкий выбор уровней квантизации, возможность подбора баланса между размером, требованиями к памяти и качеством, а также наличие IMatrix для некоторых вариантов. Ограничения включают возможное снижение качества у наиболее сильных вариантов квантизации и отсутствие в README подробных оценок производительности, языковой поддержки и требований к оборудованию. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/zephyr-7b-alpha-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/zephyr-7b-alpha-dare-0.85. В README указан метод слияния slerp с выбором параметров по слоям для блоков self-attention и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации ответов на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Доступны веса в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о поддерживаемых естественных языках или специальных предметных областях.

Ziya-Reader-13B-v1.0 是 IDEA-CCNL 团队开发的中文知识问答模型，基于 13B 参数的 Llama 2，并在通用数据和检索问答数据上微调。它采用 Llama 自回归 Transformer 架构，使用位置插值扩展上下窗口；README указывает 8k токенов, тогда как метаданные Hugging Face указывают нативный контекст 4096 токенов. Модель отвечает на вопросы по одному или нескольким предоставленным документам, поддерживает поиск релевантных документов и суммаризацию длинных текстов, а также общее общение в формате вопрос–ответ. В карточке описана устойчивость к изменению порядка документов и приведены оценки на китайских наборах LongBench. Предназначена прежде всего для китайских сценариев баз знаний, retrieval QA и клиентской поддержки, в том числе в праве, финансах и медицине. Модель принимает текст и генерирует текст. Репозиторий содержит веса PyTorch; указанная лицензия — GPL-3.0. Результаты зависят от качества и полноты переданных документов; заявленные оценки основаны на тестах разработчиков и не гарантируют качество в конкретной предметной области.

airoboros-3_1-yi-34b-200k — языковая модель с открытыми весами, созданная автором репозитория на основе 01-ai/Yi-34B-200k. Модель дообучена методом QLoRA ранга 64 на наборе инструкций jondurbin/airoboros-3.1, а затем объединена с базовыми весами. Использует архитектуру LlamaForCausalLM и формат safetensors; содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для генерации текста и выполнения инструкций в формате чата Llama 2. Её можно применять для ответов на вопросы, диалогов, следования текстовым инструкциям и создания текстов. Автор сообщает, что проверял модель ограниченно; во время обучения промпты обрезались до 4096 токенов, поэтому качество работы с длинным контекстом отдельно не подтверждено. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты; перед использованием следует проверить лицензию базовой модели и карточку репозитория.

airoboros-m-7b-3.1.2-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и airoboros-m-7b-3.1.2-dare-0.85. Она построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Модель принимает текст и генерирует текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Данные карточки не описывают её качество на конкретных задачах или подробные ограничения, поэтому результаты следует проверять на целевом сценарии.

dmlls/all-mpnet-base-v2-negation — дообученная модель Sentence Transformers на базе sentence-transformers/all-mpnet-base-v2 для кодирования предложений и коротких абзацев в плотные векторы размерности 768. Она специально настроена так, чтобы ниже оценивать семантическое сходство пар предложений, различающихся отрицанием, и подходит для поиска, кластеризации и оценки сходства текстов. Модель принимает текст и возвращает эмбеддинги; вход длиннее 384 токенов SentencePiece обрезается. В метаданных указаны MPNet, 136,7 млн параметров и контекст до 514 токенов. Модель дообучена на наборе CANNOT с контрастивной целью в рамках исследования оценки генерации с учётом отрицания. Лицензия — Apache-2.0. Основная область применения — англоязычные тексты; результаты на других языках в карточке не описаны.

AquilaChat2-34B-16K — диалоговая языковая модель BAAI из серии Aquila2, предназначенная для генерации ответов и работы с длинными текстами. Модель основана на плотной авторегрессионной архитектуре AquilaForCausalLM и содержит 33,1 млрд параметров; максимальная длина контекста — 16 384 токена. Доступны веса в формате PyTorch. Модель подходит для диалогов, генерации и суммирования длинных текстов, а также выполнения инструкций в обычных сценариях общения. В README описана версия V1.2, в которой улучшены синтез длинных текстов и выполнение инструкций по сравнению с V1. Для модели указана лицензия other; конкретные условия следует сверять с лицензией репозитория.

ArliAI-Llama-3-8B-Dolfin-v0.3 — разговорная языковая модель OwenArli, созданная дообучением Meta-Llama-3-8B-Instruct на улучшенном наборе данных Dolphin и WizardLM. Модель предназначена для следования инструкциям и диалоговых ответов; автор отмечает, что дообучение нацелено на более редкие отказы. Архитектура — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — до 8192 токенов. Модель принимает текст и генерирует текст. Для обучения использовались последовательности длиной 2048 токенов, QLoRA с 4-битной загрузкой, рангом 64 и alpha 128; автор сообщает, что модель сохраняет работу с контекстом 8192 токена. Доступны веса safetensors. Лицензия — Meta Llama 3 License. Языки в карточке не указаны, поэтому языковой охват нельзя надёжно определить.

Athene-70B — открытая по весам диалоговая языковая модель команды Nexusflow, дообученная методом RLHF на основе meta-llama/Meta-Llama-3-70B-Instruct. Она предназначена для чат-ассистентов и генерации ответов на запросы пользователя; для диалогов использует тот же шаблон чата, что и Llama 3 70B Instruct. Модель построена на плотной архитектуре Llama с 69,5 млрд параметров и поддерживает контекст до 8192 токенов. В карточке приводится результат 77,8% на Arena-Hard-Auto — бенчмарке, служащем приближённой оценкой качества в Chatbot Arena. Метаданные указывают английский язык. Модель распространяется по Nexusflow Research License; условия этой лицензии следует учитывать при использовании.

Bielik-Minitron-7B-v3.0-Instruct — генеративная языковая модель команды SpeakLeash и центра ACK Cyfronet AGH, созданная при участии NVIDIA. Это причинная декодерная модель с 7,35 млрд параметров для диалогов и выполнения инструкций; она использует шаблон чата ChatML и распространяется в формате Safetensors для Transformers. Модель получена сжатием и дообучением Bielik-11B-v3-Base-20250730: структурная обрезка и дистилляция знаний сократили число параметров на 33,4%, после чего модель прошла настройку инструкций и выравнивание предпочтений. Она предназначена для генерации ответов и решения языковых задач на европейских языках; особое внимание при обучении уделено польскому. Авторы сообщают о восстановлении примерно 90% производительности исходной модели и ускорении вывода до 50%. Лицензия Apache 2.0. Модель может ошибаться и выдавать предвзятый, оскорбительный или иной нежелательный текст; встроенных механизмов модерации нет. Ее ответы не следует считать проверенными фактами.

Blitz-AI-DARE-v0.1 — объединённая модель на базе Mistral, созданная DenisTheDev с помощью mergekit из mlabonne/Monarch-7B, bobofrut/ladybird-base-7B-v8 и bardsai/jaskier-7b-dpo-v5.6. Она предназначена для генерации текста и ответов на запросы в приложениях с текстовым вводом. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные специализированные сценарии или дополнительные модальности.

Bonsai 27B 1-bit CRACK GGUF — мультимодальная vision-language модель, опубликованная dealignai. Это квантованный релиз на базе prism-ml/Bonsai-27B-gguf из семейства Qwen/Qwen3.6-27B, предназначенный для работы с текстом, изображениями и, при поддержке соответствующего runtime, видео. Модель ориентирована на диалоговые сценарии, рассуждения, анализ визуального содержимого и использование инструментов; заявлены языки английский и китайский. В состав входят 27B-классная языковая модель с 64 гибридными блоками архитектуры семейства Qwen и отдельный F16 Qwen3VL-мультимодальный проектор. Основная модель использует нативный формат Q1_0 GGUF и занимает около 4,35 GiB, проектор — около 0,86 GiB. Поддерживаются изображения; видеовход зависит от возможностей Prism runtime, при необходимости рекомендуется предварительно извлекать кадры. В README приведены результаты на фиксированной выборке MMLU-200 — 52,50% — и полном тесте HB-320 — 97,81%, однако эти показатели не эквивалентны результатам на полных официальных наборах. К сильным сторонам относятся малый размер 1-битного представления, мультимодальность, наличие специализированного проектора и высокая заявленная скорость на Apple M5 Max — около 58,5 токена в секунду для текста и изображений. Ограничения включают необходимость использовать форк Prism llama.cpp с поддержкой низкоразрядных типов, а также возможную несовместимость прямого ввода видеофайлов с отдельными клиентами. Модель распространяется по лицензии Apache-2.0.

Это квантизированная GGUF-версия модели GLM-4.7-REAP-218B-A32B, разработанной Cerebras и полученной из GLM-4.7 с использованием метода REAP. В исходной модели было равномерно удалено 40% экспертов, что указывает на разреженную MoE-архитектуру. Квантизацию выполнил bartowski с помощью llama.cpp и imatrix. Модель предназначена для генерации текста и может использоваться в локальных инструментах, поддерживающих формат GGUF, включая llama.cpp, LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В README указан английский язык. Приведён шаблон промпта с системными, пользовательскими и ассистентскими ролями, а также маркером рассуждений. Размер доступных файлов зависит от метода квантизации: примерно от 88 до 232 ГБ; рекомендуются варианты Q4_K_M, Q5_K_M и Q6_K. Сильными сторонами являются широкий выбор уровней квантизации и возможность локального запуска с выбором компромисса между качеством, размером и требованиями к памяти. Более сильные варианты сохраняют высокое качество, а низкоразрядные подходят для систем с ограниченной RAM, но имеют заметно худшее качество. Точные параметры архитектуры, размер контекста и мультимодальные возможности в README не указаны. В метаданных указана лицензия MIT.

ryanfortin/community-blend-qwen3-8b — это плотная языковая модель семейства Qwen3 с 7,6 млрд параметров, разработанная путём эволюционного слияния моделей. По README, автор получил её после 781 поколения автоматического отбора и 749 слияний дообученных моделей Qwen3-8B; итоговый вариант создан методом SLERP из двух промежуточных чемпионов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и рассуждений в разных областях. Контекст составляет 40 960 токенов; репозиторий содержит веса в safetensors и использует библиотеку Transformers. README сообщает об улучшении относительно исходной Qwen3-8B на шести из восьми бенчмарков, включая HellaSwag и ARC, и описывает сохранённые навыки в медицине, математике и прогнозировании. Это результаты тестирования автора, а не гарантия качества для конкретных пользовательских задач. Модель доступна по лицензии Apache-2.0.

DareVox-7B — объединённая языковая модель на архитектуре Mistral, созданная из Mistral-7B-v0.1, OpenHermes-2.5-Mistral-7B, Slerp-CM-mist-dpo и Starling-LM-7B-alpha. Модель разработана для генерации текста; в конфигурации указаны метод слияния dare_ties и точность bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Её можно применять для диалогов, составления текстов и ответов на запросы. Репозиторий распространяется по лицензии Apache-2.0.

bartowski/deepcogito_cogito-v1-preview-qwen-14B-GGUF — это квантизированная версия языковой модели cogito-v1-preview-qwen-14B, разработанной deepcogito. Модель предназначена для генерации текста и поставляется в формате GGUF для запуска через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется шаблон диалога с ролями system, user и assistant. Доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ. Версии с более высокой разрядностью обеспечивают качество, близкое к исходной модели, но требуют больше памяти; варианты Q4 и Q3 уменьшают требования к ресурсам ценой снижения качества и подходят для локального запуска при ограниченном объёме ОЗУ. Размер базовой модели составляет 14 млрд параметров, однако сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны. Квантизация выполнена bartowski с использованием imatrix и llama.cpp. Модель распространяется по лицензии Apache-2.0.

MLX-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai с помощью mlx-lm 0.24.1. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих формат диалоговых сообщений и chat template. Модель основана на DeepSeek-R1-0528-Qwen3-8B и представлена в 4-битном формате квантования, что может снизить требования к памяти по сравнению с полноточной версией, однако README не содержит подробностей об архитектуре, количестве параметров, поддерживаемых языках, контексте, модальностях, производительности или ограничениях качества. Указана лицензия MIT, поэтому условия использования определяются её положениями.

unsloth/DeepSeek-R1-Distill-Qwen-1.5B-unsloth-bnb-4bit — это 4-битная квантованная версия языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная Unsloth на основе базовой модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B. Модель относится к семейству DeepSeek-R1 и использует дистилляцию способностей рассуждения, полученных при обучении DeepSeek-R1, в компактную модель на базе Qwen. Формат предназначен для использования с библиотекой Transformers и технологией bitsandbytes. Модель предназначена прежде всего для текстовых задач, требующих рассуждений, включая решение математических задач, программирование, ответы на вопросы и другие сценарии, где важна последовательная логика. Благодаря размеру 1,5 млрд параметров и 4-битному представлению она ориентирована на запуск при ограниченных ресурсах памяти, однако README не содержит точных требований к оборудованию, размера контекста или подробных показателей качества. Указан английский язык; поддержка других языков отдельно не заявлена. К сильным сторонам относятся компактность, сниженные требования к памяти и ориентация на reasoning-задачи. Ограничениями являются меньшая вместимость по сравнению с более крупными моделями DeepSeek-R1 и возможные потери качества из-за 4-битной квантования; конкретные компромиссы в README не измерены. Модель распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-R1-Distill-Qwen-7B-4bit — это 4-битно квантованная версия модели DeepSeek-R1-Distill-Qwen-7B, преобразованная сообществом mlx-community в формат MLX из исходной модели deepseek-ai с использованием mlx-lm версии 0.21.1. Модель предназначена для локального запуска и генерации текста в экосистеме MLX, прежде всего на устройствах Apple, совместимых с этим фреймворком. Модель относится к семейству Qwen и имеет размер 7B параметров; доступна в 4-битном представлении, что снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность. README показывает поддержку диалогового использования через chat template и библиотеки mlx-lm. Сведения о модальностях, языках, размере контекста, специализированных сценариях, ограничениях качества и лицензии в предоставленных данных отсутствуют.

DeepSeek-V4-Flash-0731-Abliterated-DS4-Quality128 — это GGUF-квантизованная версия модели DeepSeek V4 Flash, подготовленная apetersson на основе чекпойнта apetersson/DeepSeek-V4-Flash-0731-Abliterated-FP8. Модель предназначена для локальной генерации текста и запуска через DS4 или llama.cpp, включая работу на Apple Silicon с ускорением Metal. Это MoE-модель с разреженной маршрутизацией экспертов; сведения о точном общем числе параметров, поддерживаемых языках и максимальном контексте в README не указаны. Профиль DS4 Quality128 ориентирован на сохранение качества при размещении модели в памяти 128-ГБ M1 Ultra. Размер основного GGUF-файла составляет около 95,8 GiB. В наиболее чувствительных маршрутизируемых экспертах сохранён нативный формат MXFP4, остальные эксперты используют IQ2_XXS и Q2_K, а attention-, shared-expert- и output-пути — Q8; отдельные индексатор и вспомогательные тензоры защищены в F16. Abliteration затрагивает только 36 attention-тензоров wo_b, тогда как коды и масштабы routed experts сохранены без изменений. Основное преимущество модели — ориентированная на качество квантизация и возможность запуска на совместимом локальном оборудовании. Целевой GGUF совместим с DS4 и llama.cpp для обычного inference; для DSpark speculative decoding требуются отдельные runtime-специфичные companion-файлы, которые нельзя взаимозаменять. Поддержка зависит от конкретной версии runtime: stock llama.cpp b10210 поддерживает только обычный запуск, а DSpark требует специальных сборок и изменений DeepSeek V4. Приведённые в README показатели производительности основаны на кратком smoke-тесте и не являются устойчивым бенчмарком. Лицензия модели — MIT.

EMMA-500 — многоязычная языковая модель MaLA-LM на архитектуре Llama 2 7B, дообученная продолжительным предварительным обучением для улучшения представления языков с ограниченными ресурсами. Модель содержит 6,6 млрд параметров, принимает текст и генерирует текст; базовый контекст составляет 4096 токенов. В карточке заявлена поддержка 546 языков, включая языки, для которых в обучающих данных было более 100 тысяч токенов. Модель предназначена для многоязычной генерации и может применяться для машинного перевода, классификации текста, логического вывода на естественном языке, ответов на вопросы по тексту, генерации кода и рассуждений на основе здравого смысла. Обучение продолжалось на корпусе MaLA, который, согласно карточке, охватывает более 500 языков и содержит 74 млрд токенов из разных областей. В карточке сообщается об улучшении результатов на многоязычных задачах и бенчмарках относительно других моделей на основе Llama 2. Для низкоресурсных языков отмечено снижение разнообразия генераций. Модель распространяется по лицензии Llama 2; перед использованием следует соблюдать её условия.

Карточка модели allenai/Flex-public-7B-1T на Hugging Face совпадает с карточкой allenai/FlexOlmo-7x7B-1T, поэтому описание составлено по ней. FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.

FrankenMonarch-11b — объединённая модель для генерации текста, созданная mlabonne с помощью LazyMergekit на основе mlabonne/NeuralMonarch-7B и mlabonne/AlphaMonarch-7B. Конфигурация объединяет диапазоны слоёв двух моделей методом passthrough; архитектура — плотная MistralForCausalLM, размер — 10,6 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и следование инструкциям. Доступна в формате safetensors и использует лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

unsloth/gemma-2-9b-bnb-4bit — это квантизированная 4-битная версия языковой модели Gemma 2 с 9 млрд параметров, разработанная на базе google/gemma-2-9b и подготовленная Unsloth с использованием bitsandbytes. Модель предназначена для задач генерации и дополнения текста, диалоговых приложений, а также дообучения на собственных наборах данных с помощью Transformers и инструментов Unsloth. Из доступных данных известно, что модель работает с текстом и поддерживает английский язык. Она распространяется в формате 4-bit и ориентирована на снижение требований к памяти при запуске и дообучении; для Gemma 2 (9B) заявлены экономия памяти до 58% и ускорение до 2,4 раза в соответствующем сценарии Unsloth. README не содержит сведений о длине контекста, точной архитектуре, качестве на конкретных бенчмарках или поддержке других языков и модальностей. К сильным сторонам относятся уменьшенный объём памяти и совместимость с экосистемой Transformers, а также возможность последующего экспорта в GGUF и vLLM. Ограничения связаны с 4-битной квантизацией, которая может влиять на точность и не обязательно подходит для всех задач. Модель распространяется по лицензии Gemma; условия её использования следует уточнять в документации Google.

qwp4w3hyb/gemma-2-9b-it-iMat-GGUF — набор GGUF-квантизованных вариантов модели Google Gemma 2 9B IT, подготовленных на основе google/gemma-2-9b-it. Модель предназначена для генерации текста и локального запуска через llama.cpp; доступно множество уровней квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты с суффиксом _L. Для квантизации использовалась importance matrix (imatrix), призванная снизить потери качества по сравнению с обычной квантизацией. Модель имеет размер около 9 миллиардов параметров, поддерживает текстовый ввод и вывод и ориентирована на английский язык. В сборке учтены исправления llama.cpp, связанные с final logit soft capping, sliding window и токенизатором; конкретный размер контекстного окна в данных не указан. Разные уровни квантизации позволяют выбирать компромисс между качеством, потреблением памяти и скоростью, однако более компактные варианты могут заметнее терять качество. Лицензия указана как gemma; дополнительные условия использования в README не приведены.

amir22010/gemma4-e4b-w4a16-it-v2 — мультимодальная модель для диалога и анализа изображений, созданная Team Horizon на основе google/gemma-4-E4B-it. Это версия Gemma 4 E4B Instruct с квантизацией весов W4A16: веса представлены в 4-битном формате, активации остаются в FP16. Поддерживаются входные изображения и текст; модель предназначена для визуальных вопросов и ответов, анализа документов и диалоговых инструкций. Квантизация выполнена методом RTN для линейных слоёв; lm_head и аудиослои исключены. По README, для инференса требуется около 10 ГБ видеопамяти, рекомендуется 16–24 ГБ. Заявлены улучшения на отдельных бенчмарках после калибровки на TextVQA, DocVQA и UltraChat, однако эти результаты относятся к тестам автора и не гарантируют аналогичного качества на других данных. Модель распространяется по лицензии Apache-2.0. Среди известных ограничений — небольшое снижение точности на задачах анализа документов относительно базовой модели; аудиослои сохранены в исходной точности и не квантизированы.