II.8Инженерия данных и аналитика

Merge-Mixtral-Prometheus-8x7B — языковая модель для генерации текста и диалогов, созданная объединением моделей prometheus-eval/prometheus-8x7b-v2.0 и mistralai/Mixtral-8x7B-Instruct-v0.1 с помощью LazyMergekit. Для слияния использован линейный метод с равными весами; архитектура Mixtral — модель типа Mixture of Experts с классом MixtralForCausalLM. Репозиторий содержит веса в формате safetensors. Модель подходит для генерации ответов на запросы и диалогового взаимодействия, а также может применяться для оценивания ответов в сценариях, связанных с Prometheus. Заявленная длина контекста составляет 32 768 токенов, размер — 7,1 млрд параметров. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Лицензия — Apache-2.0.

Meta-Llama-3-8B-Instruct-BPE-fix-GGUF — это GGUF-версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях диалоговых ассистентов, ответов на вопросы, написания и преобразования текста. В карточке указаны английский язык и задача text-generation; поддержка других языков не заявлена. Известно, что модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами инференса, а суффикс BPE-fix указывает на вариант с исправлением, связанным с токенизацией BPE, однако подробности этого исправления в README не приведены. Сведения о размере контекста, точной архитектуре, модальностях, производительности и ограничениях качества отсутствуют. Модель распространяется по лицензии Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение, создание производных работ и модификацию на установленных условиях. При распространении материалов или продуктов необходимо включать текст лицензии, указывать «Built with Meta Llama 3», сохранять требуемое уведомление об авторских правах и соблюдать Acceptable Use Policy. Для организаций и продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

Это сжатая инструкционная языковая модель meta-llama/Llama-3.2-3B-Instruct, разработанная Meta. Модель предназначена для диалоговых сценариев и генерации ответов на пользовательские запросы; в качестве базовой модели указана Llama-3.2-3B-Instruct. В README также указан датасет HuggingFaceH4/ultrachat_200k и библиотека Transformers. Модель использует схему сжатия W4A16: веса представлены в формате 4 бит, а активации — в формате 16 бит. Сжатие выполнено с помощью llmcompressor на 512 образцах из секции train_sft датасета ultrachat_200k с chat-препроцессингом. Максимальная длина последовательности при подготовке указана как 131072 токена. Такие характеристики могут снизить требования к памяти и упростить запуск по сравнению с полноразмерной версией, однако README не содержит результатов сравнительной оценки, сведений о поддерживаемых языках, точных ограничениях качества или лицензии. Архитектура и модальности отдельно не описаны; по представленным данным модель следует считать текстовой.

Mistral-10.7B-Instruct-v0.2 — плотная языковая модель семейства Mistral с примерно 10,6 млрд параметров, созданная увеличением глубины модели mistralai/Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и может использоваться как замена исходной 7-миллиардной версии или как основа для дальнейшего дообучения. Модель принимает текст и генерирует текст; заявленное контекстное окно составляет 32 768 токенов. Модель опубликована под лицензией Apache 2.0. В карточке не описаны языковое покрытие и результаты сравнительных оценок, поэтому её качество для конкретных языков и задач следует проверять отдельно.

Mistral-7b-FFT-Test3-Mistral-7B-Instruct-v0.2-slerp — текстовая диалоговая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Dans-DiscountModels/Mistral-7b-FFT-Test3; в конфигурации указан тип данных bfloat16. Модель предназначена для генерации текста и выполнения инструкций в диалоге, а контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В карточке указана лицензия Apache-2.0. Данных о специальных предметных областях или языках, на которые модель рассчитана в первую очередь, нет.

jpquiroga/Mistral_7B_slerp_merge_instruct_open_orca — объединённая модель на основе Mistral-7B-Instruct-v0.1 и Open-Orca/Mistral-7B-OpenOrca, созданная автором репозитория с помощью mergekit и метода SLERP. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять в чат-ботах, помощниках и системах, которым нужны ответы на запросы на естественном языке. Заявленная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает результатов оценки качества или отдельных ограничений поведения, поэтому фактическую пригодность для конкретных задач следует проверять на собственных примерах.

MN-SlushoMix — разговорная языковая модель семейства Mistral, представленная автором как смесь MN-Slush и NemoMix Unleashed. По метаданным, это плотная модель с архитектурой MistralForCausalLM объёмом 12,1 млрд параметров, предназначенная для генерации текста и диалогов. Указаны интерфейс вызова инструментов и контекстное окно до 1 024 000 токенов. Модель основана на mistralai/Mistral-Nemo-Instruct-240; карточка упоминает смесь моделей, а метаданные классифицируют её как дообучение. Данные не уточняют поддерживаемые естественные языки или сравнительное качество. Репозиторий содержит веса safetensors; README также упоминает GGUF. Лицензия в предоставленных сведениях не указана.

zelk12/MT2-Gen2-gemma-2-9B — слитая модель генерации текста на основе Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT2-Gen2-BGMAMU-gemma-2-9B и zelk12/MT2-Gen2-IMM-gemma-2-9B. Модель разработана автором репозитория zelk12; README указывает, что в объединении использована конфигурация с коэффициентом t=0,25 и типом данных bfloat16. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения. Её контекст составляет 8192 токена. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH; эти показатели дают ориентир по следованию инструкциям и решению сложных задач, но не гарантируют качество в конкретном сценарии. Метаданные указывают библиотеку Transformers и формат весов safetensors. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют, поэтому условия использования и языковую специализацию определить нельзя.

fengminqi/my-tg-qwen2.5-7b — дообученная fengminqi языковая модель семейства Qwen2.5 с плотной архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для генерации текста и диалогового общения. Указанный в метаданных контекст — 32 768 токенов; карточка также отмечает интерфейс вызова инструментов. Среди тегов языка указан английский. Веса представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специализацию дообучения, поэтому конкретные преимущества и ограничения в отдельных предметных областях установить нельзя.

Newq-0.5B-Instruct — компактная инструктивная языковая модель примерно с 494 млн параметров, созданная на базе Qwen/Qwen2.5-0.5B-Instruct. Она предназначена для диалогов и генерации текста общего назначения. Модель использует архитектуру Qwen2 с 24 слоями и групповым запросным вниманием (14 голов Q и 2 головы KV), поддерживает контекст до 32 768 токенов и представлена в формате safetensors для библиотеки Transformers. Компактный размер позволяет запускать её на CPU или видеокарте умеренной мощности, а длинный контекст подходит для работы с объёмными текстовыми запросами. В метаданных указана поддержка английского языка и интерфейса вызова инструментов. Модель распространяется по лицензии Apache-2.0.

Nous Hermes 2 Llama-2 70B — языковая модель для диалоговой генерации текста, разработанная Nous Research и дообученная на наборе Hermes 2. Для обучения использовали более миллиона примеров, преимущественно созданных GPT-4, а также данные из открытых наборов. Модель основана на плотной архитектуре Llama и содержит 68,7 млрд параметров. Модель предназначена для многоходового общения и выполнения инструкций. Она использует формат запросов ChatML с ролями и специальными маркерами ходов; карточка также отмечает совместимость этого формата с интерфейсами OpenAI API. Контекст составляет 4096 токенов. Указанный язык — английский. Модель принимает текстовые запросы и генерирует текстовые ответы. Карточка приводит пример использования через Transformers и отмечает высокие требования к видеопамяти: даже в 4-битном режиме требуется более 24 ГБ VRAM. Лицензия — Apache-2.0.

DeepHermes-3-Llama-3-3B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели DeepHermes-3-Llama-3-3B-Preview, разработанной NousResearch и подготовленной квантизацией bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогов и выполнения инструкций; среди заявленных сценариев — чат, reasoning, roleplaying, function calling и генерация JSON. Указана поддержка английского языка и формата prompt, совместимого с Llama 3 и ChatML-подобной структурой ролей. Модель имеет около 3 млрд параметров и работает с текстовой модальностью. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3 размером примерно от 1,9 до 6,4 ГБ, что позволяет запускать её локально через llama.cpp, LM Studio и другие совместимые проекты, в том числе на устройствах с ограниченной памятью. Более сильные стороны — компактность, широкий выбор квантизаций и пригодность для локального inference; при этом это preview-версия, а квантизация может снижать качество по сравнению с исходными весами. Размер контекстного окна и дополнительные языки в README не указаны. Лицензия обозначена как llama3.

Phi-3-mini-4k-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3-mini-4k-instruct, разработанной Microsoft и квантизированной Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и текстовая модальность. Модель имеет контекст до 4000 токенов и использует шаблон диалога phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с низкой потерей качества. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; README также отмечает, что Q4_0 и Q5_0 являются устаревшими вариантами. Модель поддерживает запуск через LlamaEdge версии 0.12.2 и выше, включая работу в виде сервиса или командного приложения. Ограничения включают сравнительно небольшой контекст, поддержку только текста и заявленного английского языка, а также возможное снижение качества при низкой разрядности квантизации. Лицензия — MIT.

Q3.6-27B-DS-v4-Flash-DA-GGUF — экспериментальная GGUF-версия модели, разработанная prithivMLmods. В её основе — Qwen/Qwen3.6-27B и производная prithivMLmods/Qwen3.6-27B-abliterated-rMAX; модель дополнительно обучалась на дистиллированных рассуждениях DeepSeek V4 Flash с применением анализа и абляции направлений отказа. Заявленная цель — улучшить подробное контекстное рассуждение и следование инструкциям при снижении внутренних механизмов отказа. Модель предназначена для генерации текста, исследовательских и учебных экспериментов, а также сценариев, где важны рассуждение и развёрнутые ответы. В репозитории представлены варианты в форматах BF16, F16 и различных степенях квантования Q2_K–Q8_0; размеры файлов составляют примерно от 10,7 до 53,8 ГБ. В метаданных указан английский язык. Также доступны файлы mmproj, что указывает на заявленную поддержку мультимодального режима, однако подробности о поддерживаемых модальностях, размере контекста и фактических возможностях обработки изображений не приведены. К сильным сторонам относятся фокус на reasoning, контекстно-зависимые ответы и instruction following. Ограничения включают экспериментальный статус, возможное появление артефактов и сниженные механизмы отказа, из-за чего модель может генерировать чувствительный или неограниченный контент. Использование заявлено для исследований и обучения; модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen2.5-32B-Instruct-8bit — конверсия в формат MLX модели Qwen/Qwen2.5-32B-Instruct, выполненная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная модель семейства Qwen2.5 с 32 млрд параметров, предназначенная для диалоговой генерации текста и работы с интерфейсом вызова инструментов. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Карточка указывает английский язык, а базовая модель Qwen2.5 поддерживает более широкий контекст, но для этой версии следует ориентироваться на значение из её метаданных. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-Hi-Fi-fraQtl — это квантизированная GGUF-версия Qwen/Qwen3-4B-Instruct-2507, подготовленная fraQtl и опубликованная в сообществе Qualcomm AI Hub. Модель предназначена для генерации текста и работы в сценариях локального запуска на CPU и GPU через llama.cpp; GGUF также совместим с GenieX без изменений. Поддержка выполнения на NPU/Hexagon в README не подтверждена. Модель содержит около 4 млрд параметров и поддерживает контекст до 262 144 токенов. Доступны варианты Hi-Fi Q4_K_M-класса размером 2,50 ГБ и Q4_0 размером 2,38 ГБ. Квантизация выполнена с учётом калибровки методом fraQtl code+math imatrix; заявлены более низкое расхождение с исходными весами по сравнению с рядом других сборок Q4_K_M и успешное извлечение контрольных данных на полном контексте. Архитектура, перечень языков и поддерживаемые модальности в README отдельно не указаны. Сильными сторонами являются компактный размер, возможность локального запуска, сохранение качества после квантизации и проверенная работа с длинным контекстом. Ограничения включают отсутствие подтверждённого ускорения на Hexagon NPU, а также отсутствие подробных данных о языковых возможностях и качестве на прикладных задачах. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

DavidAU/Qwen3.5-13B-GLM-4.7-Flash-DeepSeek-Polaris-Grande-Deep-Thinking — дообученная на базе Qwen/Qwen3.5-9B мультимодальная модель семейства Qwen3.5, опубликованная в формате Safetensors для Transformers. Автор описывает её как объединение и масштабирование двух дообученных дистиллятов с последующим обучением на примерах GLM-4.7-Flash; заявлены 48 слоёв, диалоговый режим, работа с изображениями и интерфейс вызова инструментов. Модель предназначена для следования сложным инструкциям, рассуждений, написания художественных текстов и диалогов, программирования и сценариев с инструментами. В карточке приведён пример генерации сцены ужасов, но он не является независимой оценкой качества. Автор также сообщает об исправлениях шаблона диалога для уменьшения повторов и циклов и улучшения обработки инструментов. Языковые теги карточки указывают английский и китайский. Лицензия — Apache-2.0. Размер в 13 млрд параметров заявлен в README; метаданные при этом связывают модель с базовой Qwen3.5-9B.

Savant-LLaMa-70B — объединённая языковая модель автора TareksGraveyard, созданная с помощью mergekit методом della_linear. В качестве базовой использована nbeerbower/Llama-3.1-Nemotron-lorablated-70B; в объединение также вошли пять моделей семейств Llama от EVA-UNIT-01, Sao10K, SicariusSicariiStuff и TheDrummer. Модель предназначена для диалогового общения и генерации текста. Она построена на архитектуре Llama с 69,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В README автор описывает результат как эксперимент слияния и оценивает его как достойный, но отмечает, что предпочитает другой собственный вариант. Репозиторий содержит веса Safetensors и использует лицензию Llama 3.3. Перед применением следует учитывать условия лицензии Llama 3.3 и ограничения, унаследованные от включённых моделей; README не приводит отдельной оценки качества или подробных рекомендаций по безопасному использованию.

T3qm7xNeuralsirkrishna_Multi_verse_modelYam — объединённая модель семейства Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/Multi_verse_modelYam-7B. Она предназначена для генерации текста и диалоговых ответов, в том числе в сценариях, где требуется обрабатывать длинные запросы и контекст. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает контекст длиной до 32 768 токенов. Данные карточки не уточняют поддерживаемые естественные языки и конкретные сильные стороны слияния. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

TheTop-5x7B-Instruct-S5-v0.1 — текстовая генеративная модель MaziyarPanahi, созданная путём слияния нескольких предварительно обученных моделей размером 7B и применения SLERP к другим моделям 7B. В README упоминается использование mergekit; архитектура — плотная MistralForCausalLM, формат весов — safetensors. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и инструктивных сценариев, например диалога, ответов и рассуждений. В README приведены результаты оценивания на бенчмарках, включая AI2 Reasoning Challenge и HellaSwag. Поддерживаемый язык в доступных данных не установлен. Модель распространяется по лицензии Apache-2.0; сведения о конкретных ограничениях применения в карточке не приведены.

YamshadowInex12_NeuralsirkrishnaInex12 — слитая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/NeuralsirkrishnaInex12-7B. Она предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

zephyr-7b-beta-Mistral-7B-Instruct-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная MaziyarPanahi слиянием mistralai/Mistral-7B-Instruct-v0.2 и HuggingFaceH4/zephyr-7b-beta методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на запросы и инструкции; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалоговых помощников, ответов на вопросы и других сценариев генерации текста по инструкции. В репозитории указаны веса safetensors в формате bfloat16; README также упоминает отдельные GPTQ- и GGUF-сборки для инференса на GPU и CPU/GPU. Поддерживается английский язык. Лицензия — Apache-2.0. Качество и поведение могут отличаться от исходных моделей из-за слияния; README не приводит сравнительных оценок или отдельных гарантий качества.

Qwen3-32B-GGUF — квантизированная версия крупной языковой модели Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 32,8 млрд параметров, из них 31,2 млрд не относятся к embedding, и включает 64 слоя. Используется Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Поддерживаются режимы thinking для сложного рассуждения и non-thinking для более быстрых общих диалогов; между ними можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN модель протестирована на контекстах до 131 072 токенов. Основные преимущества — сочетание рассуждения, следования инструкциям, многоязычности и агентских возможностей, а также возможность выбирать баланс между качеством рассуждений и скоростью ответа. Модель распространяется в форматах GGUF с вариантами квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что облегчает локальный запуск через llama.cpp или Ollama. Ограничения включают возможное снижение качества на коротких текстах при неподходящей статической настройке YaRN, риск повторов при неоптимальных параметрах генерации и потенциальное смешение языков при чрезмерном presence penalty. Лицензия — Apache-2.0.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.

Qwen3-14B-GGUF — квантизированная версия причинной языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов и агентных возможностей. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов, и имеет 40 слоёв. Используется Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Поддерживаются режимы с рассуждением и без рассуждения, между которыми можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов; с использованием YaRN проверена работа с контекстом до 131 072 токенов. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание рассуждений и эффективного общего диалога, развитое следование инструкциям, мультиязычность и интеграция с инструментами. Формат GGUF ориентирован на локальный запуск через llama.cpp и Ollama. Ограничения связаны с возможным снижением качества из-за квантования; при использовании статического YaRN производительность на коротких текстах может ухудшаться, поэтому его рекомендуется включать только для длинного контекста. Модель распространяется по лицензии Apache-2.0.

Gemma 4 E4B-it — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям и диалога. Это плотная модель семейства Gemma 4; репозиторий использует Transformers и формат safetensors. Для варианта E4B заявлено контекстное окно 128 тысяч токенов и поддержка более 35 языков в практическом использовании, при предобучении на более чем 140 языках. Модель принимает текст, изображения, видео и аудио, а выдаёт текст. Она предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, понимания видео, распознавания речи и перевода речи в текст. Поддерживает режим рассуждений и вызов инструментов; гибридное внимание сочетает локальные окна и глобальное внимание. Модель подходит для локального запуска на устройствах с ограниченными ресурсами, а также для чат-ботов, помощников и мультимодальных приложений. Возможности распознавания аудио заявлены для вариантов E2B и E4B. Как и другие генеративные модели, она может ошибаться в ответах и интерпретации входных данных. Лицензия — Apache 2.0.

Granite-3.2-2B-Instruct-GGUF — модель IBM Granite, разработанная командой Granite Team компании IBM. Это GGUF-конверсия базовой модели Granite-3.2-2B-Instruct с различными вариантами квантования. Модель предназначена для выполнения общих инструкций и интеграции в AI-ассистентов, включая бизнес-приложения. Модель содержит около 2 миллиардов параметров и ориентирована на задачи рассуждения с управляемым включением режима thinking только при необходимости. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), работу с кодом, function calling, многоязычный диалог и задачи с длинным контекстом, включая обработку больших документов и протоколов встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. К сильным сторонам относятся компактный размер, поддержка reasoning-сценариев, длинного контекста и широкого набора прикладных задач. Точный размер контекстного окна и характеристики отдельных вариантов квантования в предоставленных данных не указаны; формат GGUF может требовать совместимого программного обеспечения для запуска. Модель распространяется по лицензии Apache 2.0.

Granite-4.1-8B (FP8) — это FP8-версия 8-миллиардной инструкционной языковой модели Granite-4.1, разработанной командой Granite компании IBM. Модель предназначена для генерации текста, диалогов и использования в качестве основы AI-ассистентов и LLM-агентов, включая корпоративные сценарии. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation, программирование, вызовы функций, многоязычный диалог и Fill-In-the-Middle для кода. Базовая модель построена на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для 8B-варианта указаны 40 слоёв, размер embedding 4096, 32 attention heads, 8 KV heads и контекст до 131072 токенов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. FP8-квантизация ориентирована на более эффективное развёртывание при сохранении совместимости с инструментами text generation. Сильные стороны модели — улучшенные instruction following, tool calling, чат-возможности, генерация и объяснение кода, математическое рассуждение и поддержка длинного контекста. Ограничения включают возможное снижение качества на языках, отличных от английского, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование безопасности и настройки под конкретные задачи. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-14B-128K-GGUF — формат GGUF модели Qwen3-14B, опубликованный Unsloth на основе модели Qwen/Qwen3-14B. Это причинная языковая модель с 14,8 млрд параметров, предназначенная для генерации текста, диалогов, следования инструкциям, математических рассуждений, программирования, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель поддерживает переключение между режимом рассуждений и нерассуждающим режимом, что позволяет выбирать между качеством решения сложных задач и более эффективным общим диалогом. Указана поддержка более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Архитектура включает 40 слоёв и Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Базовый контекст составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Сильными сторонами являются развитые способности к рассуждениям, коду, многошаговому диалогу, следованию инструкциям и работе с инструментами, а также возможность локального запуска в формате GGUF. Ограничения и требования к аппаратному обеспечению для этой конкретной сборки в README подробно не указаны; характеристики длинного контекста зависят от корректной поддержки YaRN и используемого программного обеспечения. Лицензия — Apache-2.0.

Qwen3.5-122B-A10B-GPTQ-Int4 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это causal language model с vision encoder, предназначенная для работы с текстом и изображениями. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии и универсальные задачи обработки контента. Модель использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Общее число параметров составляет 122 млрд, при этом во время работы активируется около 10 млрд. Архитектура включает 48 слоёв и 256 экспертов, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживаются 201 язык и диалект. Данная версия содержит GPTQ-квантизацию до 4 бит и распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, высокая вычислительная эффективность разреженной архитектуры и широкое языковое покрытие. Ограничения включают необходимость совместимого программного и аппаратного окружения для запуска крупной MoE-модели, а также возможные потери качества из-за 4-битной квантизации; конкретные требования к ресурсам в README не указаны. Лицензия — Apache-2.0.