II.8Инженерия данных и аналитика

MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-heretic — небольшая языковая модель на базе openbmb/MiniCPM5-1B и производного дообучения GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель создана автором saidutta69 с использованием Heretic 1.4.0 и метода directional ablation («abliteration»): целевые изменения весов подавляют поведение отказа без дополнительного дообучения. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, tool calling и function calling, а также локальных агентов, ролевых сценариев и исследований механизмов отказов и выравнивания. Модель имеет размер около 1,1 млрд параметров, поддерживает режимы Think и No-Think, контекст до 128K токенов и языки английский и китайский. Для локального запуска доступны версии GGUF, включая F16 и различные варианты квантования; заявлена совместимость с llama.cpp, Ollama, LM Studio и Jan. Благодаря небольшому размеру она подходит для потребительских GPU, CPU и edge-устройств. В README также заявлены сохранение возможностей базовой модели, сильные стороны в tool calling, кодинге и рассуждениях, а также снижение числа отказов с 93 до 3 на 100 тестовых запросов; эти показатели приведены автором модели и не подтверждены независимой оценкой. Ограничения включают малый размер модели по сравнению с современными крупными LLM, возможное ухудшение качества при агрессивном квантовании и потенциальные риски, связанные с подавлением защитного поведения. Модель распространяется по лицензии Apache-2.0.

osanseviero/mistral-instruct-frankenmerge — объединённая диалоговая языковая модель, созданная из Mistral-7B-Instruct-v0.2 и Mistral-7B-Instruct-v0.1 с помощью mergekit и метода passthrough. Это плотная авторегрессионная модель семейства Mistral с 8,9 млрд параметров, рассчитанная на генерацию текста и выполнение инструкций; поддерживает контекст до 32 768 токенов и диалоговый режим. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по инструкциям. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не приводит сравнительных оценок качества или специальных ограничений применения.

Mistral-Nemo-Instruct-2407-bnb-4bit — это 4-битная версия инструкционной языковой модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для генерации и обработки текста по инструкциям, диалоговых сценариев, а также для дообучения на собственных наборах данных с использованием экосистемы Transformers и инструментов Unsloth. Из README известно, что модель относится к семейству Mistral Nemo и рассчитана на работу с английским языком. Она доступна в формате 4-битного квантования bnb, что снижает требования к памяти и делает запуск и дообучение более доступными на ограниченных GPU-ресурсах. Указана интеграция с Transformers, а после дообучения модель можно экспортировать в GGUF или использовать через vLLM. Точный размер модели, архитектурные параметры и длина контекста в представленном README не указаны. К сильным сторонам относятся экономичное использование памяти и поддержка сценариев быстрого дообучения, включая beginner-friendly ноутбуки Unsloth. Ограничения связаны с тем, что README не содержит результатов оценки качества, подробностей о датасете и точных характеристик производительности именно этой версии. Модель распространяется по лицензии Apache-2.0.

Это четырёхбитная версия модели NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX. Исходная модель разработана NVIDIA; эта версия преобразована из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.26.3. Метаданные относят её к генеративным языковым моделям для диалога и указывают интерфейс вызова инструментов. Модель предназначена для генерации ответов в чате и выполнения инструкций; базовая модель также рассчитана на программирование и управляемое рассуждение. Карточка связывает её с английским, испанским, французским, немецким, итальянским и японским языками. Лицензия указана как other, поэтому условия следует уточнять на странице репозитория и базовой модели. Четырёхбитное представление и формат MLX предназначены для локального инференса на совместимом оборудовании; количественные показатели качества в карточке не приведены.

txn545/Qwen3.5-35B-A3B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.5-35B-A3B, разработанной Alibaba. Квантизация выполнена с помощью NVIDIA Model Optimizer до формата NVFP4; модель предназначена для текстового ввода и генерации текста. Модель рассчитана на разработчиков, которым нужны готовые к развертыванию решения для AI Agent-систем, чат-ботов, RAG-систем и других приложений на базе ИИ. Она использует трансформерную архитектуру Qwen3.5-35B-A3B с 35 млрд параметров, из которых активируется 3 млрд, и поддерживает контекст до 262K токенов. Указанные сценарии инференса ориентированы на NVIDIA GPU, в частности архитектуру Blackwell, Linux и движок SGLang. Ключевое преимущество модели — предварительная NVFP4-квантизация весов и активаций линейных операторов в MoE-блоках, что предназначено для эффективного инференса на совместимом оборудовании. Ограничения включают зависимость от NVIDIA GPU и совместимой версии SGLang, а также возможные неточности, токсичные ответы и усиление предубеждений, унаследованных от обучающих данных базовой модели. Модель распространяется по лицензии Apache 2.0 и допускает коммерческое и некоммерческое использование с учетом требований базовой модели.

Qwen3.5-Thinking-AIO-GGUF — экспериментальная серия мультимодальных моделей, созданная prithivMLmods на основе моделей Alibaba Qwen3.5. В репозитории представлены варианты Unredacted MAX с размером 0,8B, 2B, 4B и 9B параметров в формате GGUF; README также упоминает вариант 27B, но подробности его файлов в каталоге не приведены. Модели предназначены для генерации текста, рассуждений, программирования, математических задач и работы с изображениями, а также для локального запуска через llama.cpp и совместимые инструменты. Заявлены гибридная архитектура Gated DeltaNet, контекст до 262 144 токенов, словарь на 201 язык и переключаемые режимы рассуждений. Для мультимодальной работы доступны отдельные файлы mmproj, а для разных требований к памяти предусмотрены варианты F32, BF16, F16 и Q8_0. Малые версии ориентированы на периферийные устройства и системы с ограниченными ресурсами, более крупные — на повышение качества ответов и сложные задачи. Ключевая особенность серии — так называемая abliteration: автор заявляет минимизацию отказов и удаление стандартных защитных ограничений при сохранении или улучшении возможностей рассуждения. Это может быть полезно для исследовательских задач, создания датасетов и сценариев, где требуется более свободное следование инструкциям, но одновременно повышает риски небезопасных или нежелательных ответов. Модели экспериментальные, официальные оценки производительности не представлены, а заявления о превосходстве над исходными моделями основаны на неподтверждённых community-бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

Qwen3.8-27B-GPTQ-W4A8-MTP-Ampere — квантованная версия базовой модели Qwen/Qwen3.8-27B; разработчик в README явно не указан. Модель предназначена для генерации текста и инференса через vLLM, включая сценарии с OpenAI-совместимым API. Профиль запуска рассчитан на текстовые задачи; мультимодальная обработка не включена, несмотря на наличие vision tower в базовой конфигурации. Модель использует GPTQ-квантование: веса декодера представлены в INT4 с размером группы 128, language model head — в INT8, эмбеддинги упакованы в INT8, а MTP-модуль для speculative decoding — в INT4. Предусмотрены FP8 KV-кэш и генерация до трёх черновых токенов MTP за шаг. Заявленная максимальная длина контекста — до 250 000 токенов, однако фактические возможности зависят от доступной памяти и настроек запуска. Для работы требуется две видеокарты NVIDIA с 24 ГБ VRAM, например RTX 3090, Linux с совместимыми CUDA и драйверами, Python 3.11 и строго указанная версия vLLM 0.27.1. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной BF16-моделью и ускорение генерации благодаря speculative decoding. Ограничения включают возможное ухудшение качества из-за квантования весов и FP8 KV-кэша, необходимость специального compatibility layer и отказ от запуска с другими версиями vLLM, а также привязку тестового профиля к двум GPU. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-OBLITERATED-AWQ-W4A16 — это 4-битная AWQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем MurtazaNasir. Модель предназначена для генерации текста, программного кода, агентных сценариев и исследований AI safety и red teaming, включая запросы, на которые модели с обычными защитными настройками могут отказываться отвечать. В основе используется гибридная архитектура Qwen3.8-27B с 64 слоями: 48 слоёв линейного внимания gated-DeltaNet и 16 слоёв полноценного внимания, а также vision tower и MTP-head. Квантизация выполнена в формате AWQ W4A16_ASYM с размером группы 128; часть компонентов сохранена в bf16. Размер репозитория около 19,55 ГБ. Для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallel либо одна карта на 24 ГБ при небольшом контексте. Модель поддерживает текстовые и визуальные компоненты исходной архитектуры, но точные языки и максимальный размер контекста в предоставленных данных не указаны. Сильными сторонами заявлены близкая к исходной производительность, отсутствие жёстких отказов, совместимость с режимом thinking и хорошие результаты в генерации кода. Ограничения включают возможное снижение качества относительно базовой модели: в README указано падение MMLU на 2,1 процентного пункта. Для стабильной работы рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов. Стандартный шаблон чата поддерживает вызов инструментов, тогда как исходный шаблон их определения и роль tool игнорирует; также системные промпты могут повторно вызвать отказы. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-AWQ-MTP — 4-битная AWQ-квантизованная версия модели HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF. Это мультимодальная модель формата image-text-to-text для работы с текстом и изображениями; в карточке указан английский язык. Сборка предназначена для локального запуска и инференса через Transformers и vLLM, включая speculative decoding благодаря сохранённой NextN/MTP draft head. Модель содержит около 27 млрд параметров и использует гибридную архитектуру Qwen3.5: 64 декодерных слоя, из которых 48 используют линейное внимание Qwen3_5GatedDeltaNet, а 16 — полноценное внимание. В состав также входит 27-слойная vision tower, оставленная без квантизации. Применена схема W4A16 с размером группы 128 и асимметричным квантованием; итоговый размер файлов составляет около 19 ГБ. На конфигурации из двух RTX 3090 с vLLM и FP8 KV-cache модель успешно обрабатывала контексты до 229 200 токенов в тесте извлечения данных, однако это не является заявленным максимальным размером контекста. Сильные стороны — сохранённые мультимодальность, tool calling и MTP-ускорение: в тестовой конфигурации измерялась скорость до 96,3 токена в секунду, а коэффициент принятия MTP-токенов составил 64,9%. Модель описана как uncensored, а в двух проверочных запросах отказов не было. Ограничение — квантизация выполнена не из исходных BF16-весов, а через восстановление из Q8_K_P GGUF и последующее 4-битное квантование, поэтому возможны накопленные ошибки. Стандартизированные тесты качества не проводились. Лицензия — Apache 2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие встроенного отказного поведения. Заявлена поддержка английского, китайского и других языков. Для изображений и видео используется отдельный vision projector в формате BF16. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный MTP/NextN, а дополнительный профиль HauhauCS FastMTP предназначен для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизированные варианты от Q8_K_P до IQ2_M. Сильные стороны модели — широкий набор текстовых, мультимодальных, reasoning- и agentic-сценариев, большой контекст и варианты оптимизированного квантования K_P, рассчитанные на сохранение качества при уменьшенном размере. Ограничения включают потенциальные риски uncensored-поведения, отсутствие отказов на опасные запросы и необходимость отдельного vision projector для изображений и видео. В README не приведены независимые результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Rombos-EVAGutenberg-TIES-Qwen2.5-32B — языковая модель на архитектуре Qwen2.5, созданная nbeerbower слиянием методом TIES через mergekit. В объединение вошли nbeerbower/EVA-Gutenberg3-Qwen2.5-32B и nbeerbower/Rombos-Qwen2.5-32B-lorablated; базовая модель — Qwen/Qwen2.5-32B. Модель содержит 32 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. Она предназначена для диалогов и генерации текста. В метаданных указаны интерфейс вызова инструментов и языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Репозиторий содержит веса в формате safetensors, библиотека — Transformers. Лицензия — Apache-2.0. Карточка не приводит результатов оценивания или конкретных ограничений качества; применимость к отдельным задачам следует проверять на собственных данных.

RuadaptQwen2.5-32B-Instruct — русскоязычная инструктивная языковая модель, созданная командой MSU RCC LAIR на основе Qwen2.5-32B-Instruct. Авторы заменили токенизатор, выполнили дополнительное предобучение на русскоязычном корпусе и применили метод Learned Embedding Propagation (LEP). Модель имеет плотную архитектуру Qwen2 и 32 млрд параметров, принимает текст и генерирует текст; контекст — до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций на русском языке. По заявлению авторов, новый токенизатор повышает скорость генерации русскоязычного текста до 60% по сравнению с исходной Qwen2.5-32B-Instruct при сопоставимых входных последовательностях. В карточке также указана поддержка интерфейса вызова инструментов. Это версия v1, обозначенная авторами как находящаяся в разработке. Оценка качества проводилась на Ru-Arena-General и MERA; сведения о результатах llmtf_open в README не завершены. Модель унаследовала знания и возможные смещения базовой модели, поэтому ответы следует проверять. Лицензия — Apache-2.0.

Swift-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF — набор GGUF-квантов модели Swift-Qwen3.8-27B-Uncensored-MTP, разработанный ajgazin. В основе лежит Swift-Qwen3.8-27B от UkisAI — дообученная для эффективного рассуждения версия Qwen3.8-27B. Модель предназначена для генерации текста, диалогов и задач рассуждения, а также поддерживает обработку изображений и видео через отдельный vision projector. Вариант содержит MTP head для self-speculative decoding в llama.cpp и ориентирован на локальный запуск через llama.cpp; заявлена совместимость также с vLLM и SGLang для NVFP4-варианта. Доступны варианты от UD-Q2_K_XL размером 9,2 GiB до UD-Q8_K_XL размером 29,3 GiB, а также исходный BF16-файл размером 50,9 GiB. Разные уровни квантования позволяют запускать модель на GPU с 12, 16, 20, 24, 32 и 48 GiB памяти, при необходимости используя частичную выгрузку на CPU. Для заявленного запуска используется контекст до 32768 токенов. Более крупные варианты ближе к качеству BF16: для UD-Q8_K_XL совпадение наиболее вероятного токена составляет 98,8%, для UD-Q4_K_XL — 95,8%, а для UD-Q2_K_XL — 85,2%. Сильные стороны модели — широкий выбор размеров квантов, поддержка текста, изображений и видео, встроенный MTP head для ускорения генерации и сниженная склонность к отказам: в описании указано 15 отказов из 100 против 98 из 100 у исходной Swift-модели. Ограничения включают потерю точности при агрессивном квантовании, необходимость отдельного mmproj-BF16.gguf для мультимодального ввода и специальной сборки llama.cpp с поддержкой MTP для qwen35. Качество измерялось преимущественно на тесте wikitext-2, поэтому оно не полностью характеризует работу с кодом и диалогами. Модель распространяется по лицензии swift-open-license-1.0; в карточке также указана категория лицензии other.

Trinity-Large-Preview — разговорная модель Arcee AI на архитектуре разреженного Mixture-of-Experts (MoE), созданная на основе Trinity-Large-Base и прошедшая лёгкое дообучение для диалога. В README указано около 398 млрд параметров всего и примерно 13 млрд активных параметров на токен; метаданные каталога приводят размер 8,7 млрд параметров. Модель обучалась на более чем 17 трлн токенов, а этап настройки инструкций охватил 20 млрд токенов. Контекст составляет до 262 144 токенов. Модель предназначена для генерации текста и диалогов, в том числе с использованием интерфейса вызова инструментов. Заявлена поддержка английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Доступны варианты запуска через Transformers, vLLM, llama.cpp, LM Studio и API. Карточка приводит неоднозначные результаты бенчмарков: модель выше Llama 4 Maverick на MMLU, но ниже на MMLU-Pro и GPQA-Diamond. Это preview-чекпойнт, который проходит активное обучение с подкреплением, поэтому качество может меняться. Указана лицензия other; конкретные условия использования следует проверять в репозитории модели.

Vedika 4.1 Flash — экспериментальная предварительная версия мультимодальной модели Veda Labs с открытыми весами. Это причинная языковая модель с визуальным энкодером, ориентированная на диалог, рассуждения и агентные сценарии; интерфейс также предусматривает вызов инструментов. Для загрузки требуется включить trust_remote_code из-за пользовательской архитектуры. Модель совместима с Transformers и рядом движков инференса. Модель содержит 125 млрд параметров, из которых активируются 6 млрд, а также 51 млрд параметров n-граммных эмбеддингов и 4 млрд параметров MTP. Архитектура сочетает разреженное внимание Vedika, Gated DeltaNet, MoE и gated residual. Заявленная длина контекста — 262 144 токена с возможностью расширения до 1 000 000. README не приводит перечень поддерживаемых языков и численные результаты бенчмарков; модель работает в режиме рассуждений по умолчанию. Лицензия в предоставленных материалах не указана.

BAAI_AREX-Base-GGUF — это квантизированная версия модели AREX-Base, разработанной BAAI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель ориентирована на агентские сценарии, глубокое исследование, рассуждения, работу с инструментами и задачами с длинным контекстом. В карточке также указана поддержка англоязычных данных и мультимодальный профиль image-text-to-text, однако подробности о поддерживаемых типах изображений и способах их обработки не приведены. Доступны варианты с точностью от BF16 до низкобитных квантов, включая Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2. Размер файлов варьируется примерно от 44,48 до 244,31 ГБ; многие варианты разбиты на несколько частей. Более крупные квантизации сохраняют высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. В метаданных модель помечена как mixture-of-experts и связанная с Qwen3.5, но точные параметры архитектуры, число экспертов, размер контекста и количество параметров не указаны. Модель предназначена для локального запуска через llama.cpp и совместимые приложения, включая LM Studio, koboldcpp, Jan AI и Text Generation Web UI. Для работы требуется использовать указанный шаблон промпта с тегами ролей и началом блока рассуждений. Лицензия — Apache-2.0. В README не приведены результаты тестирования, ограничения по аппаратному обеспечению, сведения о безопасности или подробная документация по мультимодальным возможностям, поэтому практическое качество следует оценивать отдельно для выбранной квантизации и сценария.

dolphin-2.0-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и cognitivecomputations/dolphin-2.0-mistral-7b методом SLERP. Конфигурация указывает диапазон слоёв 0–32 для обеих моделей и формат весов bfloat16. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов, язык в карточке — английский. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; качество ответов может зависеть от формулировки запроса и задач, на которых проверяется модель.

Dolphin-Llama2-7b — языковая модель команды Dolphin, обучение которой спонсировала preemo. Это дообученная плотная модель семейства Llama 2 с 6,6 млрд параметров и контекстом до 4096 токенов. Она принимает текстовые инструкции и генерирует текст; для диалога используется формат промпта, похожий на Vicuna, с полями SYSTEM, USER и ASSISTANT. Модель предназначена для ответов на инструкции, диалога и выполнения широкого круга текстовых задач. При дообучении использовался открытый вариант данных Orca: инструкции FLANv2 с ответами GPT-3.5 и GPT-4; авторы сообщают о фильтрации отказов и ограничений, поэтому модель может отвечать на запросы, от которых другие модели откажутся. Это повышает риск нежелательных или вредоносных ответов; автор рекомендует добавить собственный слой выравнивания перед предоставлением модели пользователям. В карточке указана лицензия Llama 2, допускающая коммерческое и некоммерческое применение с соблюдением её условий.

ERNIE-4.5-300B-A47B-W4A8C8-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Репозиторий содержит вариант W4A8C8 с 4-битными и 8-битными весами; в карточке указаны 47,1 млрд параметров, а README описывает семейство как модель с 300 млрд параметров всего и 47 млрд активируемых на токен. Архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, генерации текста и общего языкового понимания. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако именно этот вариант обозначен как текстовая модель. Поддерживает английский и китайский языки; контекстное окно — 131072 токена. Для запуска предназначены PaddlePaddle и FastDeploy. Модель выпущена под лицензией Apache-2.0. Возможности и качество зависят от аппаратных ресурсов и настроек развёртывания; README приводит пример конфигурации FastDeploy с ограничением длины ввода 32768 токенов.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

GLM-4.6V-Flash — компактная мультимодальная модель семейства GLM-V от Z.ai, представленная в карточке Unsloth с исправлениями шаблона диалога. Это версия на 9 млрд параметров, рассчитанная на локальное развёртывание и приложения с низкой задержкой; архитектура GLM4V использует условную генерацию текста по изображениям. Модель принимает изображения и текст, понимает документы, страницы с таблицами, диаграммами и иллюстрациями, а также снимки экранов. Контекстное окно семейства заявлено до 128 тысяч токенов. Модель подходит для визуальных диалогов, анализа документов, интерпретации интерфейсов и генерации кода HTML/CSS по скриншотам. Поддерживает вызов инструментов и смешанную генерацию текста и визуального контента. По README, её сильная сторона — мультимодальные сценарии; чисто текстовые ответы слабее, а на сложных запросах возможны чрезмерные рассуждения и повторы. Также отмечены ошибки при подсчёте объектов и распознавании конкретных людей. Репозиторий распространяется по лицензии MIT.

GoldenLlama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, созданная объединением Orenguteng/Llama-3.1-8B-Lexi-Uncensored и NousResearch/Hermes-3-Llama-3.1-8B с помощью mergekit. Слои 0–24 взяты из первой модели, а слои 25–31 — из второй; конфигурация слияния passthrough, исходная точность указана как bfloat16. Репозиторий содержит веса safetensors, модель насчитывает 7,5 млрд параметров и имеет контекстное окно 131 072 токена. Модель предназначена для генерации текста и диалогового использования. Лицензия репозитория — Apache-2.0. Карточка не приводит конкретных оценок качества или подробных ограничений; характеристики и поведение унаследованы от объединённых моделей и могут отличаться от каждой из них.

NVIDIA gpt-oss-120b-Eagle3-short-context — текстовая модель для генерации ответов, основанная на OpenAI gpt-oss-120b и дополненная модулем Eagle3 для спекулятивного декодирования. Базовая gpt-oss-120b использует архитектуру Mixture-of-Experts с 120 млрд общих и 5 млрд активируемых параметров; этот репозиторий содержит 739,4 млн параметров Eagle-модуля. Модель принимает текст и генерирует текст, а её контекстное окно составляет 131 072 токена. Модель предназначена для разработчиков чат-ботов, ИИ-агентов и RAG-систем, а также для диалогов и выполнения инструкций. Вариант short-context обычно предпочтителен для запросов с контекстом менее 8 тысяч токенов. Eagle3 предсказывает кандидаты следующих токенов, которые проверяет базовая модель, ускоряя генерацию при принятии нескольких токенов за шаг. Для запуска NVIDIA указывает TensorRT-LLM и GPU NVIDIA; README описывает совместимость с Blackwell. Модель оптимизирована для инференса на системах с GPU NVIDIA. Карточка заявляет готовность к коммерческому и некоммерческому использованию, но в метаданных лицензия обозначена как other, поэтому перед применением следует проверить условия лицензии репозитория. Качество и безопасность необходимо проверять на данных и сценариях конкретного приложения; опубликованные результаты приводят показатели принятия токенов Eagle на MT-Bench, а не оценку качества ответов.

gradientai-Llama-3-8B-Instruct-262k-GGUF — набор квантованных файлов модели gradientai/Llama-3-8B-Instruct-262k, подготовленный организацией Featherless AI Quants. Модель относится к классу text-generation и предназначена для генерации текста и выполнения инструкций в сценариях локального или совместимого с GGUF инференса. Известно, что это 8-миллиардная instruct-модель семейства Llama 3 с заявленным контекстом до 262 тысяч токенов. README не указывает поддерживаемые языки, точную архитектуру, мультимодальные возможности, результаты оценки или специальные сценарии применения. Доступны варианты квантования Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер составляет примерно от 3,0 до 8,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Сильными сторонами модели являются большой заявленный контекст и широкий выбор GGUF-квантований, подходящих для разных аппаратных конфигураций. Ограничения README не раскрывает: отсутствуют сведения о качестве, скорости, требованиях к оборудованию, языковом покрытии и поведении на конкретных задачах. Лицензия в предоставленных данных не указана.

granite-4.2-8b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локальной генерации текста. Модель поддерживает задачи text generation, включая сценарии рассуждений, работы с инструментами и tool-calling, что отражено в заявленных тегах. Она обучена для работы с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками. Архитектура и размер исходной модели обозначены как granite-4.2-8b; сведения о длине контекста и точной архитектуре в README не приведены. Ключевое преимущество варианта — сниженное потребление памяти по сравнению с полной точностью и оптимизация под Apple Silicon, что делает его подходящим для локального использования. Ограничениями являются возможная потеря качества из-за 4-битного квантования, зависимость производительности от оборудования и отсутствие в README подробных данных о качестве, бенчмарках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

Human-Like-LLama3-8B-Instruct-GGUF — это 8-миллиардная текстовая instruction-модель семейства Llama 3, разработанная HumanLLMs на основе Humanish-LLama3-8B-Instruct. Данная версия опубликована в формате GGUF и квантизирована bartowski с использованием llama.cpp и метода imatrix. Обучение или дообучение модели связано с набором данных humanish-dpo-project и методом DPO. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и иных текстовых сценариях. В README приведены результаты оценивания на IFEval, BBH, MATH, GPQA, MuSR и MMLU-PRO, однако показатели заметно различаются между задачами, поэтому их следует рассматривать как ориентиры, а не гарантию качества в конкретном применении. Мультимодальность, поддерживаемые языки, размер контекстного окна и рекомендуемый формат промптов в карточке не указаны. Доступно несколько вариантов квантизации от F16 до Q3_K_XL. Более высокие варианты обычно лучше сохраняют качество, но требуют больше памяти; Q4_K_M указан как вариант стандартного размера, а Q5 и Q6 — как высококачественные варианты. Ограничения включают отсутствие описания prompt format и неполную информацию о языках, контексте и поведении модели. Лицензия указана как llama3.

Iris-mini APEX-I-MiniPlus-V2.1 GGUF — квантизированная версия модели AllSpark-Research/Iris-mini, подготовленная IsValorum для запуска через llama.cpp и совместимые инструменты. Это текстовая генеративная модель со sparse Mixture-of-Experts: заявлены 40 слоёв и 256 микроэкспертов. Модель поддерживает контекст до 256K токенов и предназначена для локального запуска на рабочих станциях с ограниченной видеопамятью, включая частичный или полный offload в системную RAM. Квантизация использует смешанную схему APEX-I-MiniPlus V2.1: маршрутизаторы gate_inp сохранены в F32, выходная матрица — в Q6_K, attention-компоненты используют Q4_K и Q6_K, attention gates — Q8_0, а основные эксперты — IQ3_XXS; общий размер заявлен примерно 13,74 GiB. Это ориентировано на сохранение качества рассуждений, синтаксической стабильности и устойчивости при длинном контексте при меньшем размере, чем у менее агрессивных квантизаций. В README приведён показатель WikiText-2 perplexity 5,3735 ± 0,1214, но независимые условия тестирования не описаны. Модель предназначена для генерации текста, рассуждений и задач, где важны большие контекстные окна; заявлена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Сильными сторонами являются компактный размер, сохранение маршрутизации MoE и возможность использовать системную RAM для KV-кэша и вычислений. Ограничениями остаются зависимость скорости от видеопамяти, пропускной способности RAM и архитектуры процессора, а также возможная потеря качества, характерная для квантизированных моделей. Распространяется по лицензии Apache-2.0.