I.14Автоматизация процессов и AI-агенты

Это сборка Phi-3 Mini-128K-Instruct в формате GGUF F16, опубликованная ProfessorF (Nick V. Flor); исходную модель разработала Microsoft. Это компактная языковая модель с 3,8 млрд параметров, рассчитанная на генерацию текста и диалог по инструкциям. Файлы GGUF предназначены для локального запуска через llama.cpp и совместимые интерфейсы, в том числе в условиях ограниченных вычислительных ресурсов и требований к низкой задержке. Модель рассчитана прежде всего на английский язык. Она подходит для ответов на вопросы, генерации текста, программирования, математики и логических рассуждений; окно контекста исходной модели составляет до 128 тыс. токенов. README описывает обучение и настройку исходной модели с помощью supervised fine-tuning и direct preference optimization. Репозиторий предоставляет 16-битные GGUF-файлы; лицензия — MIT. Модель может ошибаться, а её пригодность для конкретного применения требует проверки, особенно в сценариях с высокими рисками. Заявления о сильных результатах на бенчмарках относятся к описанию исходной модели Microsoft и не являются независимой оценкой этой сборки.

unsloth/Phi-4-reasoning-plus-GGUF — GGUF-версия модели Phi-4-reasoning-plus, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая по весам текстовая модель генерации для диалогов и задач, требующих рассуждений, прежде всего математики, естественных наук и программирования. Модель дообучалась методом supervised fine-tuning на синтетических и отфильтрованных общедоступных данных, а также с применением reinforcement learning. В основе лежит плотная decoder-only Transformer-архитектура с 14 млрд параметров и контекстом до 32 тыс. токенов. Модель принимает текстовые запросы, предпочтительно в формате чата, и генерирует текстовые ответы на английском языке. Ответы состоят из блока цепочки рассуждений и последующего блока суммаризации. Версия GGUF предназначена для запуска в совместимых инструментах, включая llama.cpp; для включения режима рассуждений в llama.cpp требуется параметр --jinja. Сильной стороной модели является повышенная точность благодаря дополнительному reinforcement learning и специализации на сложных задачах рассуждения, математике, науке и коде. Ограничением служит более высокая задержка: модель в среднем генерирует примерно на 50% больше токенов. README не содержит отдельной информации о специфических ограничениях качества или требованиях к аппаратным ресурсам именно этой GGUF-квантизации. Указанная лицензия — MIT.

Pixtral-Large-Instruct-2411 — мультимодальная модель Mistral AI для диалогов и анализа изображений. Она построена на Mistral-Large-Instruct-2407 и включает языковой декодер примерно на 123 млрд параметров и визуальный энкодер на 1 млрд параметров; общий размер — 124 млрд параметров. Модель принимает текст и изображения и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на работу с несколькими изображениями высокого разрешения в одном запросе. Модель предназначена для ответов на вопросы по изображениям, понимания документов и диаграмм, а также для текстовых инструкций и диалогов. В карточке заявлены сильные результаты на MathVista, DocVQA и VQAv2. Для инференса рекомендуется vLLM; README предупреждает, что реализация Transformers пока не работает. Лицензия указана как other, поэтому условия использования следует сверить с лицензией и условиями Mistral AI.

thread13/Qwen3.5-4B-llamafile — сборка модели Qwen3.5-4B в формате llamafile, разработанная автором репозитория thread13 на основе Qwen/Qwen3.5-4B. Это мультимодальная чат-модель для диалога с текстом и изображениями; её можно запускать как консольный чат или веб-сервер. Llamafile объединяет модель и исполняемые компоненты в один файл на базе llama.cpp. В карточке рекомендуются параметры контекста 16 384 токена для задач рассуждения и программирования в режиме thinking. Модель предназначена для ответов на вопросы по изображениям, обычного диалога, рассуждений и помощи с кодом. Указанный в карточке формат — GGUF BF16; размер модели — 4 млрд параметров. В README не приведена лицензия этой сборки. Веб-сервер по умолчанию пытается слушать все доступные сетевые интерфейсы; для локального доступа README рекомендует явно задавать 127.0.0.1.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-MTP — пользовательская версия модели, опубликованная AIOpsInSpace. Она основана на Qwen3.6-27B и HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive и распространяется в формате GGUF. Модель предназначена для генерации текста, диалогов, задач рассуждения и сложных рабочих процессов, включая программирование. Заявлены плотная архитектура размером 27B параметров, англоязычная поддержка и режим Multi-Token Prediction (MTP) для speculative decoding, который может ускорять инференс при совместимом программном обеспечении. Модель позиционируется как aggressively uncensored, то есть с минимальными ограничениями на содержание ответов. К сильным сторонам относятся заявленные conversational и reasoning-возможности, ориентация на локальное развёртывание и потенциально повышенная скорость генерации благодаря MTP. Ограничения включают отсутствие в предоставленных данных сведений о размере контекстного окна, точных результатах бенчмарков, требованиях к оборудованию и полной совместимости бэкендов; эффективность speculative decoding зависит от используемой инфраструктуры. Указанная лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NM-DAU-NEO-MAX-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, разработанная DavidAU при участии Nightmedia и TeichAI. Модель обучалась с использованием авторского метода COLD FUSION, объединяющего GAIN и инструменты Unsloth, а также датасетов Polar-STRICT-Datasets и Reasoning-STRICT-Datasets. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Модель предназначена для широкого спектра сценариев: диалогов, следования инструкциям, решения задач, рассуждений, программирования, творческого письма, создания историй и ролевых взаимодействий. Она поддерживает работу с изображениями и текстом, а также три режима рассуждения — xhigh, medium и low. По заявлению разработчика, настройка направлена на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении подробности ответов и качества решения задач. Поддержка MTP дополнительно ориентирована на повышение скорости вывода. Ключевые характеристики включают 27 миллиардов параметров, архитектурное семейство Qwen3.8 и форматы GGUF с различными уровнями квантования. Разработчик заявляет, что 4-битные и 8-битные варианты сохраняют около 99% производительности BF16, однако эти показатели требуют самостоятельной проверки на конкретных задачах. Ограничения включают возможные особенности и непредсказуемость изменённого поведения рассуждений, а также отсутствие в представленном README сведений о размере контекстного окна, точной архитектуре, системных требованиях и конкретных вариантах квантования.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF — квантованная версия модели Qwen3.8-27B, опубликованная tooltd и распространяемая в формате GGUF для работы с llama.cpp. Модель оптимизирована для запуска на видеокартах с 16 ГБ VRAM примерно при 4 BPW, а отдельные варианты позволяют использовать карты с 12 ГБ памяти примерно при 3 BPW. Ключевая особенность репозитория — смешанное квантование ZB-ZipBrain, распределяющее разрядность тензоров с учётом их влияния на качество и калибровки по importance matrix. Доступны варианты IQ4_XS и IQ3, включая сборки с настройками для разных ограничений по памяти. В README модель также классифицирована как image-text-to-text, однако подробные сведения об архитектуре мультимодального компонента, поддерживаемых языках и максимальном контексте не указаны. Модель предназначена для локального запуска общих LLM-сценариев, включая генерацию текста и кода; для отдельных квантованных вариантов приведены результаты HumanEval и MBPP. Сильной стороной является сочетание размера 27B с уменьшенным потреблением памяти и относительно высоким качеством: вариант ZB4.00-MIN-v5.1-IQ4_XS показывает 0,921 на HumanEval+ и 0,780 на MBPP+. Ограничения связаны с потерями качества из-за квантования, зависимостью результата от конкретного варианта и отсутствием подробных данных о языках, контексте и мультимодальных возможностях. Лицензия — Apache-2.0.

navispace/Qwen3.8-27B-W8A16-GPTQ — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для задач генерации текста и работы с изображениями и текстом; в карточке она классифицирована как image-text-to-text. Эта сборка использует 8-битное квантизирование весов W8A16 в формате GPTQ с группами размера 32, тогда как активации выполняются в FP16. Размер весов уменьшен примерно с 51,7 до 31,2 GiB, что позволяет разместить модель на двух видеокартах по 24 ГБ с дополнительной памятью под KV-кэш. Квантизирование выполнено методом round-to-nearest без калибровочного набора данных, с симметричным масштабированием по группам и поиском оптимального коэффициента уменьшения масштаба. Квантизированы основные проекции MLP, attention и linear attention; vision tower, embeddings, lm_head, нормализации и ряд компонентов оставлены в BF16. Заявленная относительная ошибка восстановления весов составляет в среднем 0,567%. Базовый контекст модели составляет 262 144 токена, а с расширением YaRN в указанной конфигурации может достигать 524 288 токенов. Языки в README не указаны. Сильными сторонами являются существенное снижение требований к памяти, поддержка длинного контекста и совместимость с vLLM, включая сценарии на AMD Radeon RX 7900 XTX под ROCm. Ограничения включают необходимость FP16-активаций для INT8-ядер Exllama на ROCm, потенциальную нестабильность FP16 на длинных генерациях и отсутствие сравнительных бенчмарков с исходными BF16-весами. Лицензия — Apache-2.0.

RockTalk/Qwen3.8-Flash-Next-MLX-4bit — это 4-битная MLX-квантизованная версия экспериментальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Порт создан Rocktalk-Holdings для запуска на Apple Silicon; модель использует архитектуру qwen4_exp и предназначена для генерации текста, программного кода, структурированных ответов и агентских сценариев. Вариант с соответствующим мультимодальным окружением также поддерживает обработку изображений и видео, а сама модель — вызовы инструментов. Заявленный размер составляет около 180 млрд параметров: 125 млрд параметров MoE-трансформера, из которых активно около 6 млрд, 51,2 млрд параметров n-граммной embedding-таблицы и 4 млрд параметров MTP-головы для спекулятивного декодирования. Архитектура включает 512 экспертов, разреженное внимание QSA на 12 из 48 слоёв, Gated DeltaNet на 36 слоях и Hyper-connections. Основной заявленный язык — английский. Контекст модели в README не указан. Для MLX-версии применяется преимущественно 4-битная аффинная квантизация с размером группы 64, а отдельные компоненты используют 8-битное представление. Сильной стороной модели является эффективный запуск на компьютерах Apple Silicon: на M3 Ultra заявлена скорость около 26–35 токенов в секунду, а при использовании внешнего MTP-драфтера и gmlx — до 55–86 токенов в секунду в зависимости от типа содержимого. Спекулятивное декодирование сохраняет идентичность последовательностей с обычным жадным режимом в заявленных проверках. Ограничения включают очень высокие требования к памяти, зависимость от специализированного MLX/gmlx-стека и экспериментальный статус архитектуры; заявленная поддержка изображений, видео и инструментов относится к дополнительной конфигурации с отдельным vision projector и совместимым сервером. Лицензия указана как other, без дополнительных условий в README.

TheBloke/SOLAR-10.7B-Instruct-v1.0-AWQ — это квантизированная версия инструкционной языковой модели Solar 10.7B Instruct v1.0, разработанной upstage. Репозиторий содержит файлы модели в формате AWQ для эффективного запуска генерации текста на совместимом оборудовании. Модель предназначена для диалоговых сценариев и выполнения задач по текстовым инструкциям; рекомендуемый шаблон промпта использует роли User и Assistant. Модель имеет размер 10,7 млрд параметров и представлена в 4-битной AWQ-квантизации с group size 128, максимальной длиной последовательности 4096 токенов и размером файлов около 5,96 ГБ. Квантизацию выполнил TheBloke; модель распространяется в виде шардированных файлов safetensors. AWQ обеспечивает более низкое потребление памяти и высокую скорость инференса при сопоставимом с распространёнными настройками GPTQ качестве. Модель подходит для локального и серверного GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или Transformers. Основное ограничение — поддержка AWQ в README указана для Linux и Windows с видеокартами NVIDIA; для macOS рекомендованы модели в формате GGUF. Языки и мультимодальные возможности отдельно не указаны. Лицензия — Apache 2.0.

Jebadiah/Tess-gradient-ruby — объединённая диалоговая языковая модель, созданная с помощью mergekit на основе Tess-2.0-Llama-3-8B и Llama-3-8B-Instruct-Gradient-4194k. В README указан метод линейного слияния DARE; модель построена на архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для диалогов и генерации текста по запросам пользователя. Её можно применять для ответов на вопросы, следования инструкциям и помощи с программированием. Метаданные указывают контекст до 8192 токенов и формат весов safetensors; модель работает через библиотеку Transformers. Карточка не приводит результаты оценки качества или подробные ограничения. Лицензия в предоставленных данных не указана.

Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

airoboros-7b-gpt4-1.2 — плотная причинно-языковая модель семейства LLaMA примерно на 6,6 млрд параметров, дообученная Джоном Дёрбином методом QLoRA на синтетических инструкционных данных, созданных GPT-4. Она предназначена для диалоговых ответов и генерации текста по инструкциям; карточка описывает формат общения с ролями USER и ASSISTANT и шаблон Vicuna. Модель рассчитана на программирование, математические задачи и рассуждения, викторины, ролевые диалоги, вопросы с вариантами ответа и заполнением пропусков, а также ответы с учётом заданного контекста. Для запросов на генерацию кода обучалась выводить код без Markdown-разметки при добавлении маркера PLAINFORMAT, но это поведение не гарантируется. Контекст — 2048 токенов; формат репозитория — PyTorch. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

Beyonder-4x7B-v3 — разговорная языковая модель mlabonne, созданная как смесь экспертов (MoE) с помощью LazyMergekit. В объединение вошли AlphaMonarch-7B, CodeNinja-1.0-OpenChat-7B, Kunoichi-DPO-v2-7B и NeuralDaredevil-7B; архитектура — MixtralForCausalLM. В метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов, тогда как README рекомендует окно 8 тысяч токенов и шаблон чата Mistral Instruct. Модель предназначена для диалогов общего назначения, ролевого общения, задач с кодом и математикой. По README, при генерации задействуются два эксперта, что позволяет сочетать эти способности. Автор отмечает хорошие результаты на нескольких наборах оценок, но предупреждает, что модель не нацелена на превосходство в традиционных бенчмарках; результаты оценки не гарантируют качество в конкретных приложениях. Модель принимает текст и генерирует текст. Языки отдельно не перечислены. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Bielik-11B-v3.0-Instruct — разговорная генеративная модель на 11 млрд параметров, разработанная SpeakLeash совместно с центром ACK Cyfronet AGH. Это плотная авторегрессионная модель архитектуры LLaMA, дообученная следовать инструкциям на базе speakleash/Bielik-11B-v3-Base-20250730. Она предназначена для диалогов, ответов на вопросы и других задач генерации текста; особенно хорошо ориентирована на польский язык и обучена на текстах на 32 европейских языках. Модель дообучали на инструкциях и многоходовых диалогах, а затем применяли методы DPO и обучения с подкреплением для улучшения стиля ответов и аналитических способностей, в том числе на задачах логики, STEM, математики и использования инструментов. Метаданные указывают нативный контекст 32 768 токенов. Для чата используется шаблон ChatML; веса доступны в формате safetensors, библиотека — Transformers. Модель может давать фактически неверные, предвзятые или оскорбительные ответы; встроенных механизмов модерации нет, поэтому её ответы требуют проверки. Распространяется по лицензии Apache 2.0.

Это квантизированная версия большой языковой модели c4ai-command-r-plus-08-2024 в формате GGUF, подготовленная пользователем bartowski на основе модели CohereForAI с использованием llama.cpp. Разработчик исходной модели — Cohere for AI. Модель предназначена для генерации текста и может применяться в диалоговых системах, создании и преобразовании текстов, а также в других сценариях, поддерживаемых задачами text-generation. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Конкретные архитектурные параметры, количество параметров, размер контекста и доступные варианты квантования в предоставленных данных не указаны. Формат GGUF и использование llama.cpp позволяют запускать модель в совместимом локальном программном окружении, однако характеристики производительности и качества зависят от конкретной квантованной версии и оборудования. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также требуется согласие с условиями лицензии Cohere. Условия лицензии следует учитывать при интеграции и распространении модели.

ChatHercules-2.5-Mistral-7B — диалоговая языковая модель, созданная объединением Locutusque/Hercules-2.5-Mistral-7B и openchat/openchat-3.5-0106 методом SLERP с помощью LazyMergekit. Модель построена на плотной архитектуре Mistral для генерации текста и имеет 7,1 млрд параметров; для работы с длинными диалогами заявлен контекст до 32 768 токенов. Модель предназначена для общения и генерации ответов в сценариях общего назначения. В описании базовой модели также указаны программирование и математические рассуждения. Репозиторий содержит веса в формате Safetensors, а лицензия — Apache-2.0. Карточка приводит результаты оценки на Open LLM Leaderboard, но не описывает отдельные ограничения или подробную языковую специализацию этой сборки.

Это GGUF-квантизированная версия модели DeepSeek-V3.1-Terminus, подготовленная пользователем bartowski на основе оригинальной модели deepseek-ai. Квантизация выполнена с помощью llama.cpp версии b6550 с использованием метода imatrix и калибровочных наборов данных. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K, различающиеся размером файла и качеством: старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти. Рекомендуемыми автор считает, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. В README не указаны архитектура, точный размер исходной модели, поддерживаемые языки, контекстное окно, мультимодальные возможности и формат промптов; для последнего рекомендуется обратиться к странице оригинальной модели. Лицензия также не указана, поэтому условия использования следует уточнять в репозитории исходной модели DeepSeek-V3.1-Terminus.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

ERNIE-4.5-300B-A47B-2Bits-TP2-Paddle — текстовая MoE-модель семейства ERNIE 4.5 от Baidu для диалогов, понимания языка и генерации текста. В карточке описана конфигурация ERNIE-4.5-300B-A47B с 300 млрд параметров, из которых активируется около 47 млрд на токен; метаданные репозитория указывают 47,1 млрд параметров. Архитектура использует 54 слоя и контекст до 131 072 токенов. Модель обучалась совместно на текстовых и визуальных данных, однако этот вариант обозначен как текстовый, поэтому его основной сценарий — текстовые запросы и ответы. Карточка описывает поддержку английского и китайского языков, а также развёртывание через FastDeploy на PaddlePaddle. Указана лицензия Apache-2.0. В README заявлена эффективная 2-битная квантизация, но метаданные форматов указывают safetensors, а не отдельный формат квантованных весов. Это крупная MoE-модель, для развёртывания которой требуется значительная инфраструктура; конкретные показатели качества и подробные ограничения в карточке не приведены.

Falcon-H1-3B-Instruct — многоязычная генеративная языковая модель семейства Falcon-H1, разработанная TII. Это причинная decoder-only модель с гибридной архитектурой Transformer и Mamba; в метаданных указано 2,2 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения. Модель можно запускать через Transformers, vLLM и llama.cpp. В карточке приведены результаты сравнительной оценки на общих тестах, включая BBH и ARC-C. Указана лицензия Falcon-LLM License; её условия следует учитывать перед использованием и распространением.

GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.

GLM-5.3-Quark-MXFP4 — текстовая авторегрессионная модель для генерации текста, созданная Advanced Micro Devices (AMD) на базе GLM-5.3 от zai-org. Модель предназначена для задач обработки и генерации текста, включая математическое рассуждение и другие сценарии, поддерживаемые базовой моделью. Заявленные языки — английский и китайский; входные и выходные данные представлены в текстовой форме. Архитектура модели обозначена как GlmMoeDsaForCausalLM. Для оптимизации инференса применена посттренировочная квантизация AMD Quark V0.12: router experts и shared experts используют MXFP4, а слои self-attention — FP8 с покомпонентной блочной квантизацией. Слой lm_head, эмбеддинги и некоторые дополнительные слои сохранены в исходном формате. Максимальная длина контекста в приведённой конфигурации vLLM составляет 32 768 токенов, однако размер модели и полная спецификация контекстного окна в README не указаны. Модель ориентирована на запуск через vLLM на системах Linux с ускорителями AMD MI350 или MI355 и ROCm 7.1.1; в README также указаны PyTorch 2.10.0 и Transformers 5.15.1. На тесте GSM8K она получила 91,28 против 91,89 у исходной GLM-5.3, что соответствует восстановлению 99,34% исходного результата и указывает на небольшую потерю точности после квантизации. Лицензия обозначена как glm-5.3; также указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

GPT-neo-Custom 7B — диалоговая языковая модель, дообученная Szymon-Wachelko на базе Qwen2.5-7B-Instruct методом QLoRA. Она предназначена для генерации ответов на польском и английском языках, рассуждений, программирования и решения математических и логических задач. Репозиторий распространяет веса в формате GGUF для локального запуска через Ollama, LM Studio и совместимые инструменты; поддерживается шаблон диалога ChatML. В метаданных указана лицензия Apache-2.0. Заявленные сильные стороны — естественная генерация на польском, помощь с кодом и структурированными техническими ответами. Это модель на 7 млрд параметров, поэтому качество рассуждений и решений может варьироваться; заявления о «полном мастерстве» и идентичности квантованных вариантов точностью FP16 приведены автором и не подкреплены в карточке оценками. Версии GGUF различаются размером и точностью, что влияет на требования к памяти и качество генерации.

Infinity-Instruct-3M-0613-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0613. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров с контекстом 32 768 токенов, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; карточка указывает английский язык. Модель обучена методом supervised instruction tuning без обучения с подкреплением по человеческим оценкам (RLHF). Авторы сообщают о результатах 25,5 на AlpacaEval 2.0 и 8,1 на MT-Bench, сопоставляя её с рядом более крупных и близких по размеру моделей. Эти результаты приведены авторами и не гарантируют качество на пользовательских задачах. Модель подходит для многошаговых диалогов, ответов на вопросы, написания текстов, а также задач по коду и математике. В README нет подробных сведений об ограничениях по конкретным сценариям; авторы предупреждают, что точность ответов не гарантируется. Лицензия метаданных — Apache-2.0, однако README ограничивает использование связанных ресурсов, включая веса, академическими исследованиями и запрещает коммерческое применение; это ограничение следует учитывать при использовании модели.

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

Llama 2 70B Chat — это диалоговая языковая модель семейства Llama 2, разработанная Meta. Данный репозиторий содержит её квантизированные файлы в формате GGUF, подготовленные TheBloke на основе оригинальной модели meta-llama/Llama-2-70b-chat-hf. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, выполнения инструкций и создания связных текстовых ответов. Указан английский язык. Архитектура — Llama, размер — 70 миллиардов параметров, модальность — текстовая. Максимальный размер контекста в README не указан. Для работы используется специальный шаблон запросов Llama 2 Chat с системными инструкциями о полезных, безопасных и честных ответах. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством ответов; конкретные характеристики зависят от выбранного варианта. Репозиторий распространяется по лицензии Llama 2.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — крупная языковая модель для генерации текста, разработанная NVIDIA на основе Llama 3.1 Nemotron 70B Instruct. Представленная версия распространяется в формате GGUF; квантизация выполнена bartowski с использованием llama.cpp версии b3901. Модель ориентирована на повышение полезности ответов на пользовательские запросы и предназначена для диалоговых приложений, ассистентов и других сценариев текстовой генерации. Модель содержит 70 миллиардов параметров, поддерживает контекст длиной до 128 тысяч токенов и предназначена прежде всего для работы с английским языком. В README указана специализация на текстовой модальности и приведены результаты оценки: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 и GPT-4-Turbo MT-Bench — 8,98. В качестве набора данных указан NVIDIA HelpSteer2. К сильным сторонам относятся большой контекст, высокая заявленная полезность ответов и возможность использования GGUF-версии в совместимых инструментах локального запуска. Модель может генерировать неточные, вредные или неподходящие ответы, а README не содержит подробностей о требованиях к аппаратному обеспечению и конкретном варианте квантизации. Лицензия указана как llama3.1; условия её применения следует проверять в исходной карточке модели NVIDIA.

duyntnet/Llama-3.1-SuperNova-Lite-imatrix-GGUF — набор GGUF-квантизаций модели Llama-3.1-SuperNova-Lite, разработанной Arcee.ai на основе архитектуры Llama-3.1-8B-Instruct. Модель предназначена для генерации текста, выполнения инструкций и широкого спектра прикладных задач, где важны высокая производительность и сниженные требования к ресурсам. Она может использоваться через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Модель содержит около 8 млрд параметров и представляет собой дистиллированную версию Llama-3.1-405B-Instruct: при обучении использовались офлайн-логиты крупной 405B-модели и набор инструкционных данных, созданный с помощью EvolKit. Заявлены сильные стороны в следовании инструкциям, производительности на бенчмарках и адаптации к предметным областям при компактном размере. В README указан английский язык; другие языки, размер контекста и точные характеристики отдельных квантизаций не приведены. Репозиторий содержит именно квантизированные варианты в формате GGUF с использованием imatrix, поэтому фактические требования к памяти и качество зависят от выбранной версии. Лицензия обозначена как other, но её конкретные условия в README не раскрыты.