II.11Кибербезопасность и приватность

GPT-4.1 — флагманская большая языковая модель OpenAI, предназначенная для точного выполнения инструкций, разработки программного обеспечения и рассуждений по длинным материалам. В README заявлено контекстное окно размером до 1 миллиона токенов. Модель подходит для работы с запросами на естественном языке, задач программирования и анализа объёмных текстовых данных. Доступный фрагмент README не сообщает сведения об архитектуре, поддерживаемых языках, лицензии или ограничениях применения.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

Qwopus3.8-27B-Flash-ATX-IQ4_XS-M-GGUF — это GGUF-квантизированная версия модели Jackrong/Qwopus3.8-27B-Flash, являющейся дообученной моделью на базе Qwen3.8-27B. Рецепт квантизации разработан jakeatx с использованием llama.cpp и собственной importance matrix, рассчитанной для этой модели. Модель предназначена для генерации текста, программирования, агентских сценариев, RAG-анализа и задач с длинным контекстом, включая speculative decoding с MTP-головой. Модель содержит 27,32 млрд параметров и 866 тензоров, использует ту же архитектуру, что и базовая модель, а также включает MTP-слой. Основной формат весов — IQ4_XS с точечными повышениями точности до Q5_0, Q6_K и Q8_0; средний размер составляет 4,60 бита на вес, а файл модели занимает около 14,6 GiB. Рецепт рассчитан на видеокарты RTX 3090 или 3090 Ti с 24 ГБ памяти и позволяет использовать заполненный контекст до 200 тысяч токенов с 8-битным KV-кэшем. В измерениях на RTX 3090 Ti модель показывала преимущество по скорости декодирования над Q4_K_S на контекстах 16–64K, однако на 100K выигрыш был небольшим и зависел от принятия черновых токенов. Сильные стороны модели — эффективная работа на одной видеокарте, поддержка длинного контекста, специализированная оптимизация для короткого рассуждения и агентских циклов, а также ускорение за счёт MTP и speculative decoding. Ограничения включают потери, характерные для 4-битной квантизации, зависимость производительности от acceptance rate черновых токенов и необходимость совместимой сборки llama.cpp с поддержкой используемых ядер и MTP. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/calme-2.2-rys-78b — диалоговая языковая модель, дообученная на основе dnhkng/RYS-XLarge. Она построена на плотной архитектуре Qwen2 с 76,7 млрд параметров и предназначена для генерации текста и общения в формате ChatML; максимальная длина контекста составляет 32 768 токенов. Модель подходит для систем ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммирования текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В дообучении использованы наборы truthy-dpo-v0.1 и Intel/orca_dpo_pairs. Карточка указывает английский язык. Модель распространяется по лицензии MIT.

dolphin-2.9.1-llama-3-70b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.1, созданной Cognitive Computations на базе Meta-Llama-3-70B. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель ориентирована на генерацию текста в диалогах и выполнение инструкций, а также на задачи программирования, математические задачи, function calling и агентские сценарии. Для обучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. Указанный шаблон запросов использует формат ChatML. Модель текстовая; сведения о поддерживаемых языках и размере контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В README рекомендуются, в частности, варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия указана как llama3. Для точных условий использования следует дополнительно учитывать лицензию базовой модели Meta-Llama-3-70B.

Dolphin-2.9.3-Mistral-7B-32k-GGUF — это квантизированная версия языковой модели Dolphin-2.9.3-Mistral-7B-32k, созданной Cognitive Computations на базе Mistral-7B-v0.3 от Mistral AI. Репозиторий GGUF подготовлен и квантизирован bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговом формате, выполнения инструкций, программирования, решения математических задач, function calling и агентских сценариев. Модель содержит около 7 млрд параметров, работает с текстовой модальностью и поддерживает контекст до 32 000 токенов. Для обучения или дообучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. README не указывает полный перечень поддерживаемых языков, поэтому языковые возможности нельзя надежно уточнить. Главное преимущество репозитория — широкий выбор GGUF-квантизаций с разным компромиссом между качеством и потреблением памяти: от высококачественных Q8_0 и Q6_K до более компактных вариантов Q4, Q3 и IQ3. Более низкие уровни квантизации экономят память, но могут заметно снижать качество ответов; некоторые варианты отмечены как экспериментальные. Для работы требуется совместимый inference-движок, например llama.cpp. Лицензия — Apache-2.0.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

K2-Horizon-7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-7B, разработанной IFM. Это плотная decoder-only модель примерно на 7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Модель поддерживает английский язык и относится к текстовым моделям без мультимодального или визуального входа. Исходная модель имеет нативное контекстное окно до 524 288 токенов (512K), что делает её подходящей для анализа больших документов и других задач с длинным контекстом. Доступны варианты квантизации Q4_0, Q4_K_M, Q4_K_M Selective, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,34 до 9,57 ГБ. Вариант Selective сохраняет тензоры проекций внимания Q/K/V/O в формате Q6_K поверх базовой Q4_K_M. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream. Файлы содержат совместимый с llama.cpp шаблон чата; доступны форматы вызова инструментов xml, json и xml_typed. Ограничения включают зависимость от специализированного runtime, потребность в значительном объёме памяти при использовании контекста 512K и возможные потери качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Ling-3.0-flash-fp8 — текстовая генеративная модель, разработанная командой inclusionAI. Она предназначена для рассуждений, следования инструкциям, программирования, обобщения знаний, математических задач, понимания длинного контекста и агентских рабочих процессов, включая coding agents, general agents и deep research agents. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на каждом токене активируются 8 экспертов. Общий объём составляет 124B параметров, из них активны 5.1B. Размер скрытого состояния — 2560, число attention heads — 32, размер словаря — 157184. Обучение контекста проходило по этапам от 8K до 32K и 256K токенов. Указана модальность text generation; поддерживаемые языки в README не перечислены. К сильным сторонам относятся высокая вычислительная эффективность, поддержка длинного контекста, производительность в задачах программирования и использования инструментов, а также оптимизации для длительных интерактивных сессий через иерархическое кэширование SGLang HiCache и Mooncake. README заявляет о сокращении Time to First Token на 60–80% и более в сценариях с длинным вводом, однако конкретные результаты зависят от инфраструктуры и режима применения. Ограничения по качеству, языкам, аппаратным требованиям и безопасному использованию отдельно не описаны. Модель распространяется по лицензии MIT.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

Mistral Large 2 (версия mistral-large-2407) — флагманская модель компании Mistral AI. Это модель с доступными весами, распространяемая на проприетарных условиях. Модель предназначена для генерации текста в диалогах, рассуждений, написания кода и формирования JSON. В карточке она описана как универсальная модель для этих задач и других сценариев работы с текстом. Конкретные сведения об архитектуре, размере, поддерживаемых языках и контекстном окне в предоставленных материалах отсутствуют. Условия использования определяются проприетарной лицензией; перед внедрением следует проверить её актуальные требования.

Карточка модели calmresearch-ai/Model4 на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF — GGUF-версия крупной языковой модели NVIDIA-Nemotron-3-Ultra-550B-A55B, подготовленная Unsloth на основе модели NVIDIA. Разработчик исходной модели — NVIDIA Corporation. Модель предназначена для сложного рассуждения, многошаговых агентных сценариев, использования инструментов, анализа длинного контекста, мультиязычного reasoning и высокоточного RAG в критически важных задачах. Режим рассуждения можно включать или отключать через параметр chat template enable_thinking=True/False. Модель содержит 550 млрд параметров, из которых 55 млрд активны. Она использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture-of-Experts и attention, а также Multi-Token Prediction (MTP). Максимальная длина контекста заявлена до 1 млн токенов. Поддерживаются английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, хинди, арабский, китайский и иврит. Для развёртывания полной модели требуется значительная инфраструктура: минимум указаны 8 ускорителей GB200/B200/GB300/B300, 16 H100 или 8 H200. Сильными сторонами модели являются масштаб, поддержка длинного контекста, reasoning, агентные рабочие процессы, работа с инструментами и мультиязычность. Ограничениями выступают очень высокие требования к GPU и вычислительным ресурсам; конкретные характеристики производительности GGUF-квантования в README не приведены. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

PINQWEN-3.5-9B-1M-GGUF — компактная reasoning-модель, разработанная Blackfrost AI на базе архитектуры Qwen 3.5 9B. Модель предназначена для генерации текста, задач программирования, рассуждений и работы с большими объёмами контекста. Она распространяется в формате GGUF для локального запуска через llama.cpp и поддерживает режим пошагового рассуждения с блоками <think> и последующим ответом. Заявленное контекстное окно составляет до 1 000 000 токенов благодаря расширению YaRN, что подходит для анализа целых кодовых баз, книг и других объёмных документов. Доступны варианты квантования от 2 до 8 бит, а также f16; рекомендованным балансом размера и качества назван Q4_K_M. В комплект входят MTP-голова для speculative decoding и отдельный vision projector для обработки изображений в совместимых средах, однако конкретные поддерживаемые языки в README не указаны. К сильным сторонам относятся очень длинный контекст, локальное развертывание, открытое рассуждение, широкий выбор квантований и возможность мультимодального ввода при использовании совместимого runtime. Ограничения включают компромисс между размером, скоростью и качеством при квантовании, зависимость мультимодальных и MTP-возможностей от поддержки со стороны runtime, а также заявленную модель поведения без встроенных отказов, что требует ответственного применения. Лицензия — Apache-2.0; базовая архитектура указана как Qwen 3.5 9B.

dnotitia/Qwen3-4B-Instruct-2507 — вариант Qwen3-4B, опубликованный Dnotitia с изменённым шаблоном чата; веса совпадают с официальным выпуском Qwen3. Шаблон вынесен в отдельный файл и дополнен тегами для совместимости с обучением через TRL и режимом assistant_only_loss. Модель имеет плотную причинную архитектуру Qwen3ForCausalLM, около 3,7 млрд параметров и нативный контекст до 262 144 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она помогает отвечать на вопросы, рассуждать, решать математические и научные задачи, писать код и вызывать инструменты. Это режим без пошагового thinking-вывода; в карточке также заявлены улучшенное понимание длинного контекста и многоязычные знания. Для запуска рекомендуется актуальная версия Transformers, а для агентных сценариев — Qwen-Agent. Модель распространяется по лицензии Apache-2.0. Карточка не приводит конкретный список поддерживаемых языков, поэтому нельзя определить основной язык; качество может зависеть от языка, запроса и длины входного текста. Для обычных запросов авторы рекомендуют ограничивать генерацию примерно 16 384 токенами, хотя нативное окно контекста значительно длиннее.

Claude Opus 4.8 — модель семейства Opus, разработанная Anthropic и представленная как наиболее мощная общедоступная модель компании. Она предназначена для задач с текстом и изображениями, а также для работы с файлами: принимает эти данные и формирует текстовые ответы. Модель поддерживает рассуждения и контекст длиной до 1 млн токенов. Модель подходит для анализа документов и изображений, ответов на вопросы по предоставленным материалам и решения сложных текстовых задач. В доступных сведениях лицензия и конкретные языки не указаны.

casperhansen/deepseek-r1-distill-qwen-14b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-14B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-14B и дообучена на образцах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для генерации текста и диалогов, а также задач, требующих рассуждений, включая математику, программирование и анализ сложных запросов. Это text-only causal language model архитектуры Qwen2, примерно на 14 млрд параметров, представленная в формате Safetensors с 4-битной AWQ-квантизацией. В конфигурации указаны 48 слоёв, 40 attention heads, 8 key-value heads и максимальная длина последовательности до 131072 токенов. Модель поддерживает локальный запуск через совместимые инструменты, включая Transformers, vLLM и SGLang; квантизация снижает требования к памяти по сравнению с исходной версией. Сильная сторона модели — сохранение возможностей дистиллированной R1-модели в существенно более компактном формате; для исходной 14B-версии DeepSeek указывает высокие результаты на математических, кодовых и reasoning-бенчмарках, включая AIME 2024, MATH-500, GPQA Diamond и LiveCodeBench. Ограничения включают возможную потерю качества из-за 4-битной квантизации, зависимость производительности от аппаратного обеспечения и программного стека, а также отсутствие заявленной мультимодальности. Репозиторий версии AWQ распространяется по лицензии MIT; для производной модели также следует учитывать условия лицензии исходной Qwen2.5.

DeepSeek-V2.5-GGUF — квантованная в формате GGUF версия модели DeepSeek-V2.5, разработанной командой DeepSeek-AI. Квантование подготовлено bartowski на основе llama.cpp b3658 и предназначено для локального запуска, в том числе через LM Studio. Модель объединяет возможности инструкционной и кодовой версий DeepSeek и ориентирована на диалоговые сценарии, генерацию текста, программирование и широкий круг универсальных задач. Заявлена поддержка контекстного окна до 163 840 токенов. Используется архитектура MoE: по описанию, модель сочетает вычислительные возможности уровня 200B параметров со скоростью модели уровня 21B, однако точные размеры и характеристики квантования в README не указаны. К сильным сторонам относятся большой контекст, развитые чатовые и кодовые возможности, а также удобство локального использования в формате GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и производительности от конкретной квантовки и оборудования. Языки и поддержка мультимодальных входов не указаны. Модель распространяется по лицензии DeepSeek; подробные условия приведены по ссылке, указанной в README.

DeepSeek-V4-Flash — предварительная версия большой языковой модели семейства DeepSeek-V4, разработанная командой DeepSeek AI. Модель предназначена для обработки длинного контекста, решения задач общего назначения, работы со знаниями, рассуждениями, программированием и агентными сценариями. В README также отмечается наличие режима DeepSeek-V4-Flash-Max с увеличенным бюджетом рассуждений, однако подробности его реализации не приведены. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 284 млрд параметров, из которых 13 млрд активируются при обработке запроса. Поддерживается контекст длиной до 1 млн токенов. Для повышения эффективности длинноконтекстного вывода используются механизмы Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Модель поставляется в смешанном формате FP4 + FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Обучение проводилось более чем на 32 трлн токенов с последующей настройкой с использованием SFT, RL с GRPO и on-policy distillation. К сильным сторонам относятся высокая эффективность при работе с очень длинными контекстами, компактное число активируемых параметров относительно общего размера и заявленная конкурентоспособность в задачах рассуждений и программирования. По сравнению с версией Pro модель имеет меньший масштаб, поэтому, согласно README, несколько уступает ей в задачах, требующих обширных знаний, и в наиболее сложных агентных рабочих процессах. Языки и мультимодальные возможности в представленных данных не указаны. Лицензия — MIT.

GPT-5 — модель OpenAI для сложных задач, требующих рассуждений, точного выполнения инструкций и генерации качественного кода. В карточке модели отмечены улучшения в рассуждениях, качестве кода и удобстве взаимодействия. Модель предназначена для решения сложных задач и следования инструкциям. Каталог классифицирует её как image-text-to-text, однако README не описывает работу с изображениями или другие модальности, поэтому это назначение подтверждается только метаданными.

openai/gpt-oss-20b — открытая по весам языковая модель, разработанная OpenAI для задач рассуждения, агентных сценариев и универсального использования разработчиками. Она предназначена для локального запуска, специализированных решений и приложений, где важны сниженная задержка и умеренные требования к ресурсам, включая генерацию текста, вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель построена на архитектуре Mixture of Experts (MoE) и содержит 21 млрд параметров, из которых 3,6 млрд активны при обработке запроса. Она поддерживает настраиваемый уровень рассуждений — низкий, средний или высокий — и обучена работать с форматом ответов harmony, использование которого обязательно для корректной работы. Модель доступна для запуска через Transformers, vLLM, PyTorch/Triton, Ollama и LM Studio; благодаря квантованию весов MoE в формате MXFP4 она может работать примерно в пределах 16 ГБ памяти. К сильным сторонам относятся открытая настройка, возможность дообучения, агентные инструменты и гибкое управление балансом качества рассуждений и задержки. При этом модель является текстовой, а README не содержит сведений о поддерживаемых языках, размере контекстного окна, результатах оценивания и ограничениях качества. Полная цепочка рассуждений доступна разработчику для отладки и повышения доверия, но не предназначена для показа конечным пользователям. Лицензия Apache 2.0 допускает свободное использование, модификацию и коммерческое развертывание.

Hermes 3 — универсальная диалоговая языковая модель Nous Research, дообученная на базе Meta Llama 3.1 70B. Это плотная авторегрессионная модель примерно на 69,5 млрд параметров с контекстом до 131 072 токенов; она принимает текст и выдаёт текст. Карточка указывает английский язык, а формат диалогов ChatML поддерживает системные инструкции и многоходовое общение. Модель предназначена для общего ассистирования: следования инструкциям, рассуждений, ролевых диалогов, генерации кода и работы с длинным контекстом. Она поддерживает интерфейс вызова инструментов и структурированный вывод, в том числе ответы в JSON по заданной схеме. Это возможности генерации, а не отдельные pipeline-задачи. Модель распространяется по лицензии Llama 3. В карточке отмечены сильные стороны в диалогах, управляемости, вызове функций и генерации кода; качество может различаться по задачам, и заявленная конкурентоспособность основана на сравнении с Llama 3.1 Instruct.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.

bartowski/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия 70-миллиардной инструкционно-ориентированной языковой модели Meta Llama 3, разработанной Meta и подготовленной пользователем bartowski для запуска в совместимых средах инференса. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии и другие приложения обработки естественного языка. В доступных данных указано, что модель поддерживает английский язык и относится к классу text-generation. Она основана на архитектуре Llama 3 и поставляется в формате GGUF, однако сведения о конкретном варианте квантования, размере контекста, точной архитектуре, мультимодальности и дополнительных языках отсутствуют. Размер 70B обеспечивает значительный потенциал для сложных языковых задач, но обычно требует существенных вычислительных ресурсов; характеристики производительности зависят от выбранной сборки и среды запуска. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Лицензия также содержит ограничения на использование результатов для улучшения других больших языковых моделей и дополнительные коммерческие условия для организаций с более чем 700 миллионами активных пользователей в месяц.

Mistral Large 2407 — флагманская языковая модель Mistral AI, выпущенная в июле 2024 года. Это модель с доступными весами, но проприетарными условиями использования. Модель предназначена для диалога, рассуждений, работы с кодом и генерации JSON и может использоваться как универсальный помощник для этих задач. В карточке указано, что модель хорошо справляется с перечисленными сценариями, однако подробности об архитектуре, размере и контексте здесь не приведены. Лицензия и конкретные условия использования в доступном описании не раскрыты; перед применением следует свериться с условиями Mistral AI.

Muse-Glimmer-30B-GGUF — набор GGUF-квантованных сборок модели Muse Glimmer-30B, разработанной Meta Superintelligence Lab и опубликованной пользователем NANI-Nithin. Это плотный причинно-следственный трансформер примерно на 30 млрд параметров с отдельным модулем восприятия для обработки изображений и текста; модель генерирует текст и предназначена для запуска через llama.cpp на локальном оборудовании. Репозиторий содержит варианты от BF16/F16 до экспериментальных низкобитных квантов, включая рекомендуемый Q4_K_M размером 15,77 ГБ, а также отдельный vision projector для работы с изображениями. Модель ориентирована на агентские сценарии: выполнение многошаговых задач, написание и отладку кода, работу с инструментами через схемные вызовы функций, планирование, восстановление после ошибок и длительные многоходовые взаимодействия. Она принимает интерливированные текст и изображения, включая скриншоты, графики и документы, с поддержкой до 4096 визуальных токенов на изображение. Заявлена поддержка более 100 языков и управляемого уровня рассуждений low, medium, high и xhigh. Среди сильных сторон — мультимодальность, агентские возможности и развитое многошаговое рассуждение; качество зависит от выбранного уровня квантования, а экстремальные варианты могут заметно снижать точность. DFlash-декодер для ускорения генерации в этот репозиторий не входит, а GGUF-сборки предназначены для llama.cpp и не загружаются стандартным способом через vLLM, SGLang или transformers. Модель и сборки распространяются по лицензии Apache-2.0. Для обработки изображений требуется отдельно скачать и подключить файл vision projector; объём памяти и дискового пространства зависит от выбранной версии квантования.

NVIDIA Muse-Glimmer-30B NVFP4 — квантизированная версия модели Muse-Glimmer-30B, разработанной Meta Superintelligence Lab. NVIDIA подготовила квантизацию с помощью Model Optimizer; сама NVIDIA указывает, что не владеет и не разрабатывала исходную модель. Это плотный авторегрессионный causal Transformer с выделенным perception encoder для обработки чередующихся текстовых и графических входов. Модель предназначена для локальных агентных сценариев: многошагового рассуждения и планирования, coding agents, автономных систем, использования инструментов, восстановления после ошибок и мультимодального анализа. Она принимает текст и RGB-изображения, поддерживает контекст до 131K токенов и до 4 096 визуальных токенов на изображение. Модель может интерпретировать скриншоты, графики и документы в контексте диалога, генерируя текстовые ответы. Доступны уровни интенсивности рассуждения low, medium, high и xhigh, позволяющие выбирать баланс между качеством и скоростью. Модель содержит около 29,6 млрд параметров с учётом vision encoder и использует формат квантизации NVFP4 1.0, выполненной с помощью nvidia-modelopt v0.46.0. Поддерживаются vLLM и SGLang, а целевыми платформами являются NVIDIA Blackwell B200, B300 и DGX Spark под Linux. Видео не оптимизировано напрямую и обрабатывается как последовательность отдельных кадров; сведения о языках, исходных обучающих данных и их объёме не раскрыты. Для коммерческого и некоммерческого использования указана лицензия Apache 2.0, однако перед развёртыванием требуется дополнительное тестирование на данных конкретного сценария.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.