I.1Поиск и навигация по информации

Maverick-7B — объединённая модель для генерации текста, созданная на основе mlabonne/Marcoro14-7B-slerp и mlabonne/NeuralBeagle14-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для диалога, ответов на вопросы и других общих языковых задач; в карточке приведены результаты тестов TruthfulQA, GPT4ALL, AGIEval и Bigbench. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

Карточка модели tuneai/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Ming-Lite-Omni v1.5 — мультимодальная модель семейства BailingMM, выпущенная командой inclusionAI. Она предназначена для понимания изображений, документов, видео и речи, а также для синтеза речи, генерации и редактирования изображений. В README указано 20,3 млрд параметров, из которых 3 млрд активны в блоке Mixture-of-Experts; модель построена на Ling-lite-1.5 и развивает Ming-Lite-Omni. Модель рассчитана на мультимодальные сценарии: анализ визуальных последовательностей, распознавание и понимание текста в документах и диаграммах, понимание речи и генерация речи в реальном времени, а также создание и редактирование изображений. Разработчики сообщают об улучшениях понимания длинных видео и согласованности при генерации и редактировании изображений. В README приведены сравнительные результаты на ряде бенчмарков, но они не гарантируют качество на конкретных данных. Репозиторий содержит файлы ONNX и Safetensors. Лицензия — MIT. Карточка не сообщает длину контекста и список поддерживаемых естественных языков; README упоминает расширение речевых данных, включая диалекты, без указания языковых кодов.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

Open-Instruct CoT 7B — языковая модель, разработанная Allen Institute for AI и дообученная на подмножестве CoT датасета Flan v2 в рамках исследования по настройке инструкций на открытых ресурсах. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров, принимающая текст и генерирующая текст; для качества ответов рекомендуется использовать заданный авторами формат инструкций. Контекст составляет 2048 токенов, основной язык в метаданных — английский. Модель предназначена для выполнения инструкций и ответов с пошаговыми рассуждениями, включая вопросы по знаниям, математические задачи и генерацию кода. В README приведены результаты на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это diff модели: для использования требуется исходная модель LLaMA в формате Hugging Face. Указаны лицензия AI model license и исходная лицензия LLaMA; применяются условия обеих лицензий.

Qwen2.5-14B-Instruct-4bit — преобразованная в формат MLX 14-миллиардная instruct-модель семейства Qwen2.5, опубликованная mlx-community. Она предназначена для диалоговой генерации текста и работы с запросами в формате чата; в метаданных также отмечен интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий создан 18 сентября 2024 года, использует формат safetensors и лицензию Apache-2.0. README указывает, что конверсия выполнена из Qwen/Qwen2.5-14B-Instruct с помощью mlx-lm 0.18.1. Русский язык не заявлен в языковых тегах карточки; в метаданных указан английский.

Карточка модели xuanguan5525/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Qwen/Qwen3-0.6B-MLX-bf16 — версия модели Qwen3, подготовленная для запуска с библиотекой MLX. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, основанная на Qwen/Qwen3-0.6B-Base; в репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода и сценариев с вызовом инструментов. Модель поддерживает режимы с рассуждениями и без них, которые можно переключать при формировании запроса. Карточка описывает поддержку более 100 языков и диалектов. Контекст в метаданных указан как 40 960 токенов; README базовой модели приводит 32 768 токенов. Модель компактна по числу параметров и рассчитана на запуск через MLX, однако карточка не приводит отдельной оценки качества именно этой версии на конкретных задачах. Как и другие небольшие языковые модели, она может ошибаться в фактах, рассуждениях и коде; для режима рассуждений важен подбор параметров генерации.

amd/Qwen3.5-35B-A3B-MXFP4 — квантизированная версия модели Qwen3.5-35B-A3B-FP8, разработанная Advanced Micro Devices, Inc. с использованием AMD-Quark. Модель построена на архитектуре Qwen3_5MoeForConditionalGeneration, принимает текст и генерирует текст. В README указано обозначение 35B-A3B, однако точные параметры архитектуры, число активируемых параметров, размер контекста и перечень поддерживаемых языков не приведены. Модель предназначена для задач генерации текста и инференса в средах SGLang или vLLM на Linux с оборудованием AMD MI300 и MI350/MI355, ROCm 7.0.0, PyTorch 2.9.1 и Transformers 5.3.0. Веса статически квантизированы в формат OCP MXFP4, а активации динамически квантизированы в OCP MXFP4, что ориентировано на эффективное выполнение на совместимых ускорителях. В тесте GSM8K модель получила результат 93,25 против 89,39 у исходной FP8-версии, но приведённая оценка охватывает только один бенчмарк и не характеризует все сценарии применения. Лицензия — Apache-2.0; изменения защищены авторским правом Advanced Micro Devices, Inc.

TheDrainFlorist/Qwen3.6-35B-A3B-VQ-4.6bpw — векторно-квантизированная версия модели Qwen3.6-35B-A3B от Qwen, адаптированная для Apple Silicon и экосистемы MLX. Модель предназначена для генерации текста и работы с изображениями; текстовый режим поддерживается через mlx-lm, а мультимодальный — через mlx-vlm. В метаданных указан английский язык. Архитектура включает MoE с 35 млрд параметров и 256 экспертами; точный размер контекста в README не указан. Размер сборки составляет около 18,7 GiB вместе с vision tower, поэтому она рассчитана на запуск на Mac с 32 ГБ памяти. По приведённым измерениям, на корпусах WikiText и кода перплексия близка к исходной версии bf16: 0,991x и 1,004x соответственно, при этом сборка значительно компактнее bf16 и показывает лучшие результаты, чем распространённая 4-битная версия. К ограничениям относятся зависимость от поддержки ключа model_file в загрузчике и необходимость mlx-vlm версии не ниже 0.6.16 для изображений; качество и показатели могут зависеть от корпуса и конкретного сценария. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальные версии mlx-lm и mlx-vlm; README также указывает совместимость с exo. Это квантизированная сборка, поэтому показатели совпадения токенов с bf16 ниже, чем у 8-битной версии, несмотря на близкую перплексию.

KikoCis/Qwen3.8-27B-GGUF — набор квантованных моделей в формате GGUF на основе Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий предназначен для локального запуска текстовой генерации, включая агентские сценарии с многошаговым использованием инструментов, при ограниченных ресурсах. Доступны варианты квантования от 1,94 до 3,40 бит на вес и размером от 6,46 до 16,81 ГБ. Архитектура модели включает 65 блоков: 48 SSM/linear-attention, 16 полноценных attention-блоков и одну MTP-голову. Благодаря этому KV-кэш заявлен как относительно экономичный — около 64 КБ на токен против примерно 256 КБ у полностью attention-модели сопоставимого размера. Нативное контекстное окно заявлено как 262 144 токена, но в README его практическая работоспособность не подтверждена. Модель рассчитана только на текст: исходная базовая модель мультимодальна, однако в этом репозитории отсутствует mmproj, поэтому обработка изображений невозможна. Наиболее удачным вариантом для агентов авторы считают IQ2_M: в измеренном тесте он выполнил 79 из 80 задач, почти соответствуя Q3_K_M с результатом 40 из 40, при меньшем размере. IQ2_XS экономит немного места, но показал более низкий результат, а варианты IQ1 предназначены скорее для связного текста и не рекомендуются для инструментальных агентов. Сильная сторона архитектуры — экономия памяти на длинном контексте, ограничением является медленный prefill, особенно в многошаговых диалогах. Результаты зависят от backend и runtime: приведённые измерения выполнялись через Ollama и не должны напрямую переноситься на другие реализации. Распространяется по лицензии Apache-2.0.

LaTexT разработала дообученную версию Qwen3-8B для генерации текста в диалоговом формате. Модель построена на плотной архитектуре Qwen3 и содержит 7,6 млрд параметров; она обучена с помощью TRL на датасете shannons/ot3-1.2m-50k-converted. Для запуска в README приведён пример с библиотекой Transformers. Модель рассчитана на диалоговую генерацию текста и может использоваться для ответов на вопросы и выполнения инструкций. Метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет 40 960 токенов; базовая Qwen3-8B описана как многоязычная модель, пригодная для рассуждений и работы с кодом. Это экспериментальный чекпойнт из серии обучения latent-COT: в README указаны итерация 2, версия v3, вес 0,2 и размер gist 7. Лицензия в предоставленных данных не указана.

n0kovo/Qwen3-VL-32B-Instruct-heretic-v2 — версия Qwen3-VL-32B-Instruct, обработанная методом abliteration: по приведённому сравнению модель реже отказывает в ответе, сохраняя близость к исходному поведению с KL-дивергенцией 0,1565. Это плотная мультимодальная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration, предназначенная для диалогов по тексту и изображениям. Модель подходит для визуальных вопросов и ответов, распознавания текста на изображениях, анализа сцен и пространственных отношений, а также понимания видео и генерации текста. В README для исходной модели указаны контекст 256 тыс. токенов с возможностью расширения до 1 млн и OCR на 32 языках; метаданные этой копии не подтверждают, что все эти характеристики сохранены без изменений. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

SzilviaB/Qwen-Supernova-14B — объединённая методом SLERP модель на базе Qwen2.5-14B и SuperNova-Medius, созданная с помощью mergekit. Это плотная авторегрессионная языковая модель Qwen2 с 14 млрд параметров для генерации текста и диалогового взаимодействия; репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers. Модель принимает текстовые запросы и генерирует текст. Контекстное окно составляет до 131 072 токенов, что позволяет работать с длинными запросами и документами. Метаданные указывают на поддержку интерфейса вызова инструментов, однако README не описывает его поведение и не приводит оценок качества. Модель создана сообществом SzilviaB путём слияния предварительно обученных моделей Qwen/Qwen2.5-14B и arcee-ai/SuperNova-Medius; конфигурация mergekit задаёт кривую SLERP с упоминанием влияния Hermes и WizardMath на разные слои. Лицензия в предоставленных данных не указана.

Kaoeiri выпустил Qwenwify-32B-v1 — объединение предварительно обученных языковых моделей на архитектуре Qwen2.5, созданное с помощью mergekit методом DARE TIES. В качестве базовой модели использована unsloth/qwen2.5-32b-instruct; в объединение также вошли AiCloser/Qwen2.5-32B-AGI, crestf411/Q2.5-32B-Slush, EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2 и rombodawg/Rombos-LLM-V2.5-Qwen-32b. Модель содержит 32 млрд параметров, принимает текст и предназначена для генерации текста в диалоговом формате; доступен интерфейс вызова инструментов. Длина контекста составляет 32 768 токенов. Файлы представлены в формате safetensors. Сведения о лицензии и конкретных ограничениях использования в предоставленных данных отсутствуют.

Qybera2.5-0 — компактный диалоговый ассистент Stackpulse Cloud на базе причинной языковой модели Qwen2, дообученной следовать инструкциям. Модель содержит 494 млн параметров, принимает текст и выдаёт текст; контекст — до 32 768 токенов. В репозитории указаны веса Safetensors и библиотека Transformers. Модель предназначена для общего чата, выполнения инструкций, суммаризации, объяснения кода, локального запуска на маломощных устройствах и недорогой маршрутизации API. В карточке заявлена многоязычная поддержка с сильными сторонами в английском и китайском языках. Лицензия — Apache 2.0. Компактный размер подходит для сценариев с ограниченными ресурсами, однако модель может ошибаться и воспроизводить смещения данных обучения. Карточка не рекомендует полагаться на неё в сложных многошаговых математических задачах, продвинутых агентных сценариях и создании длинной художественной прозы без дополнительного руководства; важные ответы следует проверять.

RQwen-v0.1 — диалоговая языковая модель, разработанная ehristoforu и дообученная методом SFT на базе Qwen/Qwen2.5-14B-Instruct с использованием Unsloth и Transformers. Она предназначена для генерации текста и общения в формате ChatML на английском и русском языках. Модель имеет плотную архитектуру Qwen2, 14 млрд параметров и контекстное окно длиной 32 768 токенов. В карточке отмечены reflection tuning, работа с логикой и длинным контекстом, а метаданные указывают поддержку следования инструкциям и интерфейса вызова инструментов. Для модели заявлена лицензия Apache-2.0.

Fulcrum-AI опубликовала модель Ryze-Nemo-passthrough — объединение языковых моделей, созданное с помощью mergekit методом passthrough. В конфигурации дважды используются слои модели mistralai/Mistral-Nemo-Instruct-2407: диапазоны 0–24 и 8–32; веса представлены в формате safetensors, а конфигурация слияния указывает bfloat16. Архитектура — плотная MistralForCausalLM примерно на 14,4 млрд параметров. Модель предназначена для генерации текста и диалогов; в метаданных также заявлен интерфейс вызова инструментов. Указанная для неё длина контекста — 1 024 000 токенов. Базовая модель описана как многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов. Лицензия в предоставленных данных не указана.

RedHatAI/SmolLM3-3B-FP8-dynamic — квантованная версия языковой модели SmolLM3-3B, разработанная Red Hat (Neural Magic) на базе модели HuggingFaceTB/SmolLM3-3B. Это текстовая модель для генерации и преобразования текста, включая диалоговые сценарии. Заявлена поддержка английского, французского, испанского, итальянского, португальского, китайского, арабского и русского языков. Модель использует архитектуру SmolLM3-3B и принимает текст на входе, выдавая текст на выходе. Веса и активации линейных операторов в трансформерных блоках квантованы в FP8: веса — статически по каналам, активации — динамически по токенам. По данным разработчика, это примерно вдвое снижает требования к памяти GPU и размер файлов, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Для эффективного развёртывания рекомендуется vLLM; поддерживается OpenAI-совместимый серверный интерфейс. В README также указана максимальная длина контекста 65 536 токенов в конфигурации оценки. На тестах AIME24, MATH-500 и GPQA-Diamond квантованная версия показала средний результат 58,90 против 58,61 у исходной модели, что указывает на близкое сохранение качества рассуждений после квантования. Ограничения включают зависимость от совместимого программного стека для эффективного использования FP8 и отсутствие в представленном описании подробных сведений о качестве на других задачах. Модель распространяется по лицензии Apache-2.0.

petals-team/StableBeluga2 — версия Stable Beluga 2 от Stability AI, подготовленная для использования в Petals. В основе лежит авторегрессионная языковая модель Llama 2 примерно на 70 млрд параметров, дообученная на внутреннем наборе данных в стиле Orca. Модель предназначена для диалогов и генерации текста по инструкциям на английском языке; заявленный контекст — 4096 токенов. В этой версии веса сохранены в bfloat16 и Safetensors, а также разделены на небольшие шарды по слоям, чтобы клиенты и серверы Petals загружали только нужные части модели. README отмечает небольшую потерю качества при переходе с float32; при использовании NF4-квантизации Petals возможна дополнительная потеря качества. Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому её следует проверять и настраивать под конкретное применение. Чекпойнт распространяется по лицензии STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT, ограничивающей коммерческое использование.

agiin-13.6B-v0.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и mncai/agiin-13.6B-v0.1 методом SLERP. В каталоге указаны архитектура MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и поддерживает диалоговый режим. Модель предназначена для генерации текста и ответов на инструкции в чат-сценариях. В README описана настройка слияния слоёв внимания и MLP, а базовая модель определена как mistralai/Mistral-7B-Instruct-v0.2. Лицензия Apache-2.0. Данные о специальных доменах и языках применения в карточке не приведены.

Карточка модели jondurbin/airoboros-l2-7b-3.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-m-7b-3.0, поэтому описание составлено по ней. airoboros-m-7b-3.0 — экспериментальная универсальная языковая модель, созданная jondurbin на основе датасета airoboros-3.0, преимущественно синтетических данных. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; она принимает текст и выдаёт текст. Модель рассчитана прежде всего на следование инструкциям, ответы по заданному контексту и многошаговый диалог, а не на непринуждённую беседу. Среди заявленных сценариев — суммаризация, помощь с программированием, генерация структурированных аргументов функций и составление планов выполнения задач с инструментами. Для математических вопросов описан экспериментальный подход MathJSON: модель формулирует выражение, которое можно вычислить внешним средством. В карточке также отмечены данные для многоходового ролевого диалога. Для формата диалога используется шаблон Llama 2 chat. Модель выпущена под лицензией Apache-2.0. Автор характеризует её как экспериментальную; для MathJSON требуется внешний вычислитель, а сам подход описан как неполный. Карточка рекомендует низкую температуру генерации; ответы по контексту могут быть ненадёжны, поэтому следует явно просить модель не выдумывать сведения.

Bonsai-8B-GGUF-1bit — языковая модель, разработанная Prism ML и распространяемая в формате GGUF для llama.cpp. Она предназначена для генерации текста, локального запуска чат-ассистентов и интеграции в приложения на устройствах с GPU или CPU, включая системы на CUDA, Apple Metal и Android. Модель может использоваться через специализированную сборку llama.cpp с 1-битными ядрами; также доступна отдельная версия для MLX. Модель основана на плотной архитектуре Qwen3-8B и содержит 8,19 млрд параметров, из которых около 6,95 млрд не относятся к embedding-слоям. В ней 36 decoder-блоков Transformer, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Все основные веса, включая embeddings, attention- и MLP-проекции, а также LM head, представлены в формате Q1_0 с эффективными 1,125 битами на вес. Ключевое преимущество — компактность и энергоэффективность: память параметров занимает около 1,15 ГБ против 16,38 ГБ у FP16, что примерно в 14 раз меньше; заявлено также ускорение до 6,2 раза на RTX 4090 и снижение энергопотребления на токен в 4–5 раз. Ограничения связаны с экстремальным 1-битным квантованием, которое может влиять на качество по сравнению с полной точностью, а для запуска требуются совместимые 1-битные ядра и сборка llama.cpp от Prism ML. Модель распространяется по лицензии Apache 2.0.

ChatFrame V1 — диалоговая языковая модель AIFRAME INC, представленная как дообученная версия семейства Llama. Она предназначена для генерации ответов на персидском и английском языках и заявлена для решения математических задач, программирования, логических рассуждений, суммаризации и перевода между английским и персидским. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; доступны веса в формате safetensors и интерфейс вызова инструментов. Модель подходит для чат-ботов, языковой помощи и задач, где нужны ответы или преобразование текста на персидском и английском. README заявляет высокое качество ответов, но не приводит результатов независимой оценки или сведений о конкретных обучающих наборах. Лицензия — MIT.

DeepSeek-V4-Flash-0731-GGUF — квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и опубликованной в формате GGUF организацией ggml-org. Модель предназначена для задач генерации текста и может использоваться в совместимых инструментах для локального или серверного запуска, включая llama.cpp и приложение llama.app. В README не указаны архитектура, количество параметров, поддерживаемые языки, размер контекста и точный набор модальностей; по имеющимся данным модель относится к текстовым генеративным моделям. Доступны квантизированные варианты, при этом для вариантов Q2 пока не применялась imatrix-калибровка, что может влиять на их качество. Модель автоматически конвертирована средствами проекта ggml-org/convert. Модель распространяется по лицензии MIT. Для запуска требуется совместимое программное обеспечение, поддерживающее формат GGUF.

Это объединённая методом SLERP языковая модель MaziyarPanahi, созданная на основе Mistral-7B-Instruct-v0.2 и dolphin-2.6-mistral-7b. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и выполнения инструкций; максимальная длина контекста составляет 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий распространяется в формате safetensors, а лицензия — Apache-2.0. Доступные сведения не уточняют языковой охват и конкретные ограничения качества; поведение унаследовано от объединённых моделей.

Dolphin-Llama2-7b — языковая модель команды Dolphin, обучение которой спонсировала preemo. Это дообученная плотная модель семейства Llama 2 с 6,6 млрд параметров и контекстом до 4096 токенов. Она принимает текстовые инструкции и генерирует текст; для диалога используется формат промпта, похожий на Vicuna, с полями SYSTEM, USER и ASSISTANT. Модель предназначена для ответов на инструкции, диалога и выполнения широкого круга текстовых задач. При дообучении использовался открытый вариант данных Orca: инструкции FLANv2 с ответами GPT-3.5 и GPT-4; авторы сообщают о фильтрации отказов и ограничений, поэтому модель может отвечать на запросы, от которых другие модели откажутся. Это повышает риск нежелательных или вредоносных ответов; автор рекомендует добавить собственный слой выравнивания перед предоставлением модели пользователям. В карточке указана лицензия Llama 2, допускающая коммерческое и некоммерческое применение с соблюдением её условий.

Alberto-Codes/gemma-4-31B-it-fit24gib-GGUF — это смешанно-точный GGUF-пакет модели Google Gemma 4 31B Instruct, созданный Alberto-Codes на основе QAT-чекпойнта google/gemma-4-31B-it-qat-q4_0-unquantized. Пакет предназначен для локального запуска текстовых и мультимодальных сценариев с обработкой изображений через llama.cpp на видеокарте с 24 ГиБ VRAM. Для работы с текстом требуется файл декодера, а для изображений — также отдельный vision-проектор. Модель относится к классу image-text-to-text и поддерживает текстовый ввод, а также изображения; точный набор языков в карточке не указан. Декодер занимает 14,92 ГиБ, проектор — 629 МиБ. Пакет не использует единую схему квантования: в нём применены тензоры Q5_0, Q8_0, F16 и F32, а эффективная разрядность составляет 9,16 бит на параметр. Заявленная особенность — размещение на карте с 24 ГиБ VRAM и увеличение доступного контекста по сравнению с официальным QAT Q4_0 GGUF: до 86 016 токенов в текстовом режиме и до 73 728 токенов с одним изображением в описанной конфигурации RTX 4090 и llama.cpp. По приведённым измерениям пакет имеет меньший размер и сопоставимое качество с QAT Q4_0: на тестах он показал одну статистически значимую победу и четыре ничьи, однако у базовой версии немного лучше средние KLD и совпадение наиболее вероятного токена. Результаты зависят от конкретной конфигурации запуска, версии llama.cpp, доступной VRAM и используемого проекторного файла. Модель распространяется по лицензии Apache-2.0.