II.4Отладка, тестирование и качество ПО

MaziyarPanahi/DeepSeek-R1-0528-Qwen3-8B-GGUF — это набор файлов модели в формате GGUF для базовой модели deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. Исходную модель разработала deepseek-ai, а квантированную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. GGUF — формат, созданный командой llama.cpp и пришедший на смену GGML. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Поддерживаются llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования, GPU-ускорение в ряде клиентов и совместимость с OpenAI-совместимыми серверными интерфейсами некоторых библиотек. README не содержит сведений о точной архитектуре, размере параметров, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования или лицензии, поэтому эти характеристики нельзя достоверно определить.

DeepSeek-R1-Distill-Llama-8B-GGUF — это набор GGUF-квантизаций модели DeepSeek-R1-Distill-Llama-8B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана DeepSeek, а данный репозиторий предоставляет варианты весов для локального запуска и инференса, в том числе через LM Studio. Модель предназначена для генерации текста и поддерживает сценарии локального использования, включая диалоговое взаимодействие и задачи рассуждения, предусмотренные базовой моделью. Доступны варианты от F32 и F16 до низкоразрядных Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер модели составляет 8 миллиардов параметров; формат GGUF ориентирован на работу с llama.cpp. В README также указан шаблон промпта, содержащий системное сообщение, запрос пользователя и ответ ассистента. Сильной стороной набора является широкий выбор квантизаций: варианты Q6 и Q5 обеспечивают высокое качество при заметно меньшем размере, а Q4 и Q3 подходят для устройств с ограниченными ресурсами. Более компактные варианты экономят память, но могут снижать качество генерации. Данные о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны.

RedHatAI/diffusiongemma-26B-A4B-it-NVFP4 — это квантизированный вариант модели google/diffusiongemma-26B-A4B-it, подготовленный Red Hat AI. Модель предназначена для генерации текста и обработки задач image-text-to-text; поддерживает работу через Transformers и vLLM. Веса и активации квантизированы в формат NVFP4 с 4-битным представлением, а сохранение выполнено в формате compressed-tensors с использованием llm-compressor. Исходная модель содержит около 25,8 млрд параметров, включая примерно 22,8 млрд экспертных и 3 млрд неэкспертных параметров. В составе указаны текстовые и визуальные компоненты, включая vision tower, однако точные поддерживаемые языки и размер контекстного окна в карточке не приведены. Модель ориентирована на диалоговые сценарии, рассуждения, решение математических и научных задач, следование инструкциям и обработку мультимодальных запросов. Сильная сторона версии NVFP4 — существенное снижение требований к памяти и возможность эффективного развёртывания на совместимом оборудовании. По приведённым тестам на одной GPU B200 качество в большинстве задач близко к исходной неквантизированной модели: показатели сохранения качества составили около 97–100% на AIME 2025, GPQA Diamond, IFEval и GSM8K, а на MMLU 0-Shot результат оказался выше исходного. Ограничения включают возможные потери качества из-за квантизации и зависимость от совместимых версий Transformers, vLLM и параметров запуска; в карточке также не приведены подробные ограничения применения и результаты для языков. Модель распространяется по лицензии Apache 2.0. Для развёртывания заявлена проверка совместимости с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

Это объединённая методом SLERP языковая модель MaziyarPanahi, созданная на основе Mistral-7B-Instruct-v0.2 и dolphin-2.6-mistral-7b. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и выполнения инструкций; максимальная длина контекста составляет 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий распространяется в формате safetensors, а лицензия — Apache-2.0. Доступные сведения не уточняют языковой охват и конкретные ограничения качества; поведение унаследовано от объединённых моделей.

EmbeddingGemma-300m — компактная модель эмбеддингов Google DeepMind на базе Gemma 3 с инициализацией T5Gemma. Она преобразует текст в векторы размерности 768; благодаря Matryoshka Representation Learning векторы можно сократить до 512, 256 или 128 измерений и перенормировать. Модель содержит 302,8 млн параметров, принимает до 2048 токенов и рассчитана на работу, в том числе на устройствах с ограниченными ресурсами. Модель предназначена для семантического поиска и извлечения документов, сравнения текстов, классификации и кластеризации. Её можно применять для поиска по документам и коду, обнаружения дубликатов, подбора рекомендаций и поиска доказательств для проверки фактов. Обучение охватывает более 100 языков, однако в карточке этой версии явно указаны английский и немецкий. Модель выдаёт числовые векторы, а не готовые текстовые ответы. Её качество зависит от охвата обучающих данных; возможны ошибки при интерпретации языковых нюансов, сарказма и образных выражений. Репозиторий указывает лицензию Gemma; использование регулируется условиями Google и политикой допустимого использования Gemma.

EmbeddingGemma — компактная модель эмбеддингов на 300 млн параметров от Google DeepMind, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, извлечения информации, оценки сходства, классификации и кластеризации. Модель подходит для поиска документов и кода, систем вопросов и ответов и проверки фактов. Модель обучена на данных более чем из 100 языков и рассчитана на запуск на устройствах с ограниченными ресурсами, включая телефоны и компьютеры. Максимальная длина входа — 2048 токенов; стандартный размер выходного вектора — 768 измерений, также доступны укороченные варианты на 512, 256 и 128 измерений с помощью Matryoshka Representation Learning. Для работы предусмотрена библиотека Sentence Transformers. Качество эмбеддингов зависит от охвата и особенностей обучающих данных; модель может хуже передавать языковые нюансы, сарказм и переносный смысл, а также наследовать смещения данных. Условия использования определяются лицензией Gemma и связанными с ней правилами Google.

ehristoforu/fq2.5-7b-it-normalize_false — объединённая инструктивная языковая модель на архитектуре Qwen2, созданная с помощью mergekit и метода Model Stock на основе Qwen/Qwen2.5-7B-Instruct. В объединение вошли модели для работы с длинным контекстом и RAG, рассуждений, математики, а также неконтролируемой генерации. Модель предназначена для диалоговой генерации текста и ответов на инструкции; заявленный контекст составляет 32 768 токенов. Размер — 7,1 млрд параметров. Репозиторий содержит веса safetensors для библиотеки Transformers и метаданные отмечают интерфейс вызова инструментов. Составное объединение может сочетать возможности исходных моделей, однако карточка не приводит количественных оценок качества или отдельных результатов тестирования. Лицензия в предоставленных источниках не указана.

Gemma-2-Ataraxy-v4-Advanced-9B — слитая автором lemon07r диалоговая языковая модель на архитектуре Gemma 2 с 9 млрд параметров. Она объединяет модели lemon07r/Gemma-2-Ataraxy-v3-Advanced-9B и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25 методом SLERP с помощью mergekit; веса сохранены в формате safetensors, тип данных — bfloat16. Модель предназначена для генерации текста и ответов на текстовые запросы в диалоговом режиме. Заявленная длина контекста — 8192 токена. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оцениванию следования инструкциям и рассуждений, но не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

google/gemma-4-31B-it-assistant — вариант Gemma 4 от Google DeepMind с инструкционной настройкой и поддержкой Multi-Token Prediction (MTP). В спекулятивном декодировании небольшой черновой модуль предлагает несколько следующих токенов, которые основная модель проверяет параллельно; карточка заявляет ускорение генерации до 3 раз при сохранении того же качества, что и при обычной генерации. Архитектура плотная, веса опубликованы в формате safetensors, библиотека — Transformers. Модель предназначена для ускорения генерации текста с низкой задержкой, в том числе при локальном развёртывании. Семейство Gemma 4 поддерживает работу с текстом и изображениями, а также генерацию кода, рассуждения и вызов инструментов; у модели заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка. Карточка семейства также описывает видео и аудио, но аудио поддерживается только вариантами E2B, E4B и 12B, а не 31B. Лицензия — Apache 2.0. Ускорение зависит от использования в совместимом конвейере спекулятивного декодирования; MTP-черновик не является самостоятельной заменой целевой модели. В карточке не приведены отдельные сведения об оценках и ограничениях именно этого чекпойнта.

furiosa-ai/gemma-4-31B-it-FP8-block — оптимизированная сборка мультимодальной модели Gemma 4 31B, разработанной Google, с упаковкой Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Модель предназначена для диалоговых и генеративных задач, а исходная версия также поддерживает обработку изображений вместе с текстом. В текущей FXB-реализации доступен только режим текст-текст, поэтому она подходит для текстового инференса и развёртывания через OpenAI-совместимый API. Архитектура модели — плотная Gemma 4 с vision encoder и transformer decoder, сочетающим слои sliding-window и full attention. Текстовый трансформер подвергнут статическому FP8 block quantization линейных слоёв с блоками 128×128; активации динамически квантизуются в FP8 группами по 128 значений. Vision tower, embeddings, output head и KV cache сохраняются в 16-битной точности. Для работы на RNGD используется tensor parallelism с 32 PE, что соответствует четырём картам RNGD. К сильным сторонам относятся мультимодальная архитектура исходной модели, поддержка опционального reasoning и native tool calling на уровне upstream-модели, а также снижение требований к вычислительным ресурсам благодаря FP8-квантизации. Ограничения текущей FXB — отсутствие поддержки изображений, reasoning parser и tool-call parser в Furiosa-LLM; автоматический выбор инструментов и соответствующие расширенные режимы поэтому недоступны. Модель распространяется по лицензии Apache 2.0.

GPT4-Alpaca-LoRAMLP-65B — модель генерации текста семейства LLaMA, подготовленная на основе LLaMA 65B с помощью LoRA-дообучения MLP-компонентов на наборе alpaca_data_gpt4. Репозиторий TheBloke содержит веса после объединения LoRA с исходной LLaMA 65B; доступны варианты для GPU и CPU, включая квантованные сборки в отдельных репозиториях. В этой карточке указаны веса PyTorch для Transformers: 65 млрд параметров и контекст до 2048 токенов. Модель предназначена для диалоговых и инструкционных сценариев: она принимает текстовые инструкции и генерирует ответы. В README описан обучающий чекпойнт, полученный через LoRA на данных Alpaca GPT-4; это не означает, что ответы эквивалентны GPT-4. Для репозитория указана лицензия other, поэтому условия использования следует сверить с исходной лицензией LLaMA и правилами распространения этой сборки.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

Vtuber-plan/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 4-битная NVFP4-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, созданной на базе Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0; в комплект входит исправленный шаблон чата Qwen. Модель предназначена для генерации текста, диалогов, рассуждений, многоязычных задач и агентских сценариев с вызовами инструментов. Модель использует веса NVFP4 с размером групп 16 и FP8 KV-кэш. Для калибровки применялся набор из 5349 примеров, включающий английские и многоязычные диалоги, математические задачи, длинные рассуждения и трассировки вызовов инструментов. Заявлены языки English, French и multilingual; точный максимальный размер контекста в README не указан. Размер чекпойнта составляет около 19,5 ГБ и распределён по пяти шардам. Основное преимущество — сохранение качества чатового и агентского использования после квантизации: на GSM8K при фиксированном шаблоне чата модель показала 0,9833 против 0,9783 у базовой BF16-версии. При этом она плохо подходит для сырых few-shot-промптов без чатового режима: модель может начать рассуждение и не успеть выдать ответ при малом бюджете токенов. Рекомендуется использовать шаблон из комплекта, режим reasoning_effort medium и запас генерации от 8 тысяч токенов. При максимальном режиме xhigh возможны зацикливание и исчерпание лимита, особенно при температуре около нуля. В sglang при высокой конкуренции и длинных генерациях известна проблема падения; рекомендуется ограничивать число одновременных запросов или обновить sglang. Для запуска нужны sglang с quantization modelopt или TensorRT-LLM; обычный transformers/BF16 inference этот чекпойнт не деквантизирует. Лицензия — Apache-2.0.

Hymba-1.5B-Instruct — языковая модель NVIDIA для генерации текста и диалогов. Она дообучена на основе nvidia/Hymba-1.5B-Base с помощью supervised fine-tuning и direct preference optimization, используя открытые наборы инструкций и синтетические данные. Модель содержит 1,1 млрд параметров по метаданным и поддерживает контекст до 8192 токенов. Архитектура Hymba сочетает в слоях механизмы внимания и Mamba (SSM), использует Grouped-Query Attention, Rotary Position Embeddings, скользящее окно внимания и совместное использование KV-кэша между слоями. Модель предназначена для диалогов, решения математических задач, вызова функций и ролевых сценариев. NVIDIA заявляет о готовности к коммерческому использованию; модель распространяется по NVIDIA Open Model License Agreement. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичность и социальные предубеждения из обучающих данных. README отмечает уязвимость к jailbreak-атакам и рекомендует проверять выводы при использовании в RAG- и агентных системах.

ibm-granite_granite-4.1-8b-GGUF — это квантизированная версия языковой модели granite-4.1-8b, разработанной IBM (ibm-granite) и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет около 8 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q2–Q8 и IQ. Размер файлов составляет примерно от 4,07 до 17,59 ГБ, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью работы. Для взаимодействия используется специальный шаблон промпта с ролями system, user и assistant. Сведения о поддерживаемых языках, архитектуре исходной модели, модальностях помимо текста и размере контекстного окна в представленном README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального инференса и совместимость с распространёнными инструментами. Более точные варианты, включая Q6_K и Q6_K_L, обеспечивают качество, близкое к исходному, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом памяти, но сопровождаются заметным снижением качества. Модель распространяется по лицензии Apache-2.0.

InternLM3-8B-Instruct-GGUF — это 8-миллиардная instruction-модель семейства InternLM, опубликованная командой InternLM и представленная в формате GGUF. Данный набор квантованных версий подготовлен bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая запуск локально через llama.cpp или LM Studio. Формат prompt не указан, поэтому для корректного применения следует обратиться к странице исходной модели. Доступны варианты от полноточных F32 и F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, размером примерно от 3,82 до 35,22 ГБ. Квантованные версии снижают требования к памяти, сохраняя различный уровень качества; README рекомендует несколько вариантов Q6, Q5 и Q4 как оптимальные по соотношению качества и размера. Сведения о поддерживаемых языках, длине контекста, модальностях и конкретной архитектуре в README не приведены. Модель распространяется под лицензией Apache-2.0.

Jina Embeddings v4 — мультимодальная мультиязычная модель эмбеддингов, разработанная Jina AI на базе Qwen2.5-VL-3B-Instruct. Она предназначена для поиска по текстам, изображениям и визуально насыщенным документам, включая материалы с диаграммами, таблицами и иллюстрациями. Модель поддерживает плотные векторные представления и многовекторный late-interaction поиск, а также задачи сопоставления текстов и поиска по коду; адаптер задачи выбирается при инференсе. Модель содержит 2,8 млрд параметров, принимает текст и изображения и выдаёт эмбеддинги. Размерность плотного эмбеддинга по умолчанию составляет 2048 и может быть уменьшена до 128; заявлена поддержка более 30 языков. Длина контекста — до 128 000 токенов. Веса опубликованы в формате safetensors, для работы доступны Transformers и интерфейс Sentence Transformers. Модель подходит для мультиязычного семантического поиска, поиска по визуальным документам, сопоставления текстов и поиска фрагментов кода. Карточка не сообщает лицензию; количественные результаты оценки и конкретные ограничения качества в предоставленных данных не приведены.

KRONOS-8B-V3 — языковая модель, созданная командой T145 слиянием нескольких предварительно обученных моделей методом TIES в mergekit; базой слияния служит unsloth/Meta-Llama-3.1-8B. В состав также вошли mukaj/Llama-3.1-Hawkish-8B, KRONOS-8B-V1-P1, KRONOS-8B-V1-P3 и Meta-Llama-3.1-8B-Instruct. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов, а также имеет интерфейс для вызова инструментов. Поддерживает контекст до 131 072 токенов. В карточке приведены результаты оценок на IFEval и BBH, но сведений о поддерживаемых естественных языках и лицензии нет. Доступные веса размещены в формате safetensors.

Lemer — это мультимодальная версия Gemma 4 E2B в формате GGUF, разработанная Lethean и основанная на форке LetheanNetwork/lemer. В модель встроен Lethean Ethical Kernel (LEK): его поведенческие настройки были добавлены через LoRA-файнтюнинг и объединены с весами, поэтому для работы не требуется отдельный PEFT-адаптер. Модель предназначена для диалоговых сценариев, генерации и анализа текста, а также обработки изображений и аудио, включая локальный запуск на устройствах с ограниченными ресурсами. Репозиторий содержит варианты квантования от Q3_K_M до BF16 размером примерно от 3,0 до 8,7 ГБ. Рекомендуемым указан Q4_K_M как компромисс между качеством и размером; Q3_K_M ориентирован на наиболее ограниченные устройства, а BF16 служит полноточной версией. Заявлена поддержка Ollama, llama.cpp, GPT4All, LM Studio и llama-cpp-python. Токенизатор содержит 262 тысячи токенов, однако размер контекстного окна и точный набор поддерживаемых языков в карточке не указаны. Сильными сторонами модели являются единый автономный GGUF-файл, мультимодальность, несколько уровней квантования и ориентация на локальный инференс. Ограничения включают отсутствие в README подробных результатов оценки, точных характеристик архитектуры и контекстного окна, а также потенциальные компромиссы качества при использовании квантованных вариантов. Модель распространяется по лицензии European Union Public Licence 1.2 (EUPL-1.2).

Llama3.1-8B-Chinese-Chat — языковая модель для генерации текста и диалогового взаимодействия на китайском и английском языках, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Модель дообучена на основе Meta-Llama-3.1-8B-Instruct с применением метода оптимизации предпочтений ORPO и фреймворка LLaMA-Factory. Обучение проводилось на более чем 100 тысячах пар предпочтений с полным обновлением параметров. Модель предназначена для чат-сценариев, ролевого общения, использования инструментов и function calling, а также решения математических задач. Она имеет 8,03 млрд параметров; заявленная длина контекста составляет 128K токенов, однако для китайской версии эта характеристика не тестировалась разработчиками. Длина контекста, использованная при дообучении, составляла 8192 токена. Доступны версии BF16 и GGUF с квантованиями q4_k_m и q8_0, а также в формате f16. К сильным сторонам относятся ориентация на китайско-английских пользователей, улучшенные возможности ролевого общения, работы с инструментами и математики, а также поддержка запуска через Transformers и llama.cpp. Ограничения включают неподтверждённую практическими тестами длину контекста 128K и возможную нестабильность ответов на вопросы о собственной идентичности и разработчиках. Модель распространяется по лицензии Llama 3.1 License.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

Llama-3.3-70B-o1 — языковая модель компании codelion, дообученная методом QLoRA на трассах пошагового рассуждения. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 69,5 млрд параметров; она принимает текст и генерирует ответы с блоком рассуждения между специальными тегами и итоговым ответом в отдельном блоке. Модель предназначена для диалогов и задач, требующих многошагового рассуждения; в карточке приведён результат 46,7 pass@1 на AIME 2024. Контекст модели — до 131 072 токенов. Для многих запросов автор рекомендует разрешать генерацию не менее 8192 токенов, поскольку модель склонна выдавать длинные ответы. Указанная лицензия — Apache-2.0. Базовая модель — unsloth/llama-3.3-70b-instruct-bnb-4bit.

Модель mlx-community/Meta-Llama-3.1-70B-Instruct-bf16 — преобразованная в формат MLX версия Meta Llama 3.1 70B Instruct, подготовленная сообществом mlx-community. Это плотная авторегрессионная языковая модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, генерации текста и использования в качестве ассистента; поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; длина контекста — до 131 072 токенов. Формат MLX предназначен для запуска на оборудовании Apple через библиотеку mlx-lm. Репозиторий основан на meta-llama/Llama-3.1-70B-Instruct и содержит веса в safetensors; конвертация выполнена с помощью mlx-lm версии 0.19.0. Лицензия — Llama 3.1 Community License. Модель крупная и требует значительных вычислительных ресурсов; заявленная длина контекста не гарантирует одинаковую скорость или качество на всём диапазоне.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

ProCreations/MiMo-V2.6-Flash-RL-NVFP4 — это вариант модели MiMo-V2.6-Flash-RL, опубликованной XiaomiMiMo, преобразованный в формат NVFP4. Репозиторий содержит точную перекодировку уже квантизированных MXFP4-весов маршрутизируемых экспертов без калибровки, обрезания, оптимизации или округления к ближайшему коду. Модель предназначена для генерации текста, включая работу с кодом, математическими задачами, английским и китайским языками. В конфигурации указана архитектура Mixture-of-Experts; точное общее число параметров и размер контекста исходной модели в README не приведены. Сохранены мультимодальные энкодеры, аудиотокенизатор и сопутствующие файлы, однако конкретные поддерживаемые модальности не описаны. Ключевое отличие — смешанная точность W4A16_NVFP4 для экспертных весов при отсутствии требования квантизации активаций FP4. Корневой массив тензоров занимает около 193,96 ГБ без вспомогательных файлов. Полная проверка заявляет идентичность кодов экспертных весов и практически полное совпадение значений при сравнении с исходной моделью; в тесте на 65 504 токенах показатели perplexity совпали с исходной MXFP4-версией, а согласие наиболее вероятного токена составило 99,988–100% в зависимости от домена. Это не гарантирует идентичность результатов при других типах вычислений, ядрах внимания, квантизации активаций или настройках генерации. Проверенный путь загрузки использует vLLM 0.29.0, tensor parallelism 2 и две видеокарты RTX PRO 6000 Server Edition по 96 ГБ; заявленный максимальный контекст в примере запуска — 12 288 токенов. README не содержит широких бенчмарков качества, подтверждений производительности, валидации CPU-offloading или speculative decoding. Модель и исходный чекпойнт распространяются по лицензии MIT.

Это сборка Mistral 7B Instruct v0.2 от Mistral AI, подготовленная Mozilla AI в формате llamafile. В её основе — плотная диалоговая модель Mistral, дообученная для генерации текста по инструкциям; базовая версия содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий включает варианты квантования разной разрядности, в том числе с заметной потерей качества на самых компактных настройках. Модель подходит для локального чат-общения, ответов на вопросы и выполнения текстовых инструкций через llama.cpp и совместимые интерфейсы. Формат llamafile упрощает запуск на обычных системах с ARM64 и AMD64; конкретные требования к памяти и качество зависят от выбранного файла. Модель не имеет встроенных механизмов модерации. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Magistral-Small-2506, разработанной Mistral AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Карточка указывает поддержку английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Доступны варианты от BF16 до различных уровней квантизации, с размером файлов примерно от 10,65 до 47,15 ГБ. Для запуска предусмотрен специальный формат промпта с системной инструкцией и пользовательским запросом. Архитектура, число параметров, размер контекстного окна и мультимодальные возможности в README не указаны. Основное преимущество набора — возможность выбрать компромисс между качеством и требованиями к памяти: варианты Q5 и Q6 заявлены как высококачественные, а Q4 подходят для большинства сценариев и экономят ресурсы. Более компактные варианты позволяют работать при ограниченном объёме оперативной памяти, но могут заметно уступать по качеству. Модель предназначена для текстовых задач; поддержка изображений или других модальностей не заявлена. Распространяется по лицензии Apache-2.0.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

Mistral-Small-3.2-24B-Instruct-2506-MLX-8bit — это 8-битная квантованная версия мультимодальной инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной компанией Mistral AI. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm. Модель предназначена для запуска на устройствах с Apple Silicon и поддерживает сценарии генерации текста по инструкциям, а также обработки изображений и текста, о чём свидетельствует мультимодальный профиль image-text-to-text. Она поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и другие языки, перечисленные в карточке модели. Ключевые характеристики — 24 млрд параметров в исходной модели, 8-битное представление весов и оптимизация для экосистемы Apple Silicon. Квантование снижает требования к памяти и делает локальный запуск практичнее, однако может немного повлиять на точность по сравнению с полной версией. Длина контекста в README не указана. Модель распространяется по лицензии Apache 2.0; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность генерируемого содержимого.