II.4Отладка, тестирование и качество ПО

Bunnycore создал эту плотную языковую модель с архитектурой Llama 3.1, объединив несколько предварительно обученных моделей методом Model Stock через mergekit. В состав объединения вошли bunnycore/LLama-3.1-8B-HyperNova-abliteration, bunnycore/LLama-3.1-8b-Ultra-Max-Pro, bunnycore/Llama-3.1-8B-OmniMatrix и leafspark/Llama-3.1-8B-MultiReflection-Instruct; базой слияния служила bunnycore/LLama-3.1-Hyper-Stock. Модель содержит 7,5 млрд параметров, использует формат safetensors и работает через библиотеку Transformers. Она предназначена для генерации текста; в составе исходных моделей есть вариант Instruct с многоэтапными рассуждениями. Заявленная длина контекста — 131 072 токена. Карточка не содержит сведений о лицензии, поэтому условия использования установить по доступным данным нельзя.

nm-testing/Llama-3.2-1B-Instruct-FP8-KV — тестовый вариант Meta Llama 3.2 1B Instruct, опубликованный организацией nm-testing на Hugging Face. Он основан на авторегрессионной языковой модели Meta с оптимизированной архитектурой Transformer, дообученной с помощью supervised fine-tuning и reinforcement learning from human feedback для полезного и безопасного диалога. Репозиторий не содержит отдельной карточки модели, поэтому сведения о назначении и характеристиках частично унаследованы от базовой модели Meta Llama 3.2 1B Instruct. Модель предназначена для генерации текста, многоязычного диалога, ассистентских и агентных сценариев, включая извлечение знаний, суммаризацию, переписывание запросов и работу локально при ограниченных вычислительных ресурсах. Базовая модель содержит около 1,23 млрд параметров, поддерживает текст на входе и выходе, Grouped-Query Attention и контекст до 128 тысяч токенов; официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса представлены в BF16, а KV-cache использует формат FP8 E4M3, что может снижать потребление памяти и ускорять инференс, но способно приводить к численной погрешности. Основное ограничение — это тестовый чекпойнт, предназначенный прежде всего для проверки инфраструктуры квантования и инференса, а не отдельная модель с собственной оценкой качества. Для использования применяются условия Llama 3.2 Community License Meta, включая требования Acceptable Use Policy и специальные условия распространения.

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

duyntnet/Llama-3.2-3B-Instruct-imatrix-GGUF — набор квантизированных версий инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий распространяет модель в формате GGUF с использованием imatrix и предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель представляет собой авторегрессионную текстовую модель на оптимизированной архитектуре Transformer с примерно 3 млрд параметров. Она работает по схеме «текст на входе — текст на выходе» и поддерживает английский язык; исходная модель описывается как мультиязычная, однако для этой конкретной публикации в карточке указан только английский. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback и ориентирована на диалоги, агентный поиск и извлечение информации, суммирование и другие задачи генерации текста. К сильным сторонам относятся компактный размер, возможность локального запуска и совместимость с распространёнными инструментами инференса. Ограничения включают текстовую модальность, отсутствие в README сведений о размере контекста, конкретных параметрах квантизации и результатах бенчмарков. Лицензия указана как other; дополнительные условия использования в карточке не приведены.

Это 4-битная квантованная версия модели meta-llama/Llama-3.3-70B-Instruct, созданная и протестированная The Kaitchup. Модель сериализована в формате GPTQ с использованием AutoRound и симметричной квантизации. Модель предназначена для задач генерации текста и следования инструкциям на английском языке, включая диалоговые и другие NLP-сценарии, поддерживаемые исходной Llama 3.3 70B Instruct. Ключевая характеристика — размер исходной модели 70 млрд параметров и 4-битное представление весов, что уменьшает требования к памяти по сравнению с полной версией и делает запуск на совместимом GPU более доступным. К преимуществам относятся сохранение возможностей большой instruct-модели при сниженных требованиях к памяти, а также совместимость с инструментами и форматом GPTQ. Ограничения связаны с использованием квантования, которое может влиять на точность и качество генерации; сведения о контексте, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию в README не указаны. Модель распространяется по лицензии Llama 3.3.

Llama3-8B-1.58-100B-tokens — большая языковая модель, разработанная командой HF1BitLLM на базе Meta Llama 3 8B Instruct. Модель дообучена с использованием архитектуры BitNet 1.58b и предназначена для генерации текста и решения стандартных задач, поддерживаемых каузальными языковыми моделями. Для загрузки используется Transformers, а токенизатор — от meta-llama/Meta-Llama-3-8B-Instruct. Модель обучалась на подмножестве FineWeb-edu: сначала был использован чекпойнт после обучения на 10 миллиардах токенов, затем выполнено ещё 45 000 шагов с общим объёмом обучения 100 миллиардов токенов. Размер исходной модели составляет 8 миллиардов параметров; заявленная особенность — экстремальное квантование до 1,58 бита. README не указывает точный список поддерживаемых языков, длину контекста или дополнительные модальности, поэтому модель следует рассматривать как текстовую. По результатам оценки модель близка к Llama 3 8B по некоторым метрикам, включая perplexity и MMLU, но в среднем уступает исходной Llama 3 8B. Главное преимущество — существенно более компактное представление параметров, потенциально снижающее требования к памяти и вычислениям; при этом README не приводит точных показателей экономии ресурсов или производительности. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-32k-v0.1. Модель создана и квантована MaziyarPanahi; исходная архитектура и точные параметры в предоставленной карточке не раскрыты, однако из названия следует, что это instruct-модель семейства Llama с заявленным размером 8B и контекстом до 32k токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на использование с llama.cpp и поддерживается, среди прочего, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и Candle; возможна работа с GPU-ускорением в зависимости от выбранного инструмента и конфигурации. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Ограничения включают возможные потери качества из-за квантования, зависимость производительности от оборудования и программного окружения, а также отсутствие в README сведений о языках, точных характеристиках архитектуры, результатах тестирования и лицензии.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

Карточка модели WariHima/llm-jp-4-33b-thinking на Hugging Face совпадает с карточкой llm-jp/llm-jp-4-33b-thinking, поэтому описание составлено по ней. LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

ceia-aisdk/llm-large-v1 — распространяемый в формате GGUF артефакт для псевдонима llm/large@1 в CEIA AI SDK. Это квантованная версия инструкционной языковой модели Qwen2.5-14B-Instruct с 14,7 млрд параметров; веса не обучались CEIA. Модель предназначена для диалогов и генерации текста по инструкциям. Репозиторий содержит файл model.gguf в квантизации Q4_K_M от bartowski. Модель принимает текст и выдаёт текст; метаданные отмечают поддержку чата. Лицензия — Apache-2.0, такая же, как у базовой модели.

Matter-0.2-32B — разговорная языковая модель, созданная 0-hero как дообучение Qwen 32B на наборе Matter 0.2. Набор сформирован из более чем 35 датасетов и включает свыше 6 млрд токенов. Модель использует архитектуру Qwen2 с плотной causal language model, содержит 31,7 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых ответов и генерации текста. Она использует формат запросов ChatML и поддерживает интерфейс вызова функций, что позволяет подключать её к инструментам и прикладным системам. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка рекомендует системную инструкцию «You are a helpful assistant»; качество и безопасность ответов зависят от запроса и приложения, поэтому результаты следует проверять при использовании в критически важных сценариях.

MeliodasPercival_01_T3qm7xStrangemerges_32 — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/T3qm7xStrangemerges_32-7B. Она предназначена для генерации текста и диалогов; принимает текстовые запросы и выдаёт текст. Контекст составляет до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Карточка модели Crystalcareai/meta-llama-3.1-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

MindLink-32B-0801 — диалоговая языковая модель, разработанная Kunlun Inc. на основе Qwen3-32B и дообученная с применением методов постобучения. Она предназначена для генерации ответов в чате, рассуждений и решения общих текстовых задач. В карточке заявлены плановое и адаптивное рассуждение: модель подбирает глубину ответа в зависимости от сложности запроса. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров. Метаданные указывают контекст 40 960 токенов, тогда как README сообщает о контексте 128K для семейства MindLink; фактическую длину для этой версии стоит уточнить перед использованием. Карточка указывает английский язык, а базовая Qwen3-32B описана как многоязычная. Доступны веса в формате safetensors, также описан совместимый с OpenAI Chat Completions API интерфейс. Лицензия — Apache 2.0. Для производных работ README требует сохранять уведомления об авторских правах Qwen и документировать изменения. В README также отмечена возможность непоследовательных ответов при инференсе и дана рекомендация очищать историю диалога перед повторной попыткой.

Mistral-7B-Instruct-v0.3-heretic — языковая генеративная модель, созданная пользователем saidutta69 на основе Mistral-7B-Instruct-v0.3 от Mistral AI. Модель обработана инструментом Heretic v1.4.0 методом направленной абляции: изменения внесены в отдельные веса attention и MLP без дообучения. Заявленный размер — 7,2 млрд параметров; основная заявленная поддерживаемая языковая версия — английский язык. Модель предназначена для генерации текста, диалоговых систем, локальных агентов, ролевых сценариев, function calling и исследований механизмов выравнивания и отказов моделей. Доступны полноточные веса BF16 и квантизированные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на бытовых видеокартах, CPU и устройствах Apple Silicon. Согласно README, подавление отказов существенно снизило их частоту по сравнению с базовой моделью, при этом автор заявляет о сохранении исходных знаний и возможностей следования инструкциям. Ключевое ограничение — намеренное удаление защитных ограничителей: модель может выполнять запросы, которые базовая версия отклоняет, включая потенциально опасные. Она сохраняет фактические ограничения и предвзятости исходной модели, а отсутствие встроенной фильтрации делает её неподходящей для незащищённых публичных сервисов без дополнительной модерации. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

Mixtral-8x7B-v0.1 — предварительно обученная генеративная языковая модель Mistral AI со sparse Mixture of Experts. В архитектуре Mixtral-8x7B восемь экспертов; модель предназначена для генерации текста и служит базовой моделью для дальнейшей адаптации под конкретные сценарии. В карточке разработчик сообщает, что модель превзошла Llama 2 70B на большинстве проверенных ими бенчмарков. Модель рассчитана на работу с текстом и поддерживает контекст до 32 768 токенов. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Веса доступны в формате safetensors; репозиторий подготовлен для обслуживания через vLLM, а README также описывает загрузку через Transformers, хотя отдельно предупреждает, что на момент публикации модель ещё нельзя было инстанцировать через HF. Лицензия — Apache 2.0. Это базовая модель без встроенных механизмов модерации, поэтому ответы могут включать нежелательный контент. Для безопасного применения в пользовательских сценариях нужна отдельная проверка и настройка поведения модели.

Это BF16-версия Mistral Small 3.2 24B Instruct в формате GGUF, подготовленная сообществом mlx-community и опубликованная TensorBlock. Репозиторий содержит файлы, совместимые с llama.cpp; модель предназначена для диалоговой генерации текста и работы с инструкциями. В README приведён шаблон промпта и варианты квантованных файлов, причём для некоторых малых квантовок отмечена существенная потеря качества. Модель содержит 24 млрд параметров и поддерживает многоязычный диалог, в том числе на русском, английском, французском, немецком, испанском, китайском и других языках из карточки. Лицензия — Apache-2.0. Указанная сборка — BF16 в GGUF; доступность файлов разных квантовок позволяет выбирать компромисс между размером и качеством. Для работы с GGUF требуется совместимый рантайм; README подтверждает совместимость с llama.cpp начиная с указанного коммита.

Moonlight-16B-A3B — предобученная языковая модель Moonshot AI для генерации текста и диалогового общения. Она построена на архитектуре Mixture-of-Experts: содержит около 16 млрд параметров, из которых при генерации активируется около 3 млрд. В метаданных указаны 2,7 млрд параметров; README приводит округлённые значения 16B и 3B для общей и активируемой частей модели. Модель обучена на 5,7 трлн токенов с оптимизатором Muon и рассчитана на контекст до 8K токенов. Её можно использовать для диалоговых приложений, генерации и продолжения текста. Авторы сообщают о сравнительных результатах на бенчмарках и публикуют исследовательские чекпойнты; заявленные преимущества обучения относятся к их экспериментам и не гарантируют превосходства на любой прикладной задаче. Модель распространяется под лицензией MIT. Для работы авторы рекомендуют Python 3.10, PyTorch 2.1 или новее и Transformers 4.48.2.

Это квантованные версии инструкционной языковой модели Kimi-K2-Instruct-0905, разработанной Moonshot AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантования Q5_K_M, Q4_K_M, Q4_1, Q4_0, IQ4_NL, IQ4_XS, Q3, Q2 и другие. Размер файлов зависит от варианта и составляет примерно от 245,61 до 730,53 ГБ; для большинства сценариев рекомендуются Q5_K_M и Q4_K_M, а варианты с более низкой разрядностью требуют меньше оперативной памяти, но обеспечивают более низкое качество. Квантование выполнено с использованием imatrix и llama.cpp версии b6317. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, точном формате промптов или лицензии. Поэтому эти характеристики нельзя достоверно определить по представленным данным.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2 и uukuguy/neural-chat-7b-v3-1-dare-0.85. Веса объединены методом SLERP с настройками для слоёв self-attention и MLP; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В README не приведены результаты оценки качества или отдельные гарантии работы для конкретных языков и предметных областей.

Severian разработал Nexus-IKM-Mistral-Instruct-v0.2-7B — разговорную языковую модель на архитектуре Mistral с 7,1 млрд параметров. Модель дообучена на экспериментальном наборе Internal Knowledge Map в течение трёх эпох; для обучения использовалась фазовая методика, последовательно акцентирующая системный контекст и инструкции. Модель предназначена для генерации ответов, рассуждений и синтеза информации из разных областей знаний. Её можно применять для многошагового решения задач, поиска связей между дисциплинами и подготовки междисциплинарных идей; заявленные в карточке способности не подтверждены количественными оценками. Контекст составляет до 32 768 токенов. Указана лицензия MIT.

Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.

NVIDIA Nemotron 3.5 Lightning 30B-A3B W4A16 — это посттренировочная квантизированная версия модели NVIDIA Nemotron 3.5 Lightning 30B-A3B, подготовленная и упакованная проектом useful-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы и высокопроизводительное развёртывание на NVIDIA GPU с использованием vLLM. Архитектура сочетает Mamba-2, Mixture-of-Experts и attention; общий размер составляет 30B параметров, из которых активно используется около 3B. Применяется квантизация W4A16 с размером группы 64, веса занимают около 16,60 GiB. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Архитектурное ограничение контекста — до 1 млн токенов; на одной NVIDIA RTX 3090 объём 640K токенов рекомендован для эксплуатации, а 744K проверен как предельный тестовый вариант. Сильные стороны модели — сравнительно небольшие требования к памяти, высокая пропускная способность и возможность работы с очень длинным контекстом на одной 24-гигабайтной видеокарте. Артефакт проверен с vLLM и compressed-tensors; прямой запуск через Transformers в исходных материалах не документирован. Показатели на отдельных тестах включают нормированную точность 0,87 на PIQA, 0,678 на HellaSwag и строгую instruction-level оценку 0,813 на IFEval, однако результаты зависят от конфигурации и не описывают все возможности модели. Модель распространяется по лицензии OpenMDW 1.1. NVIDIA является разработчиком исходной модели, а useful-quants выполнил квантизацию; он не обучал, не дообучал и не выравнивал модель. Условия предполагаемого использования, безопасности и полное описание исходной модели определяются лицензией и карточкой базовой версии NVIDIA.

OpenBeagle-11B — разговорная языковая модель семейства Mistral, опубликованная vicgalle. Это плотная авторегрессионная модель на 10,6 млрд параметров для генерации текста и диалога; она использует библиотеку Transformers и веса в формате safetensors. Нативная длина контекста — 32 768 токенов. Модель подходит для ведения диалога и генерации ответов на запросы. В README приведены результаты оценки на Open LLM Leaderboard, включая показатели на задачах AI2 Reasoning Challenge и HellaSwag. Модель выпущена под лицензией Apache-2.0. В метаданных указан датасет OpenHermesPreferences-1k.

bartowski/open-thoughts_OpenThinker2-7B-GGUF — это квантизированная GGUF-версия языковой модели OpenThinker2-7B, разработанной open-thoughts. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется формат запросов с ролями system, user и assistant на основе специальных токенов ChatML. Модель содержит 7 миллиардов параметров и распространяется в вариантах от BF16 до низкобитных квантований Q2–Q8, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,5 до 15,2 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти. В README не указаны языки, размер контекстного окна, конкретные мультимодальные возможности или архитектурные детали базовой модели. Сильной стороной является широкий выбор квантований для разных аппаратных ограничений и оптимизация с использованием imatrix. Ограничения зависят от выбранного варианта: более компактные версии могут заметно уступать по качеству, а полная BF16-версия требует значительных ресурсов. Модель и квантованные файлы распространяются по лицензии Apache-2.0; квантизация выполнена bartowski с использованием llama.cpp.

Phi-3-medium-4k-instruct-IMat-GGUF — квантизированная версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Релиз подготовлен пользователем legraphista с использованием llama.cpp и представлен в формате GGUF для локального запуска и генерации текста. Модель предназначена для диалоговых сценариев, выполнения инструкций и других задач текстовой генерации. Исходная модель использует формат BF16, а репозиторий содержит варианты с разными уровнями точности и размером от 4,13 до 27,92 ГБ: FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели с сохранением качества по сравнению с обычной квантизацией. Указаны мультиязычная поддержка и контекст до 4096 токенов; доступна только текстовая модальность. Преимущества модели — широкий выбор вариантов квантизации, возможность подбора соотношения качества и требований к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при использовании наиболее компактных вариантов и высокие требования к ресурсам для полноточных версий; конкретные языки, архитектурные детали и результаты оценки в README не указаны. Модель распространяется по лицензии MIT.

Phi-4-reasoning-plus-w4a16-llmcompressor — это квантизованная версия языковой модели Phi-4-reasoning-plus, разработанной Microsoft. Модель предназначена для генерации текста и работы с текстовыми запросами, включая задачи рассуждения; исходная архитектура представлена как Phi3ForCausalLM. Модель поддерживает английский язык. Чекпойнт подготовлен компанией AMD для инференса на процессорах AMD EPYC под Linux. Используется 4-битная квантизация весов без квантизации активаций (W4A16): веса представлены в формате INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Для запуска рекомендован стек vLLM 0.26.0, LLM Compressor 0.12.0, ZenDNN 6.1.0, ZenTorch 2.11.0.3 и PyTorch 2.11.0. Ключевое преимущество модели — существенное сокращение размера весов при сохранении качества: на тесте GSM8K она показала 0,8688 против 0,8704 у исходной BF16-модели, то есть восстановила 99,82% результата базовой версии. Ограничения включают ориентацию на CPU AMD EPYC, зависимость от совместимых версий программного стека и возможную потерю точности из-за агрессивной 4-битной квантизации. В README указана лицензия MIT; также отмечено, что модель распространяется на условиях лицензии исходной модели.

quantum-v0.01-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и quantumaikr/quantum-v0.01. Для объединения применён метод SLERP; веса представлены в формате safetensors. Модель предназначена для ответов на инструкции и диалоговые запросы. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указан английский язык, лицензия — Apache-2.0. Карточка не приводит отдельных результатов оценки качества или более подробных ограничений; возможности модели могут зависеть от запроса и используемого программного окружения.