II.4Отладка, тестирование и качество ПО

bartowski/deepseek-ai_DeepSeek-V3.1-Base-GGUF — это набор GGUF-квантизаций базовой языковой модели DeepSeek-V3.1-Base, разработанной deepseek-ai. Квантизации подготовлены bartowski с использованием llama.cpp версии b6214 и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантизации: от Q8_0 размером около 713 ГБ до IQ1_M размером около 147 ГБ. В README рекомендуются Q6_K как вариант почти максимального качества, Q4_K_M как сбалансированный вариант для большинства сценариев и IQ4_XS как более компактный вариант с сопоставимой производительностью. Также представлены форматы Q2, Q3, Q4, IQ2 и IQ3 с различным компромиссом между качеством и требованиями к памяти; некоторые варианты используют Q8_0 для embedding- и output-весов. Модель подходит для локального текстового вывода при наличии значительных ресурсов оперативной или видеопамяти. Чем ниже уровень квантизации, тем меньше размер файлов и требования к памяти, но тем выше потенциальная потеря качества; варианты IQ1 и некоторые варианты Q2 отмечены как низкокачественные или нерекомендуемые. Архитектура, поддерживаемые языки, размер контекста и формат промпта в README не указаны, а лицензия также не приведена, поэтому эти характеристики следует уточнить на странице исходной модели deepseek-ai/DeepSeek-V3.1-Base.

DevQuasar/deepseek-ai.DeepSeek-V3.2-GGUF — это квантизированная версия модели DeepSeek-V3.2, разработанной командой deepseek-ai и опубликованной в формате GGUF сообществом DevQuasar. Модель предназначена для генерации текста и совместима со сценариями, поддерживающими этот формат. Ключевые характеристики архитектуры, размер, набор поддерживаемых языков, длина контекста и конкретные варианты квантизации в предоставленном README не указаны. Поэтому нельзя достоверно оценить её производительность, требования к ресурсам, сильные стороны и ограничения по сравнению с исходной моделью. Условия лицензирования также не приведены; перед использованием необходимо проверить лицензию базовой модели DeepSeek-V3.2 и условия распространения данной квантизированной версии.

MLX-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанная сообществом mlx-community и преобразованная из исходной модели deepseek-ai с помощью mlx-lm 0.24.1. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих формат диалоговых сообщений и chat template. Модель основана на DeepSeek-R1-0528-Qwen3-8B и представлена в 4-битном формате квантования, что может снизить требования к памяти по сравнению с полноточной версией, однако README не содержит подробностей об архитектуре, количестве параметров, поддерживаемых языках, контексте, модальностях, производительности или ограничениях качества. Указана лицензия MIT, поэтому условия использования определяются её положениями.

mlx-community/DeepSeek-V3.2_bf16 — преобразованная в формат MLX версия DeepSeek-V3.2 от deepseek-ai, подготовленная сообществом mlx-community. Модель предназначена для генерации текста; её можно запускать с библиотекой mlx-lm на поддерживаемых MLX системах. Архитектура — DeepseekV32ForCausalLM; в метаданных указаны 37,6 млрд параметров и контекст до 163 840 токенов. Репозиторий создан преобразованием исходной модели с помощью mlx-lm 0.28.4. Метаданные указывают лицензию MIT и формат safetensors с FP8. README не описывает специализированные сценарии, языковое покрытие или результаты оценки качества, поэтому модель следует рассматривать как универсальную генеративную языковую модель без подтверждённой отраслевой специализации.

DeepSeek-V4-Flash-0731-Abliterated-DS4-Quality128 — это GGUF-квантизованная версия модели DeepSeek V4 Flash, подготовленная apetersson на основе чекпойнта apetersson/DeepSeek-V4-Flash-0731-Abliterated-FP8. Модель предназначена для локальной генерации текста и запуска через DS4 или llama.cpp, включая работу на Apple Silicon с ускорением Metal. Это MoE-модель с разреженной маршрутизацией экспертов; сведения о точном общем числе параметров, поддерживаемых языках и максимальном контексте в README не указаны. Профиль DS4 Quality128 ориентирован на сохранение качества при размещении модели в памяти 128-ГБ M1 Ultra. Размер основного GGUF-файла составляет около 95,8 GiB. В наиболее чувствительных маршрутизируемых экспертах сохранён нативный формат MXFP4, остальные эксперты используют IQ2_XXS и Q2_K, а attention-, shared-expert- и output-пути — Q8; отдельные индексатор и вспомогательные тензоры защищены в F16. Abliteration затрагивает только 36 attention-тензоров wo_b, тогда как коды и масштабы routed experts сохранены без изменений. Основное преимущество модели — ориентированная на качество квантизация и возможность запуска на совместимом локальном оборудовании. Целевой GGUF совместим с DS4 и llama.cpp для обычного inference; для DSpark speculative decoding требуются отдельные runtime-специфичные companion-файлы, которые нельзя взаимозаменять. Поддержка зависит от конкретной версии runtime: stock llama.cpp b10210 поддерживает только обычный запуск, а DSpark требует специальных сборок и изменений DeepSeek V4. Приведённые в README показатели производительности основаны на кратком smoke-тесте и не являются устойчивым бенчмарком. Лицензия модели — MIT.

Eclipse-13B-dpo — языковая модель Xenon1, созданная дообучением Mistral-7B-v0.1 на датасете UltraFeedback с применением методов из статьи Self-Rewarding Language Models. Она предназначена для генерации текста и выполнения инструкций в диалоговом формате; для запросов используется шаблон с токенами [INST] и [/INST], также доступный через apply_chat_template(). В основе указана архитектура Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; метаданные классифицируют веса как MixtralForCausalLM с архитектурой MoE и указывают 7,1 млрд параметров. Контекст составляет 32 768 токенов, формат весов — safetensors, основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0.

Elysium2.1-11b — объединённая модель для генерации текста, созданная powermove72 с помощью LazyMergekit. При слиянии методом passthrough использованы слои 0–24 модели powermove72/Trinity_Notus-xb и слои 25–49 модели powermove72/GreenScorpius-xb-Passthrough. Модель построена на плотной архитектуре Mistral с 11 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых ответов на входные текстовые запросы. Репозиторий содержит веса в формате Safetensors; в конфигурации слияния указан тип bfloat16. Лицензия в предоставленных данных не указана.

Ettin Encoder 1B — англоязычная модель-энкодер семейства ModernBERT от исследовательской группы JHU CLSP, часть набора Ettin для сопоставления энкодерных и декодерных архитектур. Модель содержит 1 млрд параметров, построена на плотной архитектуре ModernBERT и обучена с маскированием токенов; она предназначена для извлечения признаков и получения текстовых представлений, а также поддерживает заполнение пропусков в тексте. Модель подходит для классификации текстов, поиска и извлечения представлений, включая поиск по коду и работу с длинным контекстом. В описании набора Ettin сообщается о сильных результатах энкодеров на GLUE, англоязычном поиске MTEB и CodeSearchNet. Контекст модели составляет около 8 тысяч токенов. Обучение Ettin использует открытые данные и единый рецепт для сравнения архитектур; лицензия модели — MIT.

EVA-Yi-1.5-9B-32K-V1-GGUF — это набор GGUF-квантизованных версий языковой модели EVA-Yi-1.5-9B-32K-V1, разработанной EVA-UNIT-01 и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, в том числе в LM Studio. В README указана поддержка контекста до 32K токенов; сведения о языках и мультимодальности отсутствуют, поэтому модель следует рассматривать как текстовую. В набор входят варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций размером примерно от 3,6 до 17,7 ГБ. Квантизации выполнены с использованием imatrix на базе llama.cpp, что позволяет выбирать между качеством ответов, требованиями к памяти и скоростью инференса. В README наиболее качественными и рекомендуемыми названы варианты Q5–Q6, а Q4 — как компромисс для ограниченных ресурсов; низкобитные варианты экономичнее, но могут заметно терять в качестве. Для некоторых Q4-вариантов предусмотрена оптимизация под ARM с требованиями к аппаратным расширениям. Используется лицензия Apache-2.0.

EXAONE-3.5-7.8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели EXAONE-3.5-7.8B-Instruct, разработанной LGAI-EXAONE. Сборку в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия; заявлены английский и корейский языки. Она может использоваться локально через совместимые инструменты, включая LM Studio и llama.cpp. Модель имеет около 7,8 млрд параметров. Доступны варианты с точностью от F32 и F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5 и Q6; версии Q3 подходят для систем с ограниченной памятью, а отдельные варианты оптимизированы для ARM или AVX-инференса. Преимущество этой версии — возможность запуска локально и гибкий выбор степени квантования при сохранении хорошего качества генерации. Ограничения связаны с потерей качества при более сильном квантовании, аппаратными требованиями отдельных вариантов и отсутствием в предоставленных данных сведений о размере контекста, архитектурных деталях и поддержке модальностей помимо текста. Лицензия указана как EXAONE, тип — other; перед использованием необходимо ознакомиться с условиями лицензии.

Experiment26Yamshadow_NeuralsirkrishnaExperiment28 — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaExperiment28-7B. Она предназначена для генерации текста и принимает текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Репозиторий использует лицензию Apache-2.0.

Falcon3-10B-Instruct-abliterated-GGUF — это квантизированная версия инструкционной языковой модели Falcon3-10B-Instruct-abliterated, опубликованная в формате GGUF пользователем bartowski. Базовая модель разработана huihui-ai и относится к семейству Falcon3. Квантизация выполнена с помощью llama.cpp, версии b4381, с использованием метода imatrix и специализированного набора данных. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, совместимых с llama.cpp и форматом GGUF. Поддерживаются английский, французский, испанский и португальский языки. Архитектура, размер контекста, точные параметры исходной модели и поддержка модальностей, кроме текста, в README не указаны; по назначению это текстовая модель без заявленной обработки изображений или других типов данных. Для общения используется шаблон с ролями system, user и assistant. Доступны варианты от F16 размером 20,62 ГБ до компактных IQ3_M и Q3-разрядных сборок. Версии Q4–Q6 заявлены как обеспечивающие хорошее или очень высокое качество при меньшем потреблении памяти, а Q3-варианты рассчитаны на системы с ограниченным объёмом RAM, но имеют более низкое качество. Ограничения качества зависят от выбранного уровня квантизации, при этом конкретные результаты тестирования не приведены. Модель распространяется по лицензии Falcon LLM License; условия доступны по ссылке, указанной в карточке.

MLX-версия языковой модели GLM-4.7, разработанной организацией zai.org и конвертированной сообществом mlx-community из исходной модели zai-org/GLM-4.7 с помощью mlx-lm 0.30.0. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе через библиотеку mlx-lm на совместимом оборудовании Apple. Типичные сценарии включают диалоговое взаимодействие и другие задачи текстовой генерации. Модель использует 6-битное квантование и формат MLX. В карточке указаны поддерживаемые языки English и Chinese, модальность — текстовая. Архитектура, количество параметров и размер контекста в README не уточняются. К сильным сторонам относятся адаптация для MLX и снижение требований к памяти благодаря 6-битному представлению; ограничения — отсутствие подробных данных о качестве, производительности, точном аппаратном охвате и возможностях исходной GLM-4.7. Модель распространяется по лицензии MIT.

GLM-5.2-DQ4plus-q8 — это конвертированная в формат MLX и смешанно квантованная версия языковой модели GLM-5.2, разработанной Z.ai (zai-org) и опубликованной сообществом mlx-community. Модель предназначена для генерации текста и локального запуска на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; для использования рекомендуется библиотека mlx-lm. Ключевая особенность — смешанная квантизация: большинство тензоров сохраняется в 8-битном формате, тензоры up и gate экспертных слоёв квантуются до 4 бит, а down-тензоры — до 5 и 6 бит в зависимости от блока. Такой подход призван сохранить качество при меньшем потреблении памяти и оставить место для контекстного окна. В README не указаны точный размер модели, архитектура GLM-5.2, поддерживаемые языки, модальности и длина контекста; заявленные характеристики применимы прежде всего к MLX-окружению Apple Silicon. Модель ориентирована на пользователей, которым нужен локальный запуск крупной языковой модели на совместимом Mac. Её сильная сторона — компромисс между качеством и требованиями к памяти благодаря преимущественно 8-битным весам и более экономной квантизации экспертных тензоров. Ограничения связаны с привязкой к MLX и оборудованию Apple Silicon, а также с возможными потерями качества из-за квантизации. Модель распространяется по лицензии MIT.

Это набор GGUF-квантизированных файлов модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, разработанный Gradient AI и квантизированный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, требующих работы с инструкциями, включая локальный или совместимый с GGUF инференс. README не указывает поддерживаемые языки, дополнительные модальности или конкретные прикладные сценарии. В основе лежит Llama 3 с заявленным размером 8B параметров и контекстом 1048k; архитектурные подробности в README не приведены. Доступны варианты квантизации Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0, размером примерно от 3,0 до 8,1 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством, однако результаты конкретных вариантов в README не сравниваются. К сильным сторонам относятся большой заявленный контекст и широкий выбор форматов квантизации. Ограничения — отсутствие в предоставленных данных сведений о качестве, бенчмарках, системных требованиях, поддерживаемых языках и точной архитектуре. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации базовой модели gradientai/Llama-3-8B-Instruct-Gradient-1048k и соответствующего репозитория.

Hermes-2-Theta-Llama-3-8B-IMat-GGUF — это квантованная версия языковой модели NousResearch/Hermes-2-Theta-Llama-3-8B, подготовленная пользователем legraphista с помощью llama.cpp. Модель основана на Llama 3 и дообучена на наборе teknium/OpenHermes-2.5. Она предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q2_K и IQ3 до Q8_0, а также в форматах FP16 и BF16. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. В README указан английский язык, однако сведения о длине контекста и мультимодальности отсутствуют; по представленным данным модель является текстовой. Основные преимущества — широкий выбор размеров файлов, возможность локального использования и наличие низкобитных вариантов, снижающих требования к памяти. Качество зависит от выбранного уровня квантования: более компактные варианты экономичнее, но могут сильнее уступать исходной модели. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Llama-70B-abliterated, разработанной huihui-ai и подготовленной к публикации пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В основе лежит модель с архитектурой Llama и размером 70B параметров; в README также указано, что она относится к вариантам abliterated и uncensored. Доступны многочисленные уровни квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS и варианты Q3. Размер файлов составляет примерно от 30,91 до 74,98 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp версии b4585. Формат запроса использует специальные токены DeepSeek. Сильной стороной являются варианты с высокой точностью, особенно Q6_K и Q5_K_M, а Q4_K_M предлагает более экономичный компромисс между качеством и размером. Версии с меньшей битностью позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. README не содержит сведений о поддерживаемых языках, размере контекста, фактической производительности и точных аппаратных требованиях. Лицензия в предоставленных данных не указана.

DevQuasar/huihui-ai.Huihui-Qwen3.5-27B-abliterated-GGUF — это квантованная версия модели Huihui-Qwen3.5-27B-abliterated, разработанной huihui-ai и опубликованной в формате GGUF сообществом DevQuasar. Модель относится к классу text-generation и предназначена для генерации текста и работы в сценариях локального запуска совместимых LLM-инструментов. Из доступных данных известно, что модель основана на варианте Qwen3.5 с размером 27B параметров и представляет собой abliterated-версию. Ключевые сведения об используемой архитектуре, конкретном типе квантования, поддерживаемых языках, размере контекстного окна, качестве, ограничениях и лицензии в README не указаны. Условия использования следует уточнять по лицензии исходной модели и опубликованным материалам репозитория.

kellemar-DPO-Orca-Distilled-7B-SLERP — текстовая авторегрессионная модель, разработанная decruz и дообученная на базе mlabonne/Marcoro14-7B-slerp с использованием набора argilla/distilabel-intel-orca-dpo-pairs. Она предназначена для базового инференса и общих языковых задач, включая генерацию ответов, рассуждения и работу в диалоговых приложениях. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты бенчмарков OpenLLM и Nous на январь 2024 года; они характеризуют оценку автора и могут зависеть от методики тестирования. Для модели указана лицензия CC BY-NC 4.0, поэтому её использование ограничено некоммерческими условиями этой лицензии.

Kepler-8B-Instruct-v2 — разговорная языковая модель intellectlabs, представленная в репозитории в формате GGUF для запуска через llama.cpp и совместимые приложения. Согласно карточке, исходная модель получена слиянием Qwen/Qwen2.5-7B-Instruct (85%) и DeepSeek-R1-Distill-Qwen-7B (15%); доступны варианты квантования от Q2_K до F16. Модель содержит около 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для диалога и следования инструкциям: её можно применять для ответов на вопросы, объяснений и других текстовых задач в чат-интерфейсах, включая LM Studio, Ollama и llama.cpp. Карточка заявляет поддержку ChatML и ответы на разных языках, а метаданные указывают английский. Лицензия — Apache 2.0. Это слияние моделей, а опубликованные GGUF-файлы включают квантованные варианты. README сообщает, что модель не оценивалась на стандартных бенчмарках; сжатие до низкой разрядности снижает качество и повышает нестабильность ответов. Как и другие языковые модели, она может выдавать неточные сведения и унаследовать особенности или смещения исходных моделей.

Lamarck-14B-v0.3 — языковая модель на архитектуре Qwen2, созданная sometimesanotion как многоэтапное слияние нескольких моделей через model_stock, DELLA, SLERP и TIES. При слиянии авторы сочетали модели, ориентированные на рассуждения и качество прозы, с акцентом на Virtuoso-Small в начальных и финальных слоях; также использованы модели Qwen2.5-14B-Wernicke и SeQwence-14B-EvolMerge. Модель предназначена для диалогов, следования инструкциям, генерации связного текста и задач, требующих рассуждений; в метаданных также заявлен интерфейс вызова инструментов. Размер модели — 14 млрд параметров, контекст — до 131 072 токенов. Карточка приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Поддерживается английский язык. Лицензия — Apache-2.0.

mlx-community/LFM2.5-8B-A1B-MLX-4bit — 4-битная MLX-версия языковой модели LiquidAI LFM2.5-8B-A1B, конвертированная сообществом mlx-community с использованием mlx-lm 0.31.1. Модель предназначена для генерации текста и запуска в экосистеме MLX, в том числе для локального инференса через mlx-lm. Это авторегрессионная модель с архитектурой lfm2_moe: гибрид из 18 блоков double-gated short-conv и 6 блоков внимания GQA, с разреженным MoE на 32 эксперта и активацией 4 экспертов на токен. Она содержит около 8,3 млрд параметров, из которых активно используется около 1,5 млрд, и поддерживает контекст до 128 тысяч токенов. Заявлены языки: английский, арабский, китайский, французский, немецкий, японский, корейский, португальский и испанский. README не содержит сведений о мультимодальных возможностях или результатах бенчмарков. К сильным сторонам относятся разреженная MoE-архитектура, большой контекст и 4-битное представление, потенциально снижающее требования к памяти при запуске в MLX. Ограничения включают зависимость от экосистемы MLX и отсутствие в README подробностей о качестве на конкретных задачах. Модель является производной от LiquidAI LFM2.5-8B-A1B и распространяется по лицензии LFM Open License v1.0 (lfm1.0); применяются условия коммерческого использования этой лицензии.

Ling-3.0-flash-GGUF — это GGUF-квантизированная версия языковой модели Ling-3.0-flash, разработанной inclusionAI и подготовленной для распространения bartowski. Модель предназначена для генерации текста и запуска через llama.cpp; поддерживает спекулятивное декодирование MTP и входные данные в текстовой модальности. Модель содержит 127 млрд параметров. Доступны варианты от BF16 и Q8_0 до компактных квантов Q2 и IQ2; размер файлов составляет примерно от 43,64 до 255,09 ГБ. Для большинства сценариев README рекомендует Q4_K_M как компромисс между качеством и размером, а Q5 и Q6 — когда важнее качество. Квантизация выполнена с использованием imatrix, однако измерения perplexity и KLD не предоставлены. Архитектура, поддерживаемые языки и размер контекстного окна в представленных данных не указаны. Сильными сторонами являются большой объём параметров, широкий выбор уровней квантизации и совместимость с экосистемой llama.cpp. Ограничениями выступают значительные требования к дисковому пространству и ресурсам, особенно для высококачественных вариантов; низкобитные кванты экономят память, но могут заметно снижать качество. Лицензия — MIT.

MaziyarPanahi/Llama-3-11B-Instruct-v0.1-GGUF — набор квантованных файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе MaziyarPanahi/Llama-3-11B-Instruct-v0.1. Модель предназначена для генерации текста и использования в диалоговых сценариях, включая запуск через совместимые инструменты, такие как llama.cpp. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством работы. Модель относится к семейству Llama 3 и требует использования соответствующего шаблона промпта с управляющими токенами Llama 3. В README не указаны поддерживаемые языки, размер контекста, точная архитектура базовой модели, результаты оценки, лицензия и ограничения использования.

vhab10/Llama-3.1-8B-Base-Instruct-SLERP — языковая модель, созданная с помощью mergekit объединением Meta Llama 3.1 8B Base и Meta Llama 3.1 8B Instruct методом SLERP. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и ответов на инструкции. Репозиторий содержит веса в формате Safetensors; заявленная длина контекста — 131 072 токена. Модель можно использовать для генерации продолжений текста, диалоговых ответов, следования инструкциям и иных текстовых задач общего назначения. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; они дают ориентир по оценке, но не гарантируют качество в конкретном применении. Лицензия репозитория — MIT. Модель унаследовала основу от моделей Meta Llama 3.1; перед использованием следует учитывать условия лицензии базовых моделей Meta.

bartowski/Llama-3.1-8B-Open-SFT-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-8B-Open-SFT, разработанной prithivMLmods и дообученной на датасете O1-OPEN/OpenO1-SFT. Квантизации созданы bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, ответов на вопросы, решения математических задач и сценариев, связанных с Chain-of-Thought. Указана поддержка английского языка. Модель содержит 8 млрд параметров и работает в текстовой модальности. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций размером примерно от 3,66 до 16,07 ГБ, что позволяет выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Для локального запуска рекомендуется использовать LM Studio; также заявлена совместимость с text-generation-inference и Ollama. Формат промптов основан на шаблоне Llama 3.1. Размер контекста в README не указан. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и специализация на вопросно-ответных и математических задачах. Более компактные варианты экономят память, но обеспечивают более низкое качество; наиболее качественными названы F16, Q8_0 и варианты Q5–Q6. Модель распространяется по лицензии creativeml-openrail-m.

Dampfinchen/Llama-3.1-8B-Ultra-Instruct — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная автором репозитория с помощью mergekit и метода DARE TIES. В основе объединения лежит NousResearch/Meta-Llama-3.1-8B; также использованы Llama-3.1-Storm-8B, llama3.1-airoboros3.2-QDT-8B, llama3.1-gutenberg-8B и Llama-3.1-8B-Stheno-v3.4. Модель предназначена для диалоговой генерации текста и выполнения инструкций с шаблоном Llama 3 Instruct. Она содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты оценки, включая 80,81 балла на IFEval (0-shot), однако подробные выводы о качестве для отдельных сценариев из этих данных сделать нельзя. Модель распространяется по лицензии Llama 3.1. Автор рекомендует использовать её с осторожностью; применяются условия и ограничения лицензии исходного семейства.

unsloth/Llama-3.2-1B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционной модели Meta Llama 3.2 1B Instruct, подготовленная Unsloth и совместимая с Transformers. Базовая модель разработана Meta; вариант предназначен для генерации текста и диалоговых сценариев, включая мультиязычные чаты, извлечение данных агентами и суммаризацию. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA). Она относится к семейству моделей размером 1B параметров, работает в режиме текст на входе — текст на выходе и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия дополнительно обучалась с помощью SFT и RLHF для повышения полезности и безопасности. Размер контекста в README не указан. Ключевое преимущество варианта — динамическое 4-битное квантование Unsloth, при котором отдельные параметры сохраняются без квантования для улучшения точности по сравнению со стандартным 4-битным форматом и снижения требований к памяти. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными моделями, а также отсутствие данных о контекстном окне и подробных результатах оценки именно этой квантованной версии. Использование регулируется Llama 3.2 Community License и Acceptable Use Policy; точные условия следует проверять в лицензии Meta.

Shining Valiant 2 — разговорная языковая модель Valiant Labs, дообученная на основе Meta-Llama-3-70B-Instruct. Это плотная архитектура Llama 3 с 69,5 млрд параметров, предназначенная для генерации текста, диалогов и выполнения инструкций; модель использует формат запросов Llama 3 Instruct и поддерживает контекст до 8192 токенов. По описанию разработчика, дополнительное обучение на собственных данных ориентировано на науку, инженерию, технические знания и структурированные рассуждения, а стиль ответов — дружелюбный и увлечённый. Модель рассчитана на общие диалоговые и аналитические сценарии, включая объяснение технических тем и помощь с задачами вроде написания сопроводительного письма. Указана лицензия Llama 3. В README разработчик помечает эту версию как устаревшую и рекомендует Shining Valiant 2 для Llama 3.1 70B; также сообщается о возможной проблеме с чтением завершающих токенов в text-generation-webui, которая может приводить к незавершённым ответам или нарушению структуры.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.