II.2Создание и понимание программного кода

Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-2-7B — плотная языковая модель на архитектуре Mistral, созданная слиянием teknium/OpenHermes-2.5-Mistral-7B и Intel/neural-chat-7b-v3-2 методом TIES. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке указаны веса слияния 0,5 для OpenHermes и 0,3 для neural-chat, а также плотность 0,5 для каждой исходной модели. Модель предназначена для диалогов и генерации текста; автор рекомендует использовать шаблон ChatML. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. README приводит результаты на нескольких бенчмарках, но не описывает ограничения и языковой охват модели.

bunsenfeng/parti_15_full — генеративная языковая модель, опубликованная на Hugging Face в формате Transformers. По метаданным она относится к семейству Qwen2 и предназначена для генерации текста в диалоговых и других сценариях, поддерживаемых задачей text-generation. Модель содержит около 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Её можно применять для ведения диалогов, составления текстов, продолжения фрагментов и интеграции в приложения на базе библиотеки Transformers. README не содержит сведений о разработчике, языках, лицензии, данных обучения, результатах оценки или специальных ограничениях использования. Поэтому перед применением в критически важных сценариях необходимы самостоятельное тестирование, проверка фактической точности и уточнение условий лицензирования.

INTELLECT-3-GGUF — набор квантизированных версий языковой модели INTELLECT-3, разработанной Prime Intellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, задач рассуждения, агентских сценариев и применений, связанных с reinforcement learning и verifiers; запуск возможен через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В репозитории представлены файлы в формате GGUF с уровнями квантизации от Q8_0 до вариантов Q2 и IQ. Размеры файлов составляют примерно от 44,71 до 113,61 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M и Q5_K_S, обеспечивают близкое к исходному качество, тогда как низкие уровни экономят память за счёт качества. README также отмечает архитектурную принадлежность к mixture-of-experts и поддержку английского языка, однако точные размеры модели, параметры контекста и полный набор модальностей не указаны. Модель ориентирована на локальный запуск и предлагает выбор между качеством, требованиями к памяти и скоростью инференса. Ограничениями являются значительный объём файлов даже для компактных вариантов и потенциальное снижение качества при использовании низких уровней квантизации. Распространение выполняется по лицензии MIT; базовая модель указана как PrimeIntellect/INTELLECT-3.

quantum-v0.01-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста, созданная слиянием Mistral-7B-Instruct-v0.1 от Mistral AI и quantumaikr/quantum-v0.01. Для объединения применён метод SLERP; веса представлены в формате safetensors. Модель предназначена для ответов на инструкции и диалоговые запросы. Она построена на плотной архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В карточке указан английский язык, лицензия — Apache-2.0. Карточка не приводит отдельных результатов оценки качества или более подробных ограничений; возможности модели могут зависеть от запроса и используемого программного окружения.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-ORPO-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen2.5-3B-Instruct-bf16 — преобразованная в формат MLX модель семейства Qwen2.5, опубликованная mlx-community на основе Qwen/Qwen2.5-3B-Instruct. Это плотная авторегрессионная языковая модель на 3,1 млрд параметров для диалоговой генерации текста; карточка указывает интерфейс чата и вызова инструментов. Модель принимает текст и генерирует текст, а заявленная длина контекста составляет 32 768 токенов. Модель предназначена для диалоговых приложений и генерации ответов, а также для сценариев, где требуется интерфейс вызова инструментов. В README указана конвертация с помощью mlx-lm 0.18.1; метаданные описывают связь с Qwen/Qwen2.5-3B как дообучение, а карточка уточняет, что исходником преобразования была Qwen/Qwen2.5-3B-Instruct. Репозиторий содержит веса safetensors и ориентирован на MLX. В карточке указан английский язык; лицензия обозначена как other, поэтому конкретные условия следует сверять с лицензией исходной модели и файлами репозитория. Это компактная модель по сравнению с крупными языковыми моделями, однако качество ответов и вызова инструментов зависит от запроса и реализации приложения.

ehristoforu/qwen2.5-7b-upscaled — языковая модель для генерации текста и диалогов, созданная слиянием весов через mergekit методом passthrough на основе Qwen/Qwen2.5-7B-Instruct. Она предназначена для общения, генерации текста и использования интерфейса вызова инструментов. Модель построена на плотной архитектуре Qwen2 и содержит 11,3 млрд параметров; максимальный контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README не сообщает оценок качества или конкретных улучшений относительно базовой модели. Лицензия в доступных данных не указана.

Qwen3-4B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях. Квантование выполнено с использованием MLX командой LM Studio на базе инструментов mlx_lm. Модель оптимизирована для работы на устройствах Apple Silicon, что делает её подходящей для локального запуска при ограниченных ресурсах. Известно, что она содержит около 4 миллиардов параметров и использует 4-битное представление, однако сведения о поддерживаемых языках, длине контекста и точной архитектуре в README не указаны. К сильным сторонам относятся компактный размер, сниженные требования к памяти и оптимизация под Apple Silicon. К ограничениям относятся возможное снижение качества по сравнению с полноразмерной или менее агрессивно квантованной версией, а также отсутствие в предоставленных данных подробных характеристик производительности и языкового покрытия. Модель распространяется по лицензии Apache-2.0.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

Это конвертированная версия Qwen3.6-35B-A3B, подготовленная exolabs для запуска через vLLM. Исходные веса взяты из GGUF-файла Q8_0 модели unsloth/Qwen3.6-35B-A3B, деквантованы и сохранены в формате safetensors с точностью BF16. Архитектура — Qwen3.5 MoE; репозиторий содержит около 69,3 ГБ весов в 21 шарде. Модель предназначена для диалоговой генерации текста и сценариев, связанных с Qwen3.6-35B-A3B. Хотя карточка указывает задачу image-text-to-text, визуальные веса здесь отсутствуют: автор рекомендует использовать модель в текстовом режиме с параметром --language-model-only. README сообщает об успешных проверках загрузки и генерации в Transformers и vLLM. Лицензия обозначена как other; условия её использования следует сверить с базовой моделью и лицензией исходного репозитория.

Qwen3.6-35B-A3B-Razor-28B-A3B-E192of256 — производная от Qwen/Qwen3.6-35B-A3B модель с разреженной архитектурой Mixture-of-Experts, созданная с помощью безобучающего метода RAZOR. В каждом MoE-слое сохранены 192 из 256 маршрутизируемых экспертов; общее число параметров сокращено до 27,7 млрд, из них около 3 млрд активны на токен. Параметры сохранённых экспертов взяты из базовой модели, без градиентного дообучения или восстановительного обучения. Модель предназначена для диалоговой генерации текста и вызова инструментов через интерфейс Transformers. RAZOR отбирает экспертов по оценке того, насколько оставшаяся вычислительная смесь может заменить функцию удаляемого эксперта. Сокращается объём хранения экспертов, тогда как вычисления на токен остаются примерно прежними. Для запуска нужна версия Transformers с реализацией qwen3_5_moe; веса представлены в bfloat16. Обрезка экспертов неизбежно теряет часть поведения: ответы могут отличаться разнообразием, форматированием и завершением, даже если точность по задачам в целом сохраняется. Поведение на областях, далёких от конечного калибровочного набора, не охарактеризовано. Лицензия — Apache-2.0.

Qwen3.8-27B Bonsai-MLX 2-bit — это 27-миллиардная плотная языковая модель, подготовленная HermitDave на основе Ternary-Bonsai-2 от Prism ML. Веса представлены в виде 2-битной аффинной квантизации с преобразованием Hadamard, заранее свёрнутым в веса; благодаря этому модель совместима со стандартными mlx-lm и oMLX и не требует пользовательских ядер или специальной версии среды выполнения. Модель предназначена для локальной генерации текста, диалогов и сценариев с вызовом инструментов. В README указана оценка качества около 90–93% от FP16-версии, однако она не подтверждена стандартными тестами; качественная проверка описана как предварительная. Файл модели занимает около 9,4 ГБ. Унаследованные ограничения базовой модели также сохраняются. Лицензия — Apache-2.0.

shawnw3i/Qwen3.8-27B-GPTQ-INT8-MTP — квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем shawnw3i. Модель предназначена для генерации текста и обработки изображений в сценариях, поддерживающих формат image-text-to-text, а также для ускоренного инференса через vLLM. Модель использует квантизацию GPTQ с точностью INT8, поддерживает ядро GPTQ Marlin и MTP speculative decoding с несколькими спекулятивными токенами. Заявлена поддержка визуальных входных данных и контекста до 65 536 токенов при соответствующей настройке. В README указана производительность свыше 80 токенов в секунду на одном A800 80GB при использовании vLLM, MTP и FP8 KV-кэша. Сильными сторонами модели являются сниженное потребление памяти благодаря квантизации, совместимость с оптимизированным инференсом vLLM, поддержка визуальных данных и ускоренное декодирование. Ограничения включают зависимость производительности от оборудования и конфигурации инференса, а также отсутствие в представленном README подробных сведений о поддерживаемых языках, точных характеристиках архитектуры и качестве на отдельных задачах. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-27B-MXFP8-CRACK — квантованная версия базовой модели Qwen/Qwen3.8-27B от Alibaba, подготовленная dealignai. Это плотная гибридная vision-language-модель на 27 млрд параметров с архитектурой из 64 слоёв, объединяющей линейное внимание GatedDeltaNet и gated full-attention. Модель предназначена для работы с текстом, изображениями и видео, поддерживает английский и китайский языки, рассуждения с уровнями xhigh, medium и low, вызов инструментов через XML-схему и нативную Multi-Token Prediction для ускорения генерации. Точный размер контекста в README не указан. Модель собрана в формате JANG 8-bit MXFP8 для MLX и Apple Silicon, занимает около 27 ГБ памяти. Поведение отказа от выполнения запросов удалено методом CRACK на уровне весов, поэтому модель ориентирована на исследовательские сценарии, где требуется следование инструкциям без встроенных отказов, включая потенциально опасные категории. При этом заявлено сохранение рассуждений, мультимодальности, инструментов, знаний и многоязычности. В MMLU модель получила 86,67%, а в HarmBench — 100% соответствия запросам; эти результаты приведены разработчиком и не гарантируют качество или безопасность в других сценариях. Для запуска рекомендуется MLX и библиотека mlx-vlm; в README указаны параметры sampling temperature=1.0, top_p=0.95 и top_k=20. Модель распространяется на базе Apache-2.0; README прямо указывает, что базовая модель принадлежит Alibaba и лицензирована по Apache-2.0. Поскольку защитные отказы удалены, ответственность за применение модели и соблюдение законодательства возлагается на пользователя.

Synatra-7B-v0.3-dpo-Mistral-7B-Instruct-v0.1 — чат-модель генерации текста, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и maywell/Synatra-7B-v0.3-dpo методом slerp. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; для хранения используются веса Safetensors. Указанная длина контекста составляет 32 768 токенов. Модель предназначена для ответов на инструкции и диалоговые запросы в формате чата. Её можно применять для создания диалоговых ассистентов, генерации ответов и черновиков текста. В карточке указана лицензия Apache-2.0. Данные не описывают отдельные ограничения качества или специализированные области применения.

Experiment28M7_Multi_verse_modelExperiment28 — объединённая текстовая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/Multi_verse_modelExperiment28-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и принимает контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Её можно использовать для продолжения текста, составления ответов и ведения беседы в приложениях на базе языковых моделей. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/Experiment28M7_T3qm7xpExperiment26 — объединённая методом SLERP языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/T3qm7xpExperiment26-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

MLX-формат модели GLM-4.7-Flash-6bit, конвертированной сообществом mlx-community из базовой модели zai-org/GLM-4.7-Flash с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия с применением chat template. Из доступных данных известно, что модель поддерживает английский и китайский языки и распространяется по лицензии MIT. Формат 6bit указывает на квантованное представление, однако точные сведения об архитектуре, количестве параметров, размере контекста, модальностях, производительности и ограничениях в README не приведены. Для использования требуется установка mlx-lm; модель рассчитана на окружение MLX.

Hermes-2-Theta-Llama-3-8B-IMat-GGUF — это квантованная версия языковой модели NousResearch/Hermes-2-Theta-Llama-3-8B, подготовленная пользователем legraphista с помощью llama.cpp. Модель основана на Llama 3 и дообучена на наборе teknium/OpenHermes-2.5. Она предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q2_K и IQ3 до Q8_0, а также в форматах FP16 и BF16. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. В README указан английский язык, однако сведения о длине контекста и мультимодальности отсутствуют; по представленным данным модель является текстовой. Основные преимущества — широкий выбор размеров файлов, возможность локального использования и наличие низкобитных вариантов, снижающих требования к памяти. Качество зависит от выбранного уровня квантования: более компактные варианты экономичнее, но могут сильнее уступать исходной модели. Лицензия — Apache-2.0.

jackalope-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и openaccess-ai-collective/jackalope-7b методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров, распространяется в формате Safetensors и рассчитана на генерацию текста и ответы на инструкции в диалоговом режиме. Контекст составляет до 32 768 токенов. Модель подходит для диалоговых приложений, генерации текста и ответов на запросы. В метаданных не указаны специализированные предметные области или поддерживаемые языки, поэтому их нельзя уверенно определить. Модель распространяется по лицензии Apache-2.0.

Carnice-V3-GGUF — это квантизированная GGUF-версия модели Carnice-V3, разработанной kai-os и подготовленной bartowski с использованием llama.cpp. Модель рассчитана на задачи генерации текста, агентские сценарии и взаимодействие с инструментами; в метаданных также указана поддержка image-text-to-text и тегов tool-use и agent. Модель содержит 28 млрд параметров и принимает текст, а также изображения при использовании специального mmproj-файла. Поддерживается английский язык. Доступны speculative decoding через MTP и квантизация с imatrix. Представлено множество вариантов квантизации от BF16 и Q8_0 до более компактных Q2/Q3/Q4/Q5/Q6, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Для большинства сценариев автор рекомендует Q4_K_M как сбалансированный вариант, а Q6_K и Q6_K_L — для более высокого качества. К сильным сторонам относятся большой размер, мультимодальный ввод, поддержка агентских задач и инструментов, а также широкий выбор квантизаций. Ограничениями являются значительный объём файлов, необходимость совместимого ПО на базе llama.cpp и mmproj-файла для обработки изображений; качество также зависит от выбранного уровня квантизации. Модель распространяется по лицензии Apache-2.0.

Lemer — это мультимодальная версия Gemma 4 E2B в формате GGUF, разработанная Lethean и основанная на форке LetheanNetwork/lemer. В модель встроен Lethean Ethical Kernel (LEK): его поведенческие настройки были добавлены через LoRA-файнтюнинг и объединены с весами, поэтому для работы не требуется отдельный PEFT-адаптер. Модель предназначена для диалоговых сценариев, генерации и анализа текста, а также обработки изображений и аудио, включая локальный запуск на устройствах с ограниченными ресурсами. Репозиторий содержит варианты квантования от Q3_K_M до BF16 размером примерно от 3,0 до 8,7 ГБ. Рекомендуемым указан Q4_K_M как компромисс между качеством и размером; Q3_K_M ориентирован на наиболее ограниченные устройства, а BF16 служит полноточной версией. Заявлена поддержка Ollama, llama.cpp, GPT4All, LM Studio и llama-cpp-python. Токенизатор содержит 262 тысячи токенов, однако размер контекстного окна и точный набор поддерживаемых языков в карточке не указаны. Сильными сторонами модели являются единый автономный GGUF-файл, мультимодальность, несколько уровней квантования и ориентация на локальный инференс. Ограничения включают отсутствие в README подробных результатов оценки, точных характеристик архитектуры и контекстного окна, а также потенциальные компромиссы качества при использовании квантованных вариантов. Модель распространяется по лицензии European Union Public Licence 1.2 (EUPL-1.2).

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и viethq188/LeoScorpius-7B-Chat-DPO методом SLERP с помощью Mergekit. Модель семейства Mistral имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Её можно использовать для ответов на вопросы, ведения беседы и создания текстовых черновиков. Поддерживается контекст до 32 768 токенов; файлы представлены в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения, поэтому качество ответов для конкретных сценариев следует проверять отдельно.

Llama 2 70B — разработанная Meta предварительно обученная авторегрессионная языковая модель с оптимизированной архитектурой Transformer. Эта версия содержит 70 млрд параметров и опубликована в формате Hugging Face Transformers с весами PyTorch и safetensors. Модель принимает текст и генерирует текст. Она предназначена для генерации на естественном языке и может служить основой для адаптации под различные задачи; карточка указывает английский язык как целевой. Модель обучена на 2 трлн токенов общедоступных данных с отсечкой сентября 2022 года. Для версии 70B используется Grouped-Query Attention; длина контекста — 4 тыс. токенов. Модель разработала Meta. Это базовая предварительно обученная версия, а не вариант Llama-2-Chat, поэтому её не следует считать готовым диалоговым помощником без дополнительной настройки. Выводы могут быть неточными, предвзятыми или нежелательными; перед внедрением нужны проверки и настройка безопасности для конкретного применения. Использование регулируется лицензией Meta Llama 2; для загрузки весов требуется принять её условия.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.

voidful опубликовал в формате Transformers разговорную языковую модель семейства Llama 3.2 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Метаданные указывают на генерацию текста, чат и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Заявленная длина контекста составляет 131 072 токена. Карточка README называет модель «Patched LLama 3.2 8B from LLaMA 3.2 11B Model» и упоминает изменение весов, но не объясняет метод и результат патчинга. Языки и лицензия в карточке не заполнены. Перед использованием следует учитывать, что README не описывает качество, обучающие данные, ограничения и условия лицензии; оценить их по представленным сведениям нельзя.

MaziyarPanahi/Llama-3-8B-Instruct-v0.1 — дообученная чат-модель на архитектуре Llama 3, разработанная Maziyar Panahi на основе MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2. Она предназначена для генерации текста в диалоге и запускается через библиотеку Transformers; для общения используется шаблон ChatML. Модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. Модель принимает текстовые сообщения и генерирует текстовые ответы. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors; README также ссылается на отдельную GGUF-версию. Лицензия указана как other, поэтому перед использованием следует проверить условия лицензии на странице модели.

M7Yamshadowexperiment28_Experiment28Neuralsirkrishna — объединённая модель семейства Mistral, собранная из automerger/M7Yamshadowexperiment28-7B и automerger/Experiment28Neuralsirkrishna-7B. Она предназначена для генерации текста и диалогов; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель использует формат safetensors и распространяется по лицензии Apache-2.0. Сведения о конкретных языках и специализированных областях применения в доступных источниках отсутствуют.

Meta-Llama-3.1-8B-Instruct-GGUF — это набор квантизированных файлов модели Meta Llama 3.1 8B Instruct в формате GGUF, опубликованный пользователем pek111 на основе модели Meta. Модель предназначена для генерации текста, диалоговых и conversational-сценариев, работы через llama.cpp и совместимые графические интерфейсы и библиотеки. Она использует шаблон чата Llama 3 и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель имеет 8 миллиардов параметров; точная архитектура и размер контекста в README не указаны. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K, Q5_0 и Q6_K с размером файлов примерно от 2,95 до 5,21 ГБ в представленных вариантах. Квантизация позволяет запускать модель локально с меньшими требованиями к памяти, однако более компактные варианты могут заметно терять в качестве; в README рекомендован вариант Q4_K_M как баланс размера и качества. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp и рядом сторонних приложений. Модель подходит для локальных чат-ботов, генерации текста и интеграции через локальные серверы и библиотеки. Ограничения включают компромисс между размером и качеством при квантизации, а также отсутствие в README подробных данных о производительности, безопасности и качестве по языкам. Указана лицензия llama3.1.