II.2Создание и понимание программного кода

mergekit-community/mergekit-slerp-mkzyzjw — языковая модель для генерации текста и диалогового общения. Репозиторий создан с помощью mergekit методом SLERP на основе cognitivecomputations/dolphin-2.9-llama3-8b-256k; конфигурация использует 16-битные веса. Модель построена на архитектуре Llama и содержит около 7,5 млрд параметров. Модель принимает текст и генерирует текстовые ответы в формате диалога. В метаданных указано контекстное окно до 524 288 токенов. Карточка описывает слияние слоёв одной и той же базовой модели; отдельные специализированные сценарии применения не заявлены. Лицензия в предоставленных данных не указана.

MFANN-llama3.1-abliterated-v2 — диалоговая языковая модель, созданная слиянием методом SLERP моделей netcat420/MFANNv0.19 и mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated с помощью mergekit. Это плотная архитектура Llama с 7,5 млрд параметров; модель рассчитана на генерацию текста и ответы в чате, поддерживает контекст до 131 072 токенов. Базовая модель Llama 3.1 Instruct описана как модель с ослабленными ограничениями на ответы. Модель можно применять для ведения диалогов и генерации ответов на текстовые запросы. Данных о целевых языках и специализированных предметных областях в предоставленной карточке нет. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели mondk/MiniCPM5-2B-Abliterated-Uncensored-Safetensors на Hugging Face совпадает с карточкой 0xSojalSec/MiniCPM5-2B-Abliterated-Uncensored-Safetensors, поэтому описание составлено по ней. Это некорректированная версия MiniCPM5-2B, созданная 0xSojalSec методом abliteration на основе openbmb/MiniCPM5-2B. Модель предназначена для генерации текста и диалоговых сценариев; карточка также указывает поддержку вызова инструментов и применение на локальных и периферийных устройствах. Архитектура — плотная LlamaForCausalLM, размер — 2,2 млрд параметров, формат весов — Safetensors, длина контекста — до 131 072 токенов. В карточке отмечены английский и китайский языки. Abliteration меняет поведение модели в отношении отказов, но карточка не приводит оценок качества или подробностей метода. Лицензия — Apache 2.0.

AMD разработала эту квантованную версию Mixtral-8x7B-Instruct-v0.1 компании Mistral AI для эффективного вывода на CPU AMD EPYC. Модель предназначена для генерации текста и обработки инструкций в сценариях, где требуется запуск Mixtral на совместимой Linux-инфраструктуре с использованием vLLM и оптимизаций ZenDNN. Архитектура модели — MixtralForCausalLM; она принимает текст и генерирует текст. Применена динамическая 8-битная квантизация весов и активаций W8A8: веса представлены симметричными целыми INT8, активации квантуются динамически. В README не указаны размер контекста и полный список поддерживаемых языков; заявлен английский язык. Совместимый стек включает ZenDNN 6.1.0, ZenTorch 2.11.0.3, PyTorch 2.11.0 и vLLM 0.25.1. Сильная сторона модели — оптимизация для CPU-инференса на AMD EPYC и потенциальное снижение требований к памяти благодаря INT8-квантизации. Результаты сравнительной оценки с базовой BF16-моделью пока отсутствуют. Модель имеет жёсткую зависимость от указанных версий программного стека и не предназначена для GPU-инференса. Лицензия указана как Apache-2.0; модель распространяется на тех же условиях, что и исходная модель.

MN-12B-Celeste-V1.9-GGUF — это набор GGUF-квантизированных версий текстовой генеративной модели MN-12B-Celeste-V1.9, разработанной nothingiisreal и преобразованной в GGUF компанией или автором bartowski. Квантизация выполнена с помощью llama.cpp версии b3634 и метода imatrix. Модель предназначена для локального запуска и генерации текста, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Модель имеет размер 12B параметров и работает с текстом на английском языке. В README указан формат инструкций с ролями system, user и assistant на основе специальных токенов im_start и im_end. Доступны варианты от F32 и F16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ; размеры файлов составляют примерно от 5,45 до 49 ГБ. Более качественные варианты Q6 и Q5 рекомендуются для максимального сохранения возможностей, а облегчённые варианты подходят для систем с ограниченной оперативной памятью. Некоторые сборки оптимизированы для ARM и CPU. Сильными сторонами являются широкий выбор размеров, возможность локального запуска и использование imatrix-квантизации, призванной сохранить качество при уменьшении объёма модели. Ограничения включают зависимость характеристик от выбранного уровня квантизации, отсутствие в README данных об архитектуре, размере контекста, производительности, мультимодальности и поддерживаемых языках помимо указанного английского. Лицензия модели указана как Apache-2.0.

Clevyby/Mythomax-L2-13b-Q4_K_M-GGUF — это квантизированная версия модели MythoMax-L2-13b, разработанной Gryphe. Репозиторий содержит вариант в формате GGUF с уровнем квантования Q4_K_M; квантизацию выполнил mradermacher. Модель предназначена для запуска с использованием совместимых инструментов, включая Text Generation WebUI и llamacpp_hf. Модель относится к классу больших языковых моделей размером 13 млрд параметров и ориентирована на работу с текстом на английском языке. В README не указаны сведения о точной архитектуре, размере контекста, поддерживаемых модальностях, результатах тестирования, сильных сторонах и ограничениях. Формат Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но может снижать точность по сравнению с исходной моделью. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

YeonwooSung выпустил Neos-Phi-3-14B-v0.1 — дообученную методом ORPO диалоговую языковую модель на базе microsoft/Phi-3-medium-4k-instruct. Модель с плотной архитектурой Phi-3 содержит 13,8 млрд параметров и предназначена для генерации текста в диалоговом формате; в карточке также приведены результаты оценок IFEval и BBH. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Для дообучения использован набор mlabonne/orpo-dpo-mix-40k. Репозиторий содержит веса Safetensors; лицензия — Apache 2.0.

NeuralsirkrishnaShadow_Experiment24Yam — объединённая языковая модель MaziyarPanahi на базе двух моделей: automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment24Yam-7B. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и предназначена для генерации текста. Модель принимает текст и выдаёт текст; контекст поддерживает до 32 768 токенов. Веса доступны в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

NousHermes-Mixtral-8x7B-Reddit-mlx — языковая модель, опубликованная mlx-community и подготовленная для запуска с MLX. Это конверсия модели mlx-community/Nous-Hermes-2-Mixtral-8x7B-DPO-4bit; в метаданных указана базовая модель mistralai/Mixtral-8x7B-v0.1. Модель предназначена для генерации текста, диалогов и выполнения инструкций. В основе лежит архитектура Mixtral с разреженной смесью экспертов (MoE); класс модели — MixtralForCausalLM. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель поддерживает английский язык, форматы файлов включают safetensors, а лицензия — Apache-2.0. README сообщает о конверсии из 4-битной MLX-модели и указывает на исходную карточку Nous-Hermes-2-Mixtral-8x7B-DPO-4bit за подробностями. Поэтому особенности обучающих данных и точные сильные стороны этой версии по имеющейся карточке оценить нельзя.

Это квантованные версии текстовой генеративной модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA и подготовленные пользователем bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая запуск через LM Studio, llama.cpp и совместимые проекты. Модель содержит около 4 миллиардов параметров, работает с текстом и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов варьируется примерно от 2,54 до 9,03 ГБ. Архитектура и максимальная длина контекста в карточке не указаны. Сильной стороной является возможность локального запуска на широком спектре оборудования благодаря большому выбору квантованных версий; для большинства сценариев рекомендуется Q4_K_M, а варианты Q5 и Q6 обеспечивают более высокое качество. Более сильное квантование уменьшает требования к памяти, но может снижать качество генерации. Модель распространяется по NVIDIA Open Model License; исходная модель указана как NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1.

Ornith-1.5-35B-A3B-GPTQ-Int4-sym-G128-MTP-BF16-MixedCal-v2 — неофициальная локальная GPTQ-квантизация модели ornith-ai/Ornith-1.5-35B-A3B, подготовленная SergiioB для запуска на Intel Arc Pro B70 с использованием vLLM XPU. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; доступен также режим только языковой модели. Поддерживаемые языки в README не указаны. Это MoE-модель с квантизацией GPTQ симметричного INT4 по группам 128. Квантизированы проекции маршрутизируемых экспертов, тогда как attention, маршрутизатор, shared experts, embeddings, lm_head, MTP-компоненты и vision tower сохранены в BF16. Артефакт содержит один MTP-слой для speculative decoding. В примерах конфигурации указан контекст 16 384 токена, а для мультимодального режима проверен лимит 131 072 токена; более длинные режимы требуют дополнительной настройки памяти. Сильные стороны модели — существенное уменьшение размера до примерно 24,45 ГБ, совместимость с Intel Arc Pro B70 и поддержка MTP1, которая в приведённых измерениях повышала скорость генерации по сравнению с режимом без speculative decoding. Ограничения включают зависимость от конкретного стека vLLM XPU, аппаратных и конфигурационных параметров, необходимость оставлять vision tower и MTP в BF16, а также отсутствие независимого воспроизведения измерений и заявленных task-suite оценок качества. MTP4 в приведённом тесте оказался медленнее режима без speculative decoding. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-9B-ROCmFPX-AGENT-GGUF — квантизированный вариант мультимодальной модели Ornith-1.5-9B от ornith-ai, опубликованный в формате GGUF. Модель предназначена для генерации текста по текстовым и визуальным входам, включая сценарии агентного использования и вызова инструментов. В комплект входит vision projector для обработки изображений. Модель использует архитектуру Qwen3_5ForConditionalGeneration (qwen35) с 32 слоями и размером скрытого представления 4096; стек гибридный и включает 24 gated-deltanet- и 8 полно-внимательных слоёв. Объём словаря составляет 248 320 токенов, модель не является MoE. Доступны варианты Q6_0 и Q8_0 ROCmFPX; версия AGENT Q8_0 использует повышенную точность для отдельных компонентов, чтобы улучшить качество вызова инструментов. В README приведены результаты работы с контекстом 4096 токенов и скорость около 22 токенов в секунду на AMD Ryzen AI MAX+ 395 с 128 ГБ объединённой памяти и ROCm 7.13.0. Поддерживаемые языки явно не указаны. Основное преимущество — адаптация под AMD Strix Halo (gfx1151) и сохранение компонентов повышенной точности для агентных сценариев. Модель требует специальной сборки llama.cpp с поддержкой ROCmFPX и не загружается в стандартных llama.cpp, Ollama или LM Studio. Спекулятивное декодирование недоступно, а заявленное преимущество AGENT-режима не продемонстрировано без draft-модели. Лицензия — Apache-2.0.

Phiter — слитая модель семейства Phi-2, опубликованная пользователем Venkman42. Она объединяет rhysjones/phi-2-orange и cognitivecomputations/dolphin-2_6-phi-2 с помощью LazyMergekit и предназначена для генерации текста и диалогов в формате ChatML. Модель построена на архитектуре PhiForCausalLM; родная длина контекста — 2048 токенов. В карточке автор сообщает, что на 27 февраля 2024 года модель лидировала среди дообученных вариантов Phi-2 на рейтинге YALL. Это заявление относится к указанной дате и не гарантирует текущего превосходства или качества на других задачах. Репозиторий содержит веса в формате safetensors; README также ссылается на вариант GGUF. Лицензия — MIT.

ChaoticNeutrals/Poppy_Porpoise-v0.4-L3-8B — объединённая разговорная модель семейства Llama, распространяемая в формате Safetensors. По метаданным, в её основе объединение cognitivecomputations/dolphin-2.9-llama3-8b и Nitral-AI/Poppy_Porpoise-v0.3-L3-8B; размер составляет 7,5 млрд параметров, контекст — до 8192 токенов. Модель предназначена для диалоговой генерации текста. README сообщает о восстановленных возможностях обработки изображений: для работы с ними требуется загрузить файл mmproj из репозитория и использовать актуальную версию Koboldcpp. Метаданные при этом указывают text-generation и возможность чата, поэтому поддержку изображений следует считать заявленной в README, но не отражённой в pipeline-теге. Лицензия указана как other, без конкретизации условий в предоставленных данных.

mlx-community/quantized-gemma-2b — конверсия Gemma 2B от Google в формат MLX, подготовленная сообществом mlx-community для запуска на устройствах Apple с помощью mlx-lm. Это плотная авторегрессионная языковая модель с 2,5 млрд параметров и контекстом до 8192 токенов; она генерирует текст по текстовому запросу и подходит для диалогов и других задач генерации текста. Модель создана на основе google/gemma-2b. Репозиторий содержит веса в формате safetensors; в README указана конверсия в MLX. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой исходной Gemma и лицензией репозитория.

Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview — объединённая методом TIES языковая модель, созданная разработчиком Xiaojian9992024 с помощью mergekit на основе нескольких моделей семейства Qwen2.5. В состав слияния вошли gz987/qwen2.5-7b-cabs-v0.3, rombodawg/Rombos-LLM-V2.5-Qwen-7b, suayptalha/Clarus-7B-v0.1, prithivMLmods/WebMind-7B-v0.1, fblgit/cybertron-v4-qw7B-MGS и Xiaojian9992024/Qwen2.5-THREADRIPPER-Small. Модель с архитектурой Qwen2 имеет 7,1 млрд параметров и контекст длиной 32 768 токенов. Она предназначена для генерации текста и диалогового общения; для запуска доступны веса safetensors и библиотека Transformers. В карточке приведены результаты оценивания, включая 76,40% на IFEval и 36,62% на BBH. Лицензия — Apache-2.0. Карточка не уточняет целевые языки и ограничения качества; результаты тестов не гарантируют качество на конкретных пользовательских задачах.

Модель Hutgaecha/Qwen3-0.6B-JSON-SFT-GRPO разработана Hutgaecha как дообученная версия Hutgaecha/Qwen3-0.6B-JSON-SFT. Это компактная плотная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM и примерно 507,9 млн параметров. Она предназначена для генерации текста в диалоговом формате, в том числе для задач, связанных с формированием JSON; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Контекст составляет до 40 960 токенов. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Данных о специализированных ограничениях или гарантируемом качестве JSON в карточке нет.

Ex0bit публикует набор GGUF-квантований семейства мультимодальных моделей Qwen3.5 для запуска через llama.cpp и совместимые приложения. В репозитории представлены варианты размером 0,8B, 2B, 4B и 9B параметров; PRISM-DQ распределяет точность квантования между классами тензоров по анализу весов без калибровочных данных. Для мультимодального запуска доступны проекционные веса mmproj. Модели предназначены для диалоговой генерации текста, а при использовании мультимодальных компонентов — для обработки изображений. В сравнении на UltraChat автор сообщает об улучшении perplexity на 1–6% относительно равномерного Q3_K_M при сопоставимом или меньшем размере; это результат конкретного теста, а не гарантия качества на других задачах. Для работы нужны совместимый рантайм и подходящий файл модели. Лицензия — Apache-2.0.

Qwen3.6-27B-GGUF — это GGUF-квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen. Модель автоматически преобразована с помощью инструментария ggml-org/convert и предназначена для запуска через llama.cpp-совместимые средства, включая llama.app. Согласно карточке, модель относится к классу image-text-to-text и рассчитана на обработку изображений и текста с генерацией текстовых ответов. Её размер — 27 миллиардов параметров; конкретный вариант квантизации, архитектурные детали, поддерживаемые языки и размер контекстного окна в README не указаны. В качестве исходных моделей заявлены Qwen/Qwen3.6-27B и z-lab/Qwen3.6-27B-DFlash. К сильным сторонам относятся поддержка мультимодального сценария и формат GGUF, удобный для локального запуска и интеграции с совместимыми инструментами. Ограничения модели, требования к аппаратному обеспечению, точные характеристики квантизации и результаты тестирования не приведены, поэтому производительность и качество для конкретных задач по этой карточке оценить нельзя. Модель распространяется по лицензии Apache-2.0.

Guilherme34/Reasoning-2.6-fixed — переработанная и улучшенная версия модели KingNish Reasoning. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, рассчитанная на генерацию текста в диалоговом режиме. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель предназначена для генерации ответов и рассуждений в чат-сценариях. Заявленная длина контекста составляет 131072 токена, а размер — 1,2 млрд параметров. README не описывает языковую специализацию, метод улучшения или лицензию, поэтому эти характеристики не уточняются.

Reliability-1.7B-final-brier-ckpt-1500 — контрольная точка модели на базе Qwen3ForCausalLM, опубликованная как веса BF16 в формате safetensors вместе с конфигурацией и токенизатором. По метаданным, это плотная авторегрессионная языковая модель на 1,7 млрд параметров с контекстом до 32 768 токенов и поддержкой диалогового использования и интерфейса вызова инструментов. Модель представляет собой чекпойнт на шаге обучения 1500 из запуска Reliability-1.7B-final/brier_1e-6_rloo. Она предназначена для генерации текста и диалогов. В карточке не описаны специализация на конкретных языках, наборы данных, результаты оценки или ограничения применения, поэтому качество в отдельных сценариях по имеющимся сведениям оценить нельзя. Лицензия в предоставленных данных не указана.

Rivoli_7B_SLERP — объединённая модель генерации текста, собранная louisgrc с помощью LazyMergekit из CultriX/NeuralTrix-bf16 и AurelPx/Percival_01-7b-slerp. Это плотная причинно-языковая модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате Safetensors и типе bfloat16. Слияние выполнено методом SLERP с настройками, различающимися для слоёв внимания и MLP. Модель предназначена для генерации текста по запросу и может использоваться в сценариях, где требуется продолжение или составление текста с учётом длинного контекста. README не приводит результатов оценки качества или подробностей о специальных навыках модели. Лицензия в предоставленных сведениях не указана.

claytonwang/rlcr-qwen3-8b — языковая модель с авторегрессионной архитектурой Qwen3, опубликованная в формате BF16 и хранящаяся в шардированных файлах Safetensors. Она подходит для генерации текста и диалогового использования. Модель содержит около 7,6 млрд параметров; заявленный поддерживаемый контекст — до 40 960 токенов. Для работы с весами требуется около 16 ГБ памяти только под параметры, а также дополнительная память для состояния инференса и KV-кэша. В README не приведены сведения об авторе, базовом чекпойнте, обучении, датасетах и оценках, поэтому происхождение и качество модели нельзя установить. Лицензия в предоставленных данных не указана.

Модель yuhengtu-bytedance/sfm_filtered_e2e_alignment-8k_9k_10k_11k_12k_simpleavg_merge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. Для слияния применён линейный метод: базовым чекпойнтом служил global_step12040, вместе с ним объединены чекпойнты global_step8000, global_step9000, global_step10000 и global_step11000. Модель построена на плотной архитектуре GPT-NeoX и содержит 8,8 млрд параметров; доступна в формате safetensors и предназначена для генерации текста и диалогового использования. Нативный контекст — 16 384 токена. Карточка не уточняет языки, предметную специализацию или подробные ограничения качества, поэтому область применения следует считать общей. Условия лицензии в предоставленных данных не приведены.

Модель — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Linear. В качестве базовой при слиянии использовалась версия filtered_e2e_insert_hyperstition_v1 на шаге global_step2000; также в объединение вошли версии на шагах global_step0 и global_step1000. Это плотная авторегрессионная модель семейства GPT-NeoX с 8,8 млрд параметров и контекстом до 16 384 токенов. Она предназначена для генерации текста и диалогового применения; репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Карточка не сообщает о специальных областях применения, поддерживаемых языках или лицензии, поэтому эти характеристики не уточняются.

Это объединённая модель генерации текста, опубликованная пользователем yuhengtu-bytedance. Она создана методом Linear merge в mergekit из контрольных точек предварительно обученной языковой модели на шагах обучения 4000, 5000, 6000, 7000 и 8000; контрольная точка шага 8000 использовалась как базовая. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст; заявленная длина контекста — 16 384 токена. Данные не уточняют целевые языки и специализированные области применения, поэтому модель можно описать только как универсальную языковую модель. Файлы весов представлены в формате Safetensors, а для работы указана библиотека Transformers. Лицензия и конкретные ограничения качества в предоставленных данных не описаны; результаты могут зависеть от используемого промпта и сценария применения.

SG-Raccoon-Yi-55B — плотная авторегрессионная языковая модель для генерации текста и диалогов, созданная mlinmg слиянием двух дообученных моделей Yi 34B: dolphin-2_2-yi-34b и OrionStar-Yi-34B-Chat-Llama. Модель содержит 55,1 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст длиной до 4096 токенов. Для диалога в карточке указан формат с ролями Human и Assistant. Модель предназначена для ответов в чате и генерации текста. Автор отмечает, что генерация может быть чрезмерно вариативной при настройках по умолчанию; среди предложенных способов настройки — отключение BOS-токена и использование более низкой температуры с MinP. Иногда модель выводит текстовое представление стоп-токена, поэтому его может потребоваться добавить в условия остановки. Бенчмарки в карточке не приведены. Файлы опубликованы в формате safetensors; лицензия указана как other, без конкретных условий в предоставленных данных.

ShiningValiant 1.2 — языковая модель семейства Llama, разработанная Valiant Labs и представленная в данном репозитории в формате GGUF после квантизации TheBloke. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая сценарии локального запуска через llama.cpp и совместимые пользовательские интерфейсы и библиотеки. Для общения рекомендуется шаблон Llama-2-Chat с системными инструкциями о полезных, безопасных и достоверных ответах. Модель относится к архитектуре Llama и имеет размер 70B согласно метаданным README. Поддерживает текстовую модальность; размер контекста в предоставленных данных не указан. GGUF-файлы доступны с квантизацией от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, а также использовать CPU+GPU-инференс. Формат совместим с llama.cpp и рядом сторонних приложений и библиотек. К сильным сторонам относятся широкий выбор уровней квантизации и возможность локального запуска на различных конфигурациях. Ограничения включают отсутствие сведений о результатах оценки, точности, обучающих данных и поддерживаемых языках помимо английского; квантизация также может снижать качество по сравнению с исходной версией. Лицензия указана как Llama 2.

featherless-ai-quants/SillyTilly-Meta-Llama-3.1-8B-Instruct-GGUF — набор GGUF-квантизаций инструкционной языковой модели SillyTilly/Meta-Llama-3.1-8B-Instruct. Квантизации подготовлены featherless-ai-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск инструкционной Llama-модели в совместимом с GGUF окружении. В репозитории доступны варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. README не указывает архитектуру подробнее, поддерживаемые языки, модальности и размер контекстного окна; по назначению модель относится к текстовой генерации и не заявлена как мультимодальная. Главное преимущество набора — возможность выбрать компромисс между размером файла, требованиями к ресурсам и сохранением качества при локальном или ином GGUF-запуске. Более агрессивные квантизации занимают меньше места, но могут сильнее снижать качество по сравнению с менее сжатыми вариантами. Лицензия в README не указана, поэтому условия использования необходимо уточнять по исходной модели SillyTilly/Meta-Llama-3.1-8B-Instruct и правилам распространения конкретных файлов.

Snorkel AI разработала Snorkel-Mistral-PairRM-DPO — чат-модель на архитектуре Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации ответов по запросу; использует формат промптов Mistral. Модель создана методом итеративного Direct Preference Optimization (DPO): для промптов из подмножества UltraFeedback генерировали варианты ответов, ранжировали их с помощью PairRM и дообучали модель на предпочтительных и отклонённых ответах. Цикл повторили три раза, используя результат каждого этапа как основу следующего. Веса доступны в формате PyTorch; лицензия — Apache-2.0. Карточка позиционирует модель для чата, но не приводит результатов оценки качества и подробного описания языковой поддержки. Указанный в README тестовый inference endpoint предназначен для проб, а не для постоянного производственного использования.