II.2Создание и понимание программного кода

ArliAI_QwQ-32B-ArliAI-RpR-v1-GGUF — это квантованные версии текстовой генеративной модели QwQ-32B-ArliAI-RpR-v1, разработанной ArliAI. Файлы в формате GGUF подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 32B по обозначению базовой модели и рассчитана на англоязычные сценарии. В репозитории представлены варианты от BF16 до низкобитных квантований Q3 и Q4, а также более качественные Q5, Q6 и Q8. Это позволяет выбирать между качеством ответов, потреблением памяти и скоростью локального запуска. Для работы используется формат сообщений с ролями system, user и assistant; в шаблоне предусмотрен блок рассуждений <think>. Сильной стороной являются разнообразие вариантов квантования и возможность локального использования на совместимом оборудовании, включая запуск через llama.cpp и LM Studio. Более компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее уступать по качеству полноразмерным версиям. В README не указаны архитектура, размер контекстного окна, мультимодальные возможности, результаты бенчмарков и подробные ограничения модели, поэтому эти характеристики нельзя подтвердить. Лицензия — Apache-2.0.

Athene-70B-GGUF — это набор GGUF-квантизаций языковой чат-модели Athene-70B, разработанной Nexusflow и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и диалоговых сценариев; запуск возможен через llama.cpp и совместимые приложения, включая LM Studio. В README указан английский язык и формат prompt с системными, пользовательскими и ассистентскими сообщениями. Модель содержит около 70 миллиардов параметров и распространяется в вариантах квантизации от Q8_0 до Q2_K и IQ2_XXS. Размер файлов варьируется примерно от 19 до 75 ГБ, поэтому выбор варианта зависит от доступного объёма RAM и VRAM. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; Q6_K, Q5_K_M, Q5_K_S и некоторые варианты Q4 отмечены как рекомендуемые. Для отдельных конфигураций применена квантизация imatrix с калибровочным набором данных. Сильной стороной набора является широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при низких уровнях квантизации, высокие аппаратные требования и отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности и результатах оценивания. Модель распространяется по лицензии CC BY-NC 4.0, что ограничивает коммерческое использование.

ATX-Swift-Qwen3.8-27B-Uncensored-TQ2_0-MTP-GGUF — GGUF-квантование модели d0xin/Swift-Qwen3.8-27B-Uncensored-BF16, опубликованное jakeatx. Используется формат TQ2_0 с троичным квантованием TurboQuant примерно до 2,06 бит на параметр и сохранением точности критических тензоров; размер файла — около 7,61 ГиБ. В модель встроена голова Multi-Token Prediction для спекулятивного декодирования без отдельной черновой модели. Модель предназначена для генерации текста и диалогов, запускаемых через llama.cpp или llamAmpere. В карточке указана конфигурация контекста на 32 768 токенов для примера запуска. Базовая модель семейства Qwen описана каталогом как мультимодальная, однако README этой сборки подтверждает только использование для генерации текста и не уточняет поддержку изображений в данном GGUF-файле. Квантование уменьшает размер модели и поддерживает ускоренное декодирование с MTP, но README не приводит сравнительных оценок качества или скорости. Лицензия указана как other; конкретные условия следует проверять в репозитории модели и у базовой модели.

burningfeet/backup-2026-09-08-Qwen3.8-27B-Unleashed-SSMFIX-GGUF — мультимодальная модель семейства Qwen3.8 с 27 млрд параметров, распространяемая в формате GGUF. Исходную модель Qwen3.8-27B-Unleashed-GGUF разработал outsourc-e, а автор этой версии внёс исправления в масштабирование отдельных тензоров ssm_conv1d.weight. Модель предназначена для генерации текста по текстовым и визуальным входным данным, включая сценарии image-text-to-text, а также может использовать speculative decoding и связанные с ним механизмы, согласно заявленным тегам. Заявлены поддержка изображений и работа с английским, китайским и другими языками. Ключевая особенность версии — коррекция шести слишком «громких» слоёв ssm_conv1d.weight; остальные веса оставлены без изменений. В README не указаны точный размер контекста, перечень поддерживаемых форматов изображений, требования к памяти, производительность и совместимые средства запуска, поэтому эти характеристики нельзя оценить по имеющимся данным. Ограничением также является то, что NVFP4-кодирование не поддерживается используемыми инструментами GGUF, из-за чего исправление было выполнено только для части тензоров. Модель распространяется по лицензии Apache-2.0. Тег uncensored указывает на заявленную настройку без цензурирования, однако подробные сведения о поведении модели, качестве и ограничениях безопасности в README отсутствуют.

BlueLM-7B-Base — базовая предварительно обученная языковая модель, самостоятельно разработанная лабораторией vivo AI. Это плотная авторегрессионная модель семейства BlueLM с 6,9 млрд параметров; данная версия рассчитана на контекст до 2048 токенов и распространяется в формате PyTorch. Модель предназначена для генерации текста и служит основой для разработки приложений и последующей настройки под конкретные задачи. Корпус обучения включал преимущественно китайские и английские тексты, а также небольшую долю японских и корейских данных. В README упомянуты оценки семейства на тестах общих знаний, математики и программирования, но приведённая таблица не содержит результатов этой конкретной базовой версии. Лицензия в метаданных обозначена как other; README сообщает, что веса BlueLM открыты для академических исследований и коммерческого использования. Практические ограничения включают контекст в 2048 токенов у этой версии и отсутствие в карточке конкретных гарантий качества или результатов базовой модели на упомянутых тестах.

JamAndTeaStudios/DeepSeek-R1-Distill-Qwen-1.5B-FP8-Dynamic — это квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-1.5B, опубликованная JamAndTeaStudios. Модель предназначена для генерации текста и чат-сценариев, включая локальный или серверный инференс. В карточке указана поддержка английского языка и библиотека Transformers. Модель использует FP8-квантизацию весов и активаций линейных операторов внутри трансформерных блоков. Квантизация снижает число битов на параметр с 16 до 8, что примерно вдвое уменьшает размер модели на диске и требования к памяти GPU. Размер базовой модели составляет около 1,5 млрд параметров. Контекстное окно и дополнительные модальности не указаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — сниженные требования к памяти и возможность более эффективного инференса при сохранении архитектуры базовой модели. Ограничения связаны с потерями качества, возможными для квантизированной версии, отсутствием опубликованных результатов оценки и неизвестным размером контекстного окна. Для запуска рекомендуются SGLang версии 0.3 или новее и vLLM версии 0.5.2 или новее. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-GGUF — это набор GGUF-квантизаций модели DeepSeek-V4-Flash, разработанной deepseek-ai. Квантизации подготовлены пользователем tarruda; исходные веса модели были опубликованы в формате MXFP4, поэтому варианты MXFP4 в этом наборе являются их прямыми конверсиями в GGUF. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp. Доступны варианты Q3_K, IQ3_XXS и Q2_K размером примерно от 90,3 до 116,5 ГиБ, с плотностью от 2,73 до 3,52 бит на вес. В README приведён пример запуска с контекстом 131 072 токена и одним параллельным запросом, однако точные архитектурные характеристики, поддерживаемые языки, модальности и максимальный контекст самой базовой модели не указаны. Квантизации позволяют снизить требования к памяти по сравнению с полноразмерными весами, но требуют значительных ресурсов и могут уступать исходной модели по качеству; более агрессивные варианты Q2_K и IQ3_XXS потенциально сильнее затрагивают точность. Модель распространяется по лицензии MIT. Для запуска в README используется llama.cpp и формат GGUF; конкретная производительность зависит от выбранной квантизации и аппаратного обеспечения.

KnutJaegersberg/Deita-1_8B — языковая модель семейства Llama для генерации текста и выполнения инструкций в формате диалога с ассистентом. В карточке приведён пример запроса о дообучении языковой модели и указаны результаты оценки на Open LLM Leaderboard. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 1,5 млрд параметров и поддерживает контекст до 8192 токенов. Для распространения используются веса Safetensors. В README указано, что действует лицензия для некоммерческого использования.

Builder117 разработала дообученный классификатор на базе DistilBERT для обнаружения опасных фрагментов в текстах, сгенерированных LLM. Модель относит текст к классу SAFE или MALICIOUS и предназначена для проверки вывода перед его показом пользователям или передачей другим системам. Классификатор выявляет признаки XSS, SQL- и командных инъекций, обхода путей и UNION-атак. Его можно встроить в конвейер проверки безопасности вывода LLM; модель также описана как часть набора LLM Threat Shield для обнаружения угроз OWASP LLM Top 10. Архитектура — DistilBERT для классификации последовательностей, формат весов — safetensors, максимальная длина контекста — 512 токенов. Указан английский язык, лицензия Apache-2.0. Модель может пропускать закодированные полезные нагрузки, не учитывает контекст построения запросов и способна ошибочно помечать документацию по безопасности, в которой цитируются атакующие строки.

Experiment26Yamshadow_NeuralsirkrishnaExperiment26 — слитая текстовая модель семейства Mistral, созданная на основе automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaExperiment26-7B. Она предназначена для генерации текста по текстовому запросу. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0.

FastThink-0.5B-Tiny — компактная модель генерации текста с фокусом на рассуждениях, созданная на основе Qwen2.5-0.5B-Instruct и опубликованная prithivMLmods. Это плотная трансформерная архитектура Qwen2 с 494 млн параметров; метаданные указывают контекст до 32 768 токенов. Репозиторий содержит веса Safetensors и формат ONNX. Модель предназначена для диалогов, следования инструкциям, логических задач, генерации структурированных ответов, включая JSON и таблицы, а также для простых задач по математике и коду. Её можно применять в чат-ботах, аналитических сценариях и приложениях с ограниченными вычислительными ресурсами. В карточке заявлена поддержка более 29 языков; метаданные отдельно указывают английский. Небольшой размер ограничивает возможности в сложных рассуждениях и специализированных областях; качество может снижаться на неоднозначных запросах, длинных контекстах и языках с меньшей представленностью. Заявление README о контексте до 128K расходится с указанным в метаданных лимитом 32 768 токенов. Лицензия — Apache-2.0.

FineLlama-3.1-8B — плотная языковая модель семейства Llama, созданная автором mlabonne как дообучение Meta-Llama-3.1-8B. Модель обучена на 100 тысячах примеров из набора FineTome-100k; обучение выполнено с использованием Unsloth и TRL. В метаданных указано 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев, а также для изучения эффективного дообучения Llama. Автор рекомендует для реальных приложений использовать instruct-модель Meta. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

mlx-community/gemma-3-1b-it-qat-4bit — языковая модель для генерации текста, созданная на основе google/gemma-3-1b-it и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых и других сценариев, связанных с текстовой генерацией, и поддерживает использование через библиотеку mlx-lm на совместимом оборудовании Apple MLX. Модель содержит около 1 миллиарда параметров, является instruction-tuned и использует 4-битное QAT-квантование. В карточке указана только текстовая модальность; сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевое преимущество — компактность и возможность локального запуска в оптимизированном формате MLX, однако небольшой размер и 4-битное квантование могут ограничивать качество и точность по сравнению с более крупными или полноразмерными моделями. Для доступа требуется принять лицензию Google Gemma на Hugging Face. Модель была конвертирована с использованием mlx-lm версии 0.22.5.

Это пакет Mesh LLM для распределённого локального запуска Gemma 4 E4B Instruct в формате GGUF с квантизацией Q4_K_M. Он создан на основе unsloth/gemma-4-E4B-it-GGUF и разбивает исходный файл модели на артефакты по слоям, чтобы распределять вычисления между несколькими машинами. Модель предназначена для диалогов и генерации текста; её можно подключать к локальным сценариям чата через API, совместимый с OpenAI, используя Mesh LLM. Пакет рассчитан на приватный инференс на собственном оборудовании и позволяет объединять ресурсы нескольких узлов, когда запуск полной модели на одном хосте затруднён. Для работы требуется Mesh LLM и доступные узлы кластера. Репозиторий распространяется по лицензии Apache 2.0. Подробности об архитектуре, языках, контекстном окне и ограничениях исходной модели вынесены в карточку базовой модели и в предоставленных данных не раскрыты.

LuffyTheFox/Gemma-4-E4B-Uncensored-Genesis-GGUF — мультимодальная GGUF-модель, основанная на Google Gemma 4 E4B IT и модели Gemma-4-E4B-Uncensored-HauhauCS-Aggressive от HauhauCS. LuffyTheFox обработал её с помощью собственного алгоритма дистилляции тренировочного шума Genesis. Модель предназначена для диалогов, следования инструкциям и генерации текста, а также рассчитана на мультимодальные сценарии с текстом, изображениями, видео и аудио. Заявленный язык — английский, также поддерживаются многоязычные сценарии. Модель содержит около 4 миллиардов параметров, имеет 42 слоя, сочетает скользящее окно внимания размером 512 с полным вниманием, поддерживает контекст до 131 тысячи токенов и использует 18 общих KV-слоёв для экономии памяти. К сильным сторонам относятся большой контекст, компактный размер и совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Для корректной обработки шаблона чата в llama.cpp требуется параметр --jinja. Практическое ограничение заключается в том, что vision encoder в поставку не включён: по словам автора, он неисправен. Для поддержки визуальных и аудиовходов требуется отдельный файл mmproj, поэтому фактические мультимодальные возможности зависят от наличия совместимых компонентов. Модель распространяется по лицензии Gemma.

GLM-5.3-Flash-4bit-paged — это 4-битная сборка модели GLM-5.3-Flash с экспертной пагинацией, опубликованная GreenBitAI на базе pipenetwork/GLM-5.3-Flash-MLX-4bit. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, а заявленные языки — английский и китайский. Сборка ориентирована на запуск через gbx-lm, в частности на компьютерах Apple Silicon с MLX. Архитектура использует mixture-of-experts: необходимые экспертные веса могут загружаться из файла experts.bin по мере обращения к ним, что снижает требования к постоянно занятой оперативной памяти, но требует значительного дискового пространства и может замедлять работу, если веса не помещаются в память. Общий объём файлов составляет около 169,27 ГиБ, включая 5,89 ГиБ резидентных весов, 159,47 ГиБ маршрутизируемых экспертов и 3,90 ГиБ дополнительной головы multi-token prediction. Максимальный контекст в README не указан. Дополнительная MTP-голова отключена по умолчанию и поддерживает speculative decoding; на Mac Studio с M3 Ultra она показала ускорение до 1,41 раза при контексте 11 317 токенов, однако выигрыш зависит от длины контекста и конфигурации оборудования. Для модели заявлена проверка совпадения с исходной сборкой на уровне слоёв. Квантование, токенизатор и шаблон чата унаследованы от базовой модели. Лицензия — MIT.

Granite 3.1 3B A800M Instruct — языковая instruction-tuned модель IBM, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Репозиторий предназначен для локального запуска задач генерации текста и диалогового взаимодействия, в том числе через LM Studio или совместимые инструменты на базе llama.cpp. Доступны варианты от полноразмерных весов F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 1,38 до 6,60 ГБ, поэтому можно выбрать баланс между качеством, требованиями к памяти и скоростью работы. Для общения необходимо использовать указанный chat template с ролями system, user и assistant; в README отмечено исправление шаблона чата. Модель ориентирована на текстовую модальность. Сильные стороны представлены широким выбором квантизаций и возможностью локального использования, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество. Более компактные варианты экономят память, но могут заметно уступать по качеству; самые низкобитные версии обозначены как низкокачественные или нерекомендуемые. Данные о поддерживаемых языках, размере контекста и детальной архитектуре в README не указаны. Распространение заявлено по лицензии Apache-2.0.

ibm-granite/granite-3.3-2b-instruct-GGUF — это набор конвертированных в формат GGUF версий инструкционно дообученной языковой модели IBM Granite 3.3 с базовой моделью объёмом 2 млрд параметров. Модель разработана IBM и предназначена для задач генерации текста и диалогового взаимодействия с инструкциями, включая локальный запуск средствами, поддерживающими формат GGUF. Репозиторий содержит варианты с различными уровнями квантования, однако конкретный набор квантований в карточке не указан. Модель относится к текстовым генеративным моделям; сведения о поддерживаемых языках, размере контекста, точной архитектуре, модальностях и результатах тестирования в предоставленной карточке отсутствуют. Сильными сторонами являются компактный размер базовой модели и доступность в оптимизированном формате GGUF, потенциально удобном для запуска на совместимом локальном оборудовании. Возможные ограничения, характеристики производительности и требования к ресурсам зависят от выбранного варианта квантования и не описаны. Лицензия — Apache 2.0.

GRPO-VI-Qwen2-7B-RAG — языковая модель, дообученная командой Nguyen Nho Trung, Nguyen Van Huy и Nguyễn Nhat Quang на базе Qwen/Qwen2.5-7B-Instruct. Она предназначена прежде всего для генерации ответов в системах с дополненной поиском генерацией (RAG), сохраняя диалоговые возможности. Обучение включало supervised fine-tuning и GRPO на вьетнамских примерах: модель улучшали для многошаговых вопросов по найденным документам, отбора нерелевантных сведений и объединения информации. Также модель подходит для общих вопросов, математики и задач по программированию. Это плотная архитектура Qwen2 с 7,1 млрд параметров, рассчитанная на текстовый ввод и текстовые ответы; репозиторий содержит веса Safetensors и использует библиотеку Transformers. Метаданные указывают контекст до 32 768 токенов. Модель ориентирована на вьетнамский язык. В карточке приведены оценки на внутреннем наборе EvalRAGData и бенчмарке VMLU, но результаты не гарантируют точности в других сценариях. Разработчики отмечают возможные ошибки и предвзятые или неуместные ответы, особенно на политические и общественные темы. Лицензия — Apache-2.0.

Hermes-2-Pro-Mistral-7B-4bit — 4-битная версия модели Hermes-2-Pro-Mistral-7B, преобразованная сообществом mlx-community в формат MLX для запуска на устройствах Apple с MLX. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, дообученная на основе mistralai/Mistral-7B-v0.1. Модель предназначена для диалогов и следования инструкциям; в карточке указаны поддержка английского языка и контекст длиной 32 768 токенов. Модель подходит для генерации ответов, чат-ботов и выполнения инструкций на английском языке. Она поддерживает Apache-2.0. Карточка этой версии подтверждает конверсию в MLX, но не приводит отдельные сведения о её оценке качества или ограничениях; исходная модель Hermes-2-Pro-Mistral-7B указана как источник для подробностей.

Huihui-gpt-oss-20b-mxfp4-abliterated-v2 — текстовая генеративная модель, разработанная huihui-ai. Она представляет собой версию модели Huihui-gpt-oss-20b-BF16-abliterated-v2, преобразованную в формат mxfp4 с использованием quantization-aware training (QAT) для более компактного хранения и развёртывания. Модель предназначена для генерации текста и может использоваться через библиотеку Hugging Face Transformers, Ollama и llama.cpp в формате GGUF. Указан размер класса 20B, однако точная архитектура, максимальная длина контекста, поддерживаемые языки и набор модальностей в README не раскрыты. Формат mxfp4 потенциально снижает требования к памяти по сравнению с BF16, но фактические скорость и качество зависят от оборудования и используемого средства запуска. Модель помечена как abliterated и uncensored, поэтому её поведение и ограничения безопасности могут отличаться от исходной модели. README не содержит результатов бенчмарков, подробной оценки качества или гарантий надёжности. Распространяется по лицензии Apache-2.0.

Josiefied-Qwen3-1.7B-abliterated-v1-bf16 — конвертированная в формат MLX чат-модель семейства Qwen3, опубликованная сообществом mlx-community на основе Goekdeniz-Guelmez/Josiefied-Qwen3-1.7B-abliterated-v1. Она предназначена для генерации текста в диалогах и может использоваться в сценариях, где нужен компактный языковой ассистент; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen3ForCausalLM и 1,7 млрд параметров. Для неё указан контекст до 40 960 токенов; README сообщает о конвертации из исходного репозитория в MLX с помощью mlx-lm 0.23.2. Лицензия и языковая специализация в предоставленных данных не описаны.

bartowski/knoveleng_Open-RS3-GGUF — это набор GGUF-квантизаций языковой модели Open-RS3, разработанной knoveleng. Модель предназначена для генерации текста и локального запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. В репозитории представлены варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций, поэтому можно выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 0,77 до 3,56 ГБ. Для квантизации использовался llama.cpp версии b4925 и метод imatrix. Рекомендуемый формат промпта приведён в README и включает системное сообщение, пользовательский запрос и секцию рассуждений. Сильная сторона модели — возможность гибкого локального развертывания на устройствах с разным объёмом памяти; варианты Q5–Q6 позиционируются как высококачественные, а Q3–Q4 подходят для более ограниченных ресурсов с некоторой потерей качества. Для самых компактных вариантов качество заметно ниже. Сведения об архитектуре, числе параметров, поддерживаемых языках, длине контекста и мультимодальности в README не указаны. Лицензия — MIT.

Leo Hessianai 70B Chat GGUF — это квантованные файлы большой языковой чат-модели, разработанной LAION LeoLM и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. В README указана поддержка английского и немецкого языков, а обучение связано с немецкоязычными наборами данных OpenSchnabeltier, OASST-DE, Alpaca GPT-4 Deutsch, Evol-Instruct Deutsch, German Poems и German Songs. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров. Доступны варианты GGUF с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации; при этом более сильное квантование может снижать точность. Для диалогов используется шаблон ChatML. README не указывает размер контекста и модальности, поэтому подтверждённых данных о поддержке изображений или других типов входа нет. Файлы совместимы с llama.cpp начиная с указанной в README версии, а также с рядом сторонних приложений и библиотек для локального запуска на CPU и GPU. Модель распространяется по лицензии Llama 2; конкретные условия этой лицензии следует учитывать при использовании и распространении производных файлов.

Le_Triomphant-ECE-TW3 — языковая модель, созданная студентами инженерной школы ECE Луи Гарсиа и Матьё Жолларом под руководством преподавателя ECE и сооснователя TW3 Partners Андре-Луи Роше и технического директора TW3 Partners Поля Леметра. Модель получена слиянием abacusai/Smaug-72B-v0.1 и MTSAIR/MultiVerse_70B с помощью mergekit; проект поддержали ECE и RunPod. Это плотная авторегрессионная модель семейства Llama с 71 млрд параметров, предназначенная для генерации текста. Контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель можно использовать для генерации и продолжения текста в приложениях на базе Transformers. В README не приведены результаты оценки качества, специальные предметные области или перечень поддерживаемых языков, поэтому сравнивать её возможности с моделями-основами по этим данным нельзя.

Ling-3.0-flash REAP320 — экспериментальная разговорная гибридная MoE-модель от bloomer010, полученная из inclusionAI/Ling-3.0-flash удалением наименее активных экспертов. В каждом слое оставлено 320 из 512 маршрутизируемых экспертов; в карточке указаны 81 млрд параметров суммарно и 5,1 млрд активных. Для отбора экспертов применён однократный метод REAP по калибровочным данным объёмом 1 млн токенов из UltraChat, WikiText и кода; дообучения и восстановительного обучения не было. Модель предназначена для диалоговой генерации текста. Она распространяется в формате BF16 safetensors, использует архитектуру BailingMoeV3 и загружается через Transformers с включённым trust_remote_code для пользовательского кода. Контекст — до 262 144 токенов. Шаблон чата поддерживает параметр reasoning_effort. Карточка обозначает её как исследовательский артефакт и экспериментальный REAP-чекпойнт; сведения о лицензии и поддерживаемых естественных языках не приведены.

Карточка модели 4bit/Llama-2-70b-chat-hf на Hugging Face совпадает с карточкой NousResearch/Llama-2-70b-chat-hf, поэтому описание составлено по ней. NousResearch/Llama-2-70b-chat-hf — версия чат-модели Llama 2, разработанной Meta и опубликованной NousResearch в формате Transformers для Hugging Face. Это авторегрессионная плотная трансформерная модель с 68,7 млрд параметров, настроенная на диалог с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Версия 70B использует Grouped-Query Attention; длина контекста — 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для диалоговых сценариев на английском языке: ответов на вопросы, работы в роли помощника и генерации текста. Модель статична, обучалась на данных с отсечкой знаний до сентября 2022 года, хотя часть данных дообучения датирована позднее. Для использования весов требуется принять пользовательскую коммерческую лицензию Meta; применяются её условия и ограничения. Ответы могут быть неточными, предвзятыми или нежелательными, а оценка модели проводилась преимущественно на английском языке и не охватывает все сценарии. Перед внедрением следует проверять безопасность и качество в целевом приложении. Модель не предназначена по условиям карточки для использования на языках, отличных от английского.

LLAMA-3_8B_Unaligned_Alpha-GGUF — это набор GGUF-квантизаций языковой модели LLAMA-3_8B_Unaligned_Alpha, подготовленный bartowski с использованием llama.cpp и метода imatrix. Исходная модель разработана SicariusSicariiStuff. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В README указан английский язык и формат диалога с системным сообщением, запросом пользователя и ответом ассистента. Модель относится к классу 8B и доступна в широком диапазоне вариантов квантизации: от Q8_0 и Q6_K с очень высоким качеством до Q2_K и IQ2_M с меньшими требованиями к памяти, но заметно более низким качеством. Варианты с суффиксом L используют F16 для весов embedding и output; некоторые из них обозначены как экспериментальные. Рекомендуемыми названы, в частности, Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Размер файлов варьируется примерно от 2,94 до 9,52 ГБ. Сильные стороны набора — выбор между качеством и потреблением памяти, а также применение imatrix-квантизации. Более компактные варианты подходят для систем с ограниченным объемом RAM, однако README предупреждает о снижении качества у Q3 и особенно Q2-квантизаций; точные требования к оборудованию и размер контекста не указаны. Модель распространяется по лицензии Apache-2.0.

Llama 3 zhtw — плотная авторегрессионная языковая модель семейства Llama, дообученная p208p2002 на базе Llama 3 посредством продолжения предобучения на 800 млн токенов. В обучении использовались англоязычный FineWeb, китайские корпуса на упрощённом и традиционном китайском, включая Wudao, C4Tw и Wikipedia, а также датасеты диссертаций и кода. Модель содержит 7,5 млрд параметров, работает с контекстом до 8192 токенов и поддерживает диалоговый сценарий. Модель предназначена для генерации текста на китайском и английском языках. По данным авторов, качество на традиционном китайском после продолжения предобучения не превзошло исходную Llama 3; на английском результат MMLU сопоставим с исходной моделью. Вес опубликован в формате safetensors, лицензия — llama3.

LLM Compiler 7B — языковая модель, разработанная Meta и представленная в формате GGUF-представлением legraphista. В карточке указано, что она основана на facebook/llm-compiler-7b. Однако README не содержит подробных сведений об архитектуре, точном числе параметров, модальностях, поддерживаемых языках, размере контекста или специфических сценариях применения. По названию и базовой модели можно заключить лишь, что это 7-миллиардная большая языковая модель общего назначения, предназначенная для задач обработки и генерации текста, но конкретные возможности данного варианта не описаны. Ключевым практическим свойством является формат GGUF, обычно используемый для локального запуска и квантованных вариантов моделей, однако степень квантования и требования к ресурсам в README не указаны. Сильные стороны, ограничения и результаты тестирования для этой конкретной сборки также не приведены. Использование регулируется лицензией Meta LLM Compiler License и связанной с ней Acceptable Use Policy. Лицензия предоставляет ограниченные неисключительные права на использование, копирование, распространение и создание производных работ, но устанавливает дополнительные условия: при распространении необходимо включать текст соглашения и заметную маркировку «Built with LLM Compiler», сохранять уведомление об авторских правах, а при создании или улучшении распространяемой AI-модели начинать её название с «LLM Compiler». Также запрещено использовать материалы или их результаты для улучшения другой большой языковой модели.