I.14Автоматизация процессов и AI-агенты

Это GGUF-квантизация модели llmfan46/gemma-4-26B-A4B-it-ultra-uncensored-heretic, созданной независимым автором llmfan46 на основе google/gemma-4-26B-A4B-it. Модель преобразована методом Heretic 1.2.0 с использованием Arbitrary-Rank Ablation (ARA), чтобы существенно уменьшить количество отказов и ограничений при сохранении близкого к исходной модели поведения. Указана лицензия Apache-2.0 с отдельной ссылкой на лицензию Gemma 4. Модель предназначена для генерации и понимания текста, а согласно метаданным pipeline_tag также поддерживает сценарии image-text-to-text. В названии и описании заявлен размер 26B с обозначением A4B, однако подробные сведения об архитектуре, контекстном окне и поддерживаемых языках в README не приведены. Доступны варианты GGUF в форматах BF16, Q8_0, Q6_K и Q5_K_M, а также другие квантизации, рассчитанные на запуск с различными требованиями к памяти и качеству. Главное преимущество — значительно меньшее число отказов: в приведённом тесте 3 из 100 против 100 из 100 у оригинальной модели. При этом автор сообщает о небольшом изменении поведения по KL divergence 0,1237. На PIQA модель получила точность 91,29% против 92,06% у оригинала, а на MMLU — 79,99% против 82,48%; это указывает на некоторое снижение качества в задачах общего рассуждения и понимания. Уровень безопасности и ограничения после декорсензуры могут отличаться от исходной Gemma, поэтому модель требует осторожного применения в чувствительных сценариях.

zecanard/gemma-4-26B-A4B-it-uncensored-heretic-ara-MLX-8bit-int8-affine — конвертированная в формат MLX версия модели trohrbaugh/gemma-4-26B-A4B-it-heretic-ara. Модель предназначена для мультимодальных задач, связанных с обработкой текста и изображений, включая генерацию ответов по текстовым запросам и анализ изображений. В карточке указаны английский язык и библиотека MLX; дополнительные сведения о разработчике базовой модели, языковой поддержке и полном наборе возможностей отсылаются к исходной карточке модели и здесь не приведены. Это vision-language model с эффективными 9,163 битами на параметр, подвергнутая 8-битному аффинному квантованию с размером группы 32. Версия создана с использованием mlx-vlm 0.6.3 и рассчитана на запуск в экосистеме MLX. В шаблон чата добавлены исправление вызова инструментов, учет текущей даты и включенное по умолчанию рассуждение, если оно поддерживается моделью. Для корректной обработки рассуждений может потребоваться настройка распознавания секции thought. Сильными сторонами модели являются поддержка входных изображений, квантованный формат для эффективного локального запуска и исправление, связанное с вызовом инструментов. Ограничения включают зависимость от MLX и mlx-vlm, а также отсутствие в предоставленной карточке точных сведений о контекстном окне, полном размере архитектуры, фактическом наборе языков и результатах тестирования. Модель распространяется по лицензии Apache-2.0 с учетом условий лицензии Gemma.

gemma-4-26B-A4B-it-w4a16-llmcompressor — квантизированная версия модели gemma-4-26B-A4B-it, разработанная AMD на базе архитектуры Gemma4ForConditionalGeneration. Модель предназначена для генерации текста и инференса на CPU AMD EPYC под Linux с использованием vLLM и оптимизаций ZenDNN. В README указана поддержка английского языка. Архитектура включает текстовую часть, MoE-компонент с 128 маршрутизируемыми экспертами, vision tower и проектор vision-to-text; при этом в карточке явно заявлены текстовые входы и текстовые выходы, а подробные сценарии мультимодального использования не описаны. Модель использует 4-битную weight-only квантизацию W4A16, выполненную методом GPTQ через LLM Compressor и формат compressed-tensors. Веса хранятся в INT4 с симметричной групповой квантизацией и group_size=64, а активации остаются в BF16. Размер весов сокращён примерно с 48,1 GiB до 14,6 GiB, то есть примерно на 70%. В BF16 сохранены MoE-router, vision tower, vision-to-text projector, lm_head и layer norms; основные текстовые attention-проекции, shared MLP и эксперты квантизированы. Сильные стороны модели — существенное снижение требований к дисковому пространству и памяти при сохранении совместимости с CPU-инференсом на AMD EPYC, а также интеграция со стеком ZenDNN, ZenTorch, PyTorch и vLLM. Ограничения включают зависимость от совместимых версий программного стека и аппаратного обеспечения, а также возможную потерю качества из-за 4-битной квантизации. Контекстное окно и точный общий размер модели в README не указаны. Модель распространяется по лицензии Gemma.

TheStageAI/gemma-4-E4B-it-GGUF — набор из четырёх квантизированных GGUF-чекпойнтов модели Gemma 4 E4B IT, основанной на google/gemma-4-E4B-it. Модель предназначена для локального запуска через llama.cpp и генерации текста, включая диалоговые сценарии, следование инструкциям и задачи, требующие развёрнутого рассуждения. Разработчик и поставщик чекпойнтов — TheStageAI; базовую модель разработала Google. Доступны варианты XS, S, M и L размером от 2,91 до 8,02 ГБ: XS использует минимальный объём памяти, S рекомендован как оптимальный по соотношению размера и качества, M соответствует рабочей точке Q4, а L ориентирован на более высокую точность Q8. Чекпойнты используют смешанную посттренировочную квантизацию с конфигурацией точности, подобранной с учётом стоимости хранения и накопления ошибки между слоями. В README указаны результаты IFEval и MMLU-Pro; вариант S практически соответствует BF16-версии по instruction-strict IFEval, тогда как XS заметно уступает по качеству, но требует меньше памяти. Модель поддерживает текстовую генерацию; сведения о языках, размере контекста и мультимодальных возможностях в README не указаны. Основные преимущества — локальный запуск, несколько вариантов под разные ограничения памяти и сохранение качества на рекомендованном варианте S. Ограничения связаны с потерями точности при квантизации, особенно у XS, а также с отсутствием в предоставленных данных подробностей о языковом покрытии и контекстном окне. Распространение заявлено по лицензии Apache-2.0.

LuffyTheFox/Gemma-4-E4B-Uncensored-Genesis-GGUF — мультимодальная GGUF-модель, основанная на Google Gemma 4 E4B IT и модели Gemma-4-E4B-Uncensored-HauhauCS-Aggressive от HauhauCS. LuffyTheFox обработал её с помощью собственного алгоритма дистилляции тренировочного шума Genesis. Модель предназначена для диалогов, следования инструкциям и генерации текста, а также рассчитана на мультимодальные сценарии с текстом, изображениями, видео и аудио. Заявленный язык — английский, также поддерживаются многоязычные сценарии. Модель содержит около 4 миллиардов параметров, имеет 42 слоя, сочетает скользящее окно внимания размером 512 с полным вниманием, поддерживает контекст до 131 тысячи токенов и использует 18 общих KV-слоёв для экономии памяти. К сильным сторонам относятся большой контекст, компактный размер и совместимость с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Для корректной обработки шаблона чата в llama.cpp требуется параметр --jinja. Практическое ограничение заключается в том, что vision encoder в поставку не включён: по словам автора, он неисправен. Для поддержки визуальных и аудиовходов требуется отдельный файл mmproj, поэтому фактические мультимодальные возможности зависят от наличия совместимых компонентов. Модель распространяется по лицензии Gemma.

Terra3312/GLM-5.3-Flash-EXL3-4bpw-MUL1 — квантизированная версия GLM-5.3-Flash, разработанного Z.ai, созданная с использованием ExLlamaV3. Модель предназначена для эффективного локального вывода, в частности для ускорения однопоточной генерации на крупных MoE-моделях. Она поддерживает задачи генерации текста и рассчитана на работу с ExLlamaV3; заявлены английский и китайский языки. Модель также включает vision-компонент, однако подробности о поддерживаемых визуальных сценариях в README не указаны. Основной языковой блок использует формат EXL3 с точностью 4,0 bpw, vision-компонент и lm_head — 6 bpw, MTP — 4 bpw. Применяется кодовая книга mul1, совместимая с объединённым путём INT8-активаций GEMV в ExLlamaV3. Это может повысить производительность однопоточного декодирования на совместимых GPU и конфигурациях, но фактическая скорость зависит от архитектуры GPU, длины контекста, tensor parallel, версии среды и нагрузки. Размер модели, архитектура MoE в деталях, максимальная длина контекста и точные характеристики мультимодальности не указаны. Для работы требуется полный каталог репозитория и свежая сборка ExLlamaV3 с поддержкой GLM-5.3-Flash и mul1. Контрольные данные квантизации, промпты, seed и точный commit ExLlamaV3 не были сохранены. Это неофициальный релиз Z.ai или ExLlamaV3. Исходная модель распространяется по лицензии MIT; применимые условия следует уточнять в файле LICENSE и оригинальном репозитории.

MLX-совместимая версия языковой модели openai/gpt-oss-120b, разработанная сообществом mlx-community и сконвертированная из исходной модели с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в окружениях, поддерживающих MLX; для работы используются библиотека mlx-lm и соответствующий токенизатор с chat template, если он доступен. Из названия следует, что модель имеет масштаб 120B параметров и представлена в формате MXFP4-Q4, однако README не содержит подробностей об архитектуре, поддерживаемых языках, размере контекста, модальностях, производительности и аппаратных требованиях. Основное преимущество — адаптация модели к экосистеме MLX и возможность локального использования через стандартный интерфейс генерации текста. Ограничения и особенности, связанные с квантизацией MXFP4-Q4, в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

gpt-oss-20b-GGUF — набор GGUF-квантизаций модели openai/gpt-oss-20b, подготовленный пользователем ggfox00000 для локального и периферийного развёртывания. Модель предназначена для генерации текста и диалоговых сценариев, включая суммаризацию и работу через llama.cpp или llama-cpp-python. README не указывает точные языковые возможности исходной модели, однако демонстрирует пример суммаризации на французском языке. Доступны варианты Q4_K_M размером около 8 ГБ, Q5_K_M около 10 ГБ и Q8_0 около 15 ГБ. При контексте 8192 токена им требуется примерно 9, 11 и 16 ГБ RAM или VRAM соответственно; заявленное качество возрастает от Q4_K_M к Q8_0. Эти варианты позволяют выбирать компромисс между требованиями к памяти и качеством, включая развёртывание на GPU с CUDA. Архитектура и мультимодальные возможности в README не описаны; по назначению это текстовая модель. Модель удобна для on-premise и edge-сценариев, где важны локальное выполнение и совместимость с llama.cpp. Ограничения включают необходимость подбора квантизации под доступную память, а также отсутствие в карточке подробных данных о производительности, поддерживаемых языках, исходной архитектуре и специальных возможностях. Квантизации распространяются на условиях Apache 2.0, унаследованных от исходной модели.

GWQ2b — дообученная языковая модель prithivMLmods на базе Google Gemma 2 2B Instruct. Это декодерный трансформер для генерации текста, с диалоговыми возможностями и контекстом до 8192 токенов; в карточке заявлена поддержка английского языка. Модель дообучена на синтетическом наборе Chain of Continuous Thought и предназначена для ответов на вопросы, суммаризации, рассуждений и следования инструкциям. Модель подходит для создания ответов и кратких изложений, многошаговых рассуждений, а также творческого текста и документации. Вес составляет 2,7 млрд параметров, файлы представлены в формате Safetensors. Лицензия Gemma; условия её использования следует учитывать при развёртывании. Как и другие языковые модели, GWQ2b может выдавать неточные сведения и воспроизводить смещения из данных обучения. Она ограничена контекстом в 8192 токена, а заявленные в README сведения о размере и архитектуре местами противоречат метаданным: для описания использованы параметры из метаданных.

Huihui-Qwen3.6-35B-A3B-Claude-4.6-Opus-abliterated-i1-GGUF — это GGUF-квантизация модели Huihui-Qwen3.6-35B-A3B-Claude-4.6-Opus-abliterated, разработанной huihui-ai и подготовленной в виде квантованных файлов пользователем mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой; заявленный размер — 35B параметров при 3B активных параметров. Репозиторий содержит варианты i1-квантизации с размерами примерно от 7,6 до 20 ГБ, а также imatrix-файл для самостоятельного создания квантовок. Модель предназначена для генерации текста, диалоговых сценариев и задач, связанных с рассуждениями. В описании также заявлена поддержка изображений и текста, поэтому она может применяться в мультимодальных сценариях при наличии совместимых mmproj-файлов. Указанный язык — английский. Модель совместима с экосистемой Transformers и инструментами инференса, включая text-generation-inference и vLLM; формат GGUF ориентирован на локальный запуск средствами, поддерживающими этот формат. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между размером файла, скоростью и качеством. При этом низкобитные варианты могут заметно уступать по качеству: в README отдельные сборки обозначены как имеющие низкое качество или предназначенные для случаев острой нехватки ресурсов. Точный размер контекстного окна и результаты бенчмарков не указаны. Обозначения abliterated и uncensored указывают на отсутствие или ослабление части стандартных ограничений безопасности, поэтому поведение модели и пригодность для чувствительных задач следует проверять отдельно. Указанная лицензия — Apache-2.0.

OpenGVLab/InternVL3-38B-hf — реализация в формате Hugging Face Transformers мультимодальной модели InternVL3, разработанной OpenGVLab. Это дообученная версия OpenGVLab/InternVL3-38B-Instruct с плотной архитектурой InternVL и 38 млрд параметров. Модель принимает текст, изображения и видео и генерирует текстовые ответы; её можно использовать как для диалога по тексту, так и для анализа визуальных данных. Модель предназначена для восприятия и рассуждений по изображениям и видео, ответов на вопросы о визуальном содержимом и мультимодального общения. Семейство InternVL3 также ориентировано на использование инструментов, работу с графическими интерфейсами, промышленный анализ изображений и 3D-восприятие, однако карточка этой версии подтверждает прежде всего обработку изображений и видео через интерфейс image-text-to-text. Реализация поддерживает пакетный инференс и чередование текстовых и визуальных входов. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers. Языки обозначены как многоязычные. Лицензия указана как other; конкретные условия следует проверять в файлах лицензии репозитория.

jina-embeddings-v2-base-code — модель эмбеддингов от Jina AI для представления текста и исходного кода в виде векторов. Она предназначена для семантического поиска по коду и техническим материалам, сопоставления запросов с фрагментами кода и извлечения контекста для технических вопросов и ответов. Модель использует архитектуру JinaBert на основе BERT с двунаправленным вариантом ALiBi и содержит около 160 млн параметров. Она принимает последовательности длиной до 8192 токенов; обучение эмбеддингов проводилось на длине 512 токенов с экстраполяцией на более длинный контекст. Основа модели предварительно обучена на наборе GitHub Code, а затем модель обучалась на парах вопросов, ответов, docstring и исходного кода. Поддерживаются английский и 30 языков программирования. Для получения эмбеддингов предложено использовать mean pooling. Доступны форматы PyTorch, Safetensors и ONNX. Модель рассчитана на эффективный поиск по коду и длинным техническим фрагментам; README также называет технический вопросно-ответный поиск одним из сценариев применения. Для других языков естественного языка и произвольных задач качество не заявлено. Лицензия — Apache-2.0.

Kara-Kumru-v1.0-2B — турецкоязычная языковая модель, созданная дообучением VNGRS AI модели vngrs-ai/Kumru-2B. Это плотный decoder-only трансформер семейства Mistral с 2,4 млрд параметров и контекстом 8192 токена; модель распространяется в формате safetensors и рассчитана на диалоговую генерацию текста. Модель оптимизирована для ответов на вопросы, извлечения информации, суммаризации и перевода с турецкого на английский, а также для общей генерации текста на турецком языке. В заявленной оценке на Cetvel она улучшила результаты базовой модели по генеративным задачам, включая QA и суммаризацию, но показала снижение качества на некоторых классификационных задачах, NLI и коррекции грамматики. Сопоставление с другими моделями в README частично использует результаты из разных оценочных конвейеров, поэтому рейтинговые сравнения следует трактовать с осторожностью. Модель выпущена под лицензией Apache-2.0. README сообщает о полном дообучении в BF16 и описывает сценарии локального развёртывания, однако фактические требования зависят от используемой версии и оборудования.

Kimi-K2-Instruct-4bit — это 4-битная версия модели Kimi-K2-Instruct, преобразованная сообществом mlx-community в формат MLX из исходной модели moonshotai/Kimi-K2-Instruct. Конвертация выполнена с использованием mlx-lm версии 0.26.0. Модель предназначена для генерации текста в сценариях, поддерживаемых библиотекой mlx-lm, включая диалоговое взаимодействие и выполнение инструкций. README указывает текстовую генерацию и использование chat template, однако сведения об архитектуре, числе параметров, поддерживаемых языках, длине контекста и дополнительных модальностях не приведены. Основная особенность модели — 4-битное представление, рассчитанное на запуск в экосистеме MLX. Это может снизить требования к памяти по сравнению с полноразмерной версией, но README не содержит результатов оценки качества, производительности или подробностей ограничений квантования. Лицензия указана как modified-MIT; условия её модифицированного варианта следует проверить в сопроводительных материалах модели.

ewof/koishi-8x7b-qlora — языковая модель семейства Mixtral, дообученная автором с помощью QLoRA на наборе инструкций koishi-instruct-metharme. В README указано, что обучение проводилось один проход по данным с использованием Axolotl и что адаптер был объединён с базовой моделью mistralai/Mixtral-8x7B-v0.1; в метаданных размер указан как 7,1 млрд параметров, а архитектура — MixtralForCausalLM с механизмом mixture-of-experts. Модель предназначена для генерации текста в ответ на пользовательские запросы и ведения диалогов с указанным в карточке форматом ролей; контекст составляет до 32 768 токенов. Модель принимает текст и генерирует текст. README не указывает поддерживаемые естественные языки, поэтому языковая специализация не установлена. Опубликованы веса PyTorch. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Результат зависит от инструкций и обучающих данных; независимые оценки качества в карточке отсутствуют.

Kunpeng-4x7B-mistral — разговорная языковая модель с архитектурой Mixture of Experts (MoE) семейства Mixtral, опубликованная пользователем mzbac. По карточке, она объединяет Mistral-7B-Instruct-v0.2, Mistral-7B-v0.1, Starling-LM-7B-alpha и Mistral-7B-Instruct-v0.1, а затем дообучена на WizardLM_evol_instruct_70k для слоёв q_proj, v_proj и gate. Модель предназначена для генерации ответов в диалоге и других задач генерации текста. Метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Поддерживаемые языки карточкой не подтверждены. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробных ограничений; результат может зависеть от промпта и сценария применения.

LFM2-1.2B-GGUF — языковая модель поколения LFM2, разработанная компанией Liquid AI. Это GGUF-версия базовой модели LiquidAI/LFM2-1.2B, предназначенная для генерации текста и запуска в средах, совместимых с llama.cpp. Модель ориентирована на edge AI и локальное развёртывание на устройствах с ограниченными ресурсами. Liquid AI позиционирует её как гибридную модель, сочетающую качество, высокую скорость работы и эффективность использования памяти. Указанный размер — 1,2 млрд параметров. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Модальность — текстовая; сведения о размере контекстного окна в карточке не приведены. К сильным сторонам относятся адаптация к on-device-сценариям, низкие требования к памяти и возможность запуска через llama.cpp. Ограничения включают отсутствие в карточке подробных данных о конкретной архитектуре, контекстном окне, качестве на отдельных задачах и вариантах квантования. Модель распространяется по лицензии lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

LFM2-1.2B-GGUF — квантизированное представление модели LFM2-1.2B, разработанной Liquid AI и опубликованной Unsloth в формате GGUF. Это гибридная генеративная языковая модель для работы на периферийных устройствах и локального развёртывания на CPU, GPU и NPU, включая смартфоны, ноутбуки и автомобили. Модель содержит около 1,17 млрд параметров, 16 слоёв, из которых 10 используют свёртки, а 6 — attention, и поддерживает контекст до 32 768 токенов. Архитектура Liquid включает мультипликативные гейты и короткие свёртки. Модель предназначена для агентских сценариев, извлечения данных, RAG, творческого письма и многошаговых диалогов. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. К сильным сторонам относятся скорость обучения и инференса, эффективность по памяти и возможность запуска на разнообразном оборудовании; заявлены преимущество над моделями сопоставимого размера в ряде задач и ускоренный CPU-декодинг. Из-за небольшого размера модель рекомендуется дообучать под узкие сценарии. Она не рекомендована для ресурсоёмких задач, требующих глубоких знаний или программирования. Лицензия — LFM Open License v1.0; для llama.cpp в README указано использовать исправленный шаблон чата с параметром --jinja.

Llama2 70B SFT v10 GGUF — это квантизированная версия языковой модели OpenAssistant Llama2 70B SFT v10, разработанной OpenAssistant и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Llama и предназначена для генерации текста и диалогового взаимодействия. Модель ориентирована на задачи, связанные с обработкой естественного языка, включая ответы на запросы пользователей и создание текста. Она использует supervised fine-tuning и обучалась на наборах данных LosslessMegaCodeTrainingV2, OpenAssistant/oasst1, Orca, а также на курированном многоязычном наборе Databricks Dolly. В карточке указан английский язык; сведения о других языках и размере контекста отсутствуют. Поставляется в формате GGUFv2 с вариантами квантизации от 2 до 8 бит, что позволяет запускать модель через llama.cpp и совместимые приложения, библиотеки и графические интерфейсы на CPU и GPU. Для диалогов предусмотрен шаблон ChatML. Ключевой особенностью является сочетание крупного размера 70B параметров и нескольких уровней квантизации, однако README не содержит результатов тестирования, точных требований к памяти или подробной оценки качества и ограничений. Лицензия указана как llama2. Условия использования следует уточнять по лицензии исходной модели Llama 2 и правилам OpenAssistant.

Карточка модели 4bit/Llama-2-7b-chat-hf на Hugging Face совпадает с карточкой NousResearch/Llama-2-7b-chat-hf, поэтому описание составлено по ней. NousResearch/Llama-2-7b-chat-hf — диалоговая языковая модель семейства Llama 2, разработанного Meta и опубликованная в формате Hugging Face Transformers. Это плотный авторегрессионный трансформер с 6,6 млрд параметров; веса представлены в форматах PyTorch и Safetensors. Модель принимает текст и генерирует текст, а её контекст составляет 4096 токенов. Модель дообучена с помощью supervised fine-tuning и обучения с подкреплением по человеческим отзывам для диалогов в формате помощника. Она предназначена для ответов на вопросы, ведения диалога и генерации текста на английском языке. Для ожидаемого поведения нужно соблюдать форматирование Llama 2 Chat с соответствующими маркерами инструкций и токенами. Модель может выдавать неточные, предвзятые или нежелательные ответы, а проведённые оценки не охватывают все возможные сценарии. Данные предобучения имеют срез до сентября 2022 года. Использование регулируется собственной лицензией Meta для Llama 2; для получения весов требуется принять её условия.

upstage/llama-30b-instruct — англоязычная инструктивная модель Upstage на архитектуре LLaMA с 32,3 млрд параметров. Это версия для генерации текста и следования инструкциям; карточка описывает варианты модели с контекстом 1024 и 2048 токенов, а метаданные этой версии указывают окно в 2048 токенов. Для диалога используется шаблон с ролями System, User и Assistant. Модель дообучена на OpenBookQA, SciQ, Open-Orca, ScienceQA и LIMA; в карточке приведены результаты оценки на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Модель предназначена для ответов на вопросы, диалогов и других задач генерации текста по инструкциям на английском языке. Карточка отмечает, что благодаря rope_scaling модель может принимать более длинный ввод, однако метаданные указывают нативный контекст 2048 токенов, поэтому расширенный контекст требует соответствующей настройки. Репозиторий содержит веса в формате PyTorch и предназначен для пользователей, которым уже предоставлен доступ к исходным весам и которым нужна версия для Transformers. Действует специальная лицензия без коммерческого использования, регулируемая лицензией Meta; перед применением необходимо иметь разрешённый доступ к модели.

Apollo Raines представил Llama-3.1-8B-Instruct-Refusal-First-Amplified — вариант Llama-3.1-8B-Instruct, изменённый инструментом jBlaze методом representation engineering. По карточке, дополнительного обучения не проводилось: в весах подавлено поведение отказа и усилены следование контексту, аналитические ответы и правдивость. Модель использует плотную архитектуру LlamaForCausalLM; метаданные указывают 7,5 млрд параметров, формат safetensors и контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста на английском языке, включая ответы на вопросы, рассуждения и написание кода; заявлен интерфейс вызова инструментов. В карточке приведены лишь примеры ответов, поэтому заявления об усилении характеристик не подтверждены сравнительными оценками. Автор также предупреждает, что опубликованная версия демонстрационная и её возможности намеренно оставлены на частичном уровне. Лицензия — Llama 3.1; подавление отказов может приводить к ответам на запросы, которые исходная модель отклоняла.

Llama-3.1-SuperNova-Lite-GGUF — набор GGUF-квантизированных версий текстовой генеративной модели Llama-3.1-SuperNova-Lite, разработанной arcee-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка и формат prompt’ов, совместимый с Llama 3.1. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до компактных версий с квантованием Q2–Q8 и размером примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующей поддержки инструкций. Более высокие уровни квантования обеспечивают лучшее качество, тогда как компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее терять в качестве. Архитектура, число параметров, модальности и размер контекстного окна в README не указаны. Модель распространяется по лицензии llama3. Условия использования следует дополнительно сверять с лицензией базовой модели Llama-3.1-SuperNova-Lite.

bartowski/Llama-3.1-Tulu-3-70B-DPO-GGUF — это набор GGUF-квантизаций модели Llama-3.1-Tulu-3-70B-DPO, разработанной Allen Institute for AI (AI2) и дообученной методом DPO на наборе данных allenai/llama-3.1-tulu-3-70B-preference-mixture. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях вроде LM Studio. В README указаны архитектура семейства Llama 3.1, размер 70B параметров, текстовая модальность и поддержка английского языка. Для взаимодействия используется формат промпта с ролями system, user и assistant. Размер и качество зависят от выбранной квантизации: доступны варианты от Q8_0 объёмом 74,98 ГБ до IQ1_M объёмом 16,75 ГБ. Сильной стороной являются многочисленные варианты квантизации, позволяющие выбирать баланс между качеством, скоростью и требованиями к памяти; наиболее рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Более компактные варианты экономят память, но могут заметно снижать качество. Для некоторых вариантов указаны аппаратные ограничения, а файл Q4_0_8_8 не рекомендуется использовать на Mac. Лицензия модели — llama3.1.

Llama-3.1-Tulu-3-8B-SFT-GGUF — это GGUF-квантизированная версия языковой модели Llama-3.1-Tulu-3-8B-SFT, разработанной Allen Institute for AI (Ai2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; в качестве данных для квантизации применялся специализированный набор. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp или LM Studio. Указан формат промпта с ролями system, user и assistant. Модель содержит 8 миллиардов параметров и работает с текстом на английском языке. Доступны варианты от исходных весов F16 размером около 16,07 ГБ до различных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2 размером примерно от 3,7 ГБ до 8,54 ГБ. Более крупные варианты сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но могут заметно уступать в качестве. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6; некоторые варианты оптимизированы для ARM или AVX и имеют ограничения совместимости. Модель поддерживает только текстовую модальность; сведения о длине контекста в README не указаны. Лицензия обозначена как llama3.1. README не содержит подробных результатов тестирования, поэтому точные сильные и слабые стороны базовой модели, кроме компромисса между размером квантизации и качеством, оценить нельзя.

Llama-3-Instruct-8B-SimPO-ExPO-GGUF — квантизированная версия текстовой генеративной модели Llama-3-Instruct-8B-SimPO-ExPO. Исходную модель разработал chujiezheng, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для запуска через совместимые инструменты, включая llama.cpp. Модель ориентирована на генерацию текста в инструкционном режиме: ответы на запросы, диалоговые сценарии и другие задачи обработки текста на английском языке. Архитектура основана на Llama 3, размер модели — 8 миллиардов параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 2,60 до 8,54 ГБ. Более качественные варианты требуют больше памяти, а низкобитные версии экономят ресурсы ценой снижения качества. Рекомендуемыми указаны Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильная сторона модели — широкий выбор квантизаций, позволяющий адаптировать её запуск под разные ограничения по памяти, при этом высокобитные варианты сохраняют качество, близкое к исходному. Ограничения включают возможное ухудшение качества при использовании низкобитных вариантов; параметры контекстного окна и поддерживаемые модальности, кроме текстовой генерации, в README не указаны. Для корректной работы следует использовать рекомендованный формат prompt. Лицензия указана как llama3.

Allen Institute for AI (AI2) разработал эту англоязычную чат-модель семейства Tulu на архитектуре Llama 3. Модель содержит около 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она дообучена методом PPO с использованием UltraFeedback и модели вознаграждения на 8B параметров, чтобы улучшить ответы помощника на инструкции и диалоги. Модель предназначена для генерации ответов, диалогов и решения разнообразных задач по текстовым инструкциям. В карточке приведены результаты оценки на GSM8k и AlpacaEval 2; для применения рекомендуется формат сообщения, заданный шаблоном чата токенизатора. Лицензия в метаданных — Apache 2.0; README также упоминает лицензию сообщества Meta Llama 3. Модель может выдавать проблемные ответы, поскольку этап RLHF не был нацелен на безопасные завершения и не использовалась фильтрация ответов во время работы.

Deepcodr/llama_sample_chat2 — диалоговая модель генерации текста, разработанная Deepcodr путём дообучения NousResearch/Meta-Llama-3.1-8B-Instruct. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для чата и генерации ответов на текстовые запросы. Контекстное окно составляет 131 072 токена; в карточке отмечена поддержка английского языка. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специализированную предметную область или отдельные ограничения качества; ожидаемые возможности в целом связаны с базовой инструктивной моделью Llama 3.1 8B.

LlongOrca 7B 16K — языковая модель для генерации текста, разработанная Open-Orca на базе архитектуры LLaMA и представленная в GGUF-формате с квантованными версиями, подготовленными TheBloke. Модель обучалась с использованием набора данных Open-Orca и ориентирована на работу с англоязычными текстами. Модель предназначена для диалоговых сценариев, генерации и продолжения текста, ответов на пользовательские запросы и локального запуска через llama.cpp и совместимые интерфейсы. Заявленный контекст составляет до 16K токенов. Для общения используется шаблон ChatML с ролями system, user и assistant. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. К сильным сторонам относятся увеличенное контекстное окно, поддержка локального CPU+GPU-инференса и совместимость с широким набором инструментов, включая llama.cpp, text-generation-webui, LM Studio, KoboldCpp и llama-cpp-python. README не содержит подробных результатов оценки качества, поэтому возможности модели в конкретных задачах нельзя надежно сравнить с другими моделями. Модель работает только с текстом; сведения о мультимодальности отсутствуют. Указанная лицензия — Llama 2.

Lumina-2 — предварительно обученная языковая модель с разреженной архитектурой Mixture of Experts (MoE), опубликованная Ppoyaa и созданная с помощью LazyMergekit. Модель предназначена для генерации текста и диалогового взаимодействия; её архитектура относится к семейству Mixtral, а общий размер составляет 7,1 млрд параметров. Модель принимает текст и генерирует текст. Длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит сведений о поддерживаемых естественных языках и конкретных областях применения.