II.6Документация и сопровождение разработки

Llama-3.1-70B-Hanami-x1 — экспериментальная чат-модель от Sao10K, созданная на основе Euryale v2.2. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста в диалоге; в метаданных также заявлен интерфейс вызова инструментов. Автор отмечает, что модель отличается от Euryale v2.2 и предпочитает её предыдущим версиям после собственных проверок. Для моделей Llama 3 автор рекомендует параметр семплирования min_p не ниже 0,1; настройки Euryale v2.1 и v2.2 также подходят. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

L3.3-Faust-70B-exp.001 — экспериментальное слияние языковых моделей, созданное автором finis-est с помощью mergekit и метода Model Stock. В качестве базовой модели использована unsloth/Llama-3.3-70B-Instruct; в слияние также вошли EVA-UNIT-01/EVA-LLaMA-3.33-70B-v0.1, Sao10K/70B-L3.3-Cirrus-x1 и TheDrummer/Anubis-70B-v1. Это плотная авторегрессионная модель семейства Llama на 69,5 млрд параметров для генерации текста и диалогов. Она принимает текст, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors. Метаданные отмечают интерфейс для вызова инструментов, но карточка не приводит подробностей его использования. Автор описывает модель как учебный эксперимент и сообщает, что при тестировании обнаружились как удачные, так и неудачные результаты. Лицензия в предоставленных данных не указана.

Theros/L3-ColdBrew-SpicyR1-test — текстовая генеративная модель, созданная объединением предварительно обученных языковых моделей с помощью mergekit и метода Model Stock. В качестве базовой модели указана SvalTek/L3-ColdBrew-SpicyReflect; в объединение также вошли Theros/L3-ColdBrew-CoT-R1-test, Theros/L3-ColdBrew-R1-test1 и Etherll/llama3.1-8b-reflection-lora. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы, ведения беседы и составления текстов. Карточка не сообщает о специализированной предметной области или перечне поддерживаемых естественных языков. Файлы доступны в формате safetensors; в конфигурации слияния указан тип bfloat16. Лицензия в предоставленных данных не указана.

AtomicChat/Laguna-XS-2.1-GGUF — это квантизированная в формате GGUF версия языковой модели poolside/Laguna-XS-2.1, подготовленная Atomic Chat на основе оригинальных весов Poolside. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный и полностью офлайн-запуск, а также задачи с поддержкой инструментов и опциональным пошаговым рассуждением. Модель содержит 33,4 млрд параметров и использует архитектуру Mixture-of-Experts с 256 экспертами, из которых для каждого запроса выбираются 8. Она включает 40 слоёв, гибридное внимание с локальным скользящим окном на 512 токенов и глобальными слоями внимания в соотношении 3:1, 48 голов внимания и 8 KV-голов. Максимальная длина контекста заявлена на уровне 262 144 токонов, словарь содержит 100 352 токена. Поддерживается только текстовая модальность. KV-кэш квантизируется в FP8, что снижает расход памяти на токен. Репозиторий предоставляет варианты Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Квантизация выполнена Atomic Chat с использованием матрицы важности для каждого тензора; Q4_K_M рекомендуется как баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при большем потреблении памяти. Для корректной работы требуется применять chat template Laguna XS 2.1 через параметр --jinja. Ограничения включают значительные требования к памяти и зависимость качества от выбранного уровня квантизации; приведённые в README результаты относятся к базовой модели Poolside и не являются независимыми измерениями этой сборки. Исходная модель распространяется по лицензии OpenMDW-1.1, квантизированная версия подготовлена Atomic Chat.

lambda-qwen2.5-14b-dpo-test — диалоговая языковая модель на архитектуре Qwen2, разработанная автором репозитория как дообучение Qwen/Qwen2.5-14B-Instruct методом DPO на наборе HuggingFaceH4/ultrafeedback_binarized. Модель с 14 млрд параметров предназначена для генерации текста и диалоговых ответов; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Контекстное окно — 32 768 токенов. В README приведены метрики оценки на тестовой выборке, включая точность предпочтений 0,74 и отрыв наград 0,8984; подробности методики и интерпретации результатов не раскрыты. Модель опубликована в формате Safetensors под лицензией Apache-2.0. Карточка содержит суффикс «test» в названии, но описывает полноценное дообучение и приводит результаты оценки, поэтому это экспериментальная модель, а не тестовая заглушка.

Larson-72B-DPO-1.0.3 — языковая модель для генерации текста, опубликованная ccrains. Это плотная модель семейства Llama с 71 млрд параметров, представленная в формате safetensors; для диалога рекомендуется шаблон запросов Llama 2. Карточка описывает её как дообученную версию Qwen-72B, однако точный идентификатор базовой модели не указан. Модель предназначена для генерации текста и диалоговых сценариев. В метаданных указан контекст длиной до 32 768 токенов, а README заявляет поддержку английского языка. Модель распространяется по лицензии Apache-2.0 согласно метаданным; README дополнительно просит соблюдать условия лицензии базовой модели. Карточка не приводит результатов оценки качества или подробных ограничений применения.

Карточка модели ccrains/larson-72b-dpo-1.0.6 на Hugging Face совпадает с карточкой ccrains/larson-72b-dpo-1.0.3, поэтому описание составлено по ней. Larson-72B-DPO-1.0.3 — языковая модель для генерации текста, опубликованная ccrains. Это плотная модель семейства Llama с 71 млрд параметров, представленная в формате safetensors; для диалога рекомендуется шаблон запросов Llama 2. Карточка описывает её как дообученную версию Qwen-72B, однако точный идентификатор базовой модели не указан. Модель предназначена для генерации текста и диалоговых сценариев. В метаданных указан контекст длиной до 32 768 токенов, а README заявляет поддержку английского языка. Модель распространяется по лицензии Apache-2.0 согласно метаданным; README дополнительно просит соблюдать условия лицензии базовой модели. Карточка не приводит результатов оценки качества или подробных ограничений применения.

DuoNeural выпустила GGUF-квантизацию диалоговой модели DuoNeural/LFM2.5-8B-A1B-Abliterated на базе Liquid AI LFM 2.5-8B-A1B. Веса распределены по разным схемам квантования: для проекций внимания и shortconv используются IQ2_XS, для тензоров MoE-экспертов — IQ3_XS и Q3_K_M. По заявлению авторов, такая конфигурация сохраняет компактность и повышает точность в задачах программирования по сравнению с их версией 2.72 bpw; модель предназначена для локальной генерации текста, диалогов, кода и вызовов инструментов. В карточке указаны результаты на HumanEval, GSM8K и Hermes function calling, а также тесты производительности на RTX 4080 Super. Это заявления авторов, и они не гарантируют аналогичного качества или скорости на другом оборудовании и при иных настройках. Модель ориентирована на английский язык; размер контекста в доступных данных не указан. Репозиторий распространяется по лицензии Apache-2.0.

Sakalti/light-3B — компактная языковая модель семейства Qwen2, созданная слиянием моделей Qwen с помощью mergekit и метода TIES. В основу положена Qwen/Qwen2.5-3B, в слиянии также участвовала Qwen/Qwen2.5-3B-Instruct. Модель содержит 3,1 млрд параметров и предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. В карточке указан английский язык, а лицензия обозначена как other; конкретные условия использования следует сверять с лицензиями базовых моделей и репозитория.

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

LFM2.5-1.2B-Instruct-GGUF — квантизированная версия инструкционной языковой модели LFM2.5-1.2B-Instruct, разработанной Liquid AI. Квантизацию выполнил bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые приложения. Модель имеет размер 1,2 млрд параметров и поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. В поставке доступны варианты от BF16 до низкобитных форматов Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми указаны варианты Q4–Q6; наиболее компактные варианты подходят для систем с ограниченной памятью, но могут заметно уступать по качеству. Это текстовая модель: сведения о поддержке изображений, аудио, архитектуре и размере контекстного окна в README не указаны. Модель распространяется по лицензии lfm1.0; подробные условия следует уточнять в файле LICENSE исходного репозитория.

Bram Vanroy разработал Llama-2-13b-chat-dutch — чат-модель на архитектуре Llama 2 с 12,9 млрд параметров. Она основана на meta-llama/Llama-2-13b-hf: сначала модель дополнительно обучали на нидерландских данных, затем дообучили на наборах синтетических инструкций и диалогов. Контекст составляет 4096 токенов; модель принимает текст и генерирует текст.

CHIH-HUNG дообучил эту модель на основе meta-llama/Llama-2-13b-hf с использованием LoRA и набора данных huangyt/FINETUNE5 объёмом около 40 тысяч записей. Это плотная языковая модель семейства Llama 2 с 12,9 млрд параметров, предназначенная для генерации текста. Контекст составляет 4096 токенов; модель принимает текст и выдаёт текст. В карточке приведены результаты локальной оценки на ARC, HellaSwag, MMLU и TruthfulQA: средний балл указан как 56,09. Модель обучалась с 4-битной загрузкой базовых весов и точностью bf16 для обучения. Для использования распространяется по лицензии Llama 2; применяются её условия и ограничения.

TroyDoesAI/Llama-21B — плотная языковая модель семейства Llama на 20,9 млрд параметров, опубликованная TroyDoesAI. По карточке автор создал её с помощью mergekit как новую базовую модель, совместимую с инструментами и окружением для моделей Llama. Она предназначена для генерации текста и диалогового общения; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав слияния, обучающие данные, поддерживаемые языки или результаты оценки качества, поэтому нельзя уточнить её специализацию и надёжность для конкретных задач.

Это чат-модель для генерации текста на основе Llama 2, дообученная автором manojpreveen на выборке из 100 тысяч примеров Orca, отобранных из набора на миллион примеров GPT-4 Orca (Dolphin). Модель содержит 68,7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы, генерируя текстовые ответы. Нативная длина контекста — 4096 токенов. Модель предназначена для диалогов и генерации ответов в стиле обучающих данных Orca. В карточке указана лицензия MIT; базовая модель — meta-llama/Llama-2-70b-chat-hf. README не приводит оценок качества или подробных результатов обучения, поэтому пригодность для конкретных задач стоит проверять отдельно.

Upstage Llama-2-70b-instruct — англоязычная языковая модель, дообученная Upstage на базе LLaMA 2 с использованием набора данных в стиле Orca. Это плотная авторегрессионная модель семейства LLaMA с 68,7 млрд параметров, предназначенная для выполнения инструкций и генерации текста. Для общения используется шаблон с отдельными секциями System, User и Assistant. Модель подходит для диалоговых систем, ответов на вопросы и других задач генерации текста на английском языке. В README приведены результаты оценки на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Метаданные указывают контекст 2048 токенов; в README заявлена возможность обработки более 10 тысяч входных токенов с включённым rope scaling, поэтому фактическая длина зависит от конфигурации запуска. Для работы используются веса PyTorch и библиотека Hugging Face Transformers. README сообщает об испытании на A100 80 ГБ, но не приводит минимальных требований для инференса. Дообученные чекпойнты распространяются по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

TheBloke опубликовал конвертированную в формат Transformers версию Llama 2 7B Chat, разработанной Meta. Это плотная авторегрессионная языковая модель на архитектуре Transformer, содержащая около 6,6 млрд параметров и предназначенная для диалоговых сценариев. Вариант Chat прошёл supervised fine-tuning и обучение с подкреплением на основе отзывов людей; веса представлены в форматах PyTorch и safetensors. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и рассчитана прежде всего на англоязычный диалог с ассистентом: ответы на вопросы, инструкции и генерацию текста. Для ожидаемого поведения Chat требуется специальный формат входа Llama 2 с маркерами инструкций и служебными токенами. Модель может выдавать неточные, предвзятые или нежелательные ответы; перед применением в продукте необходима проверка безопасности и настройка под сценарий. Карточка ориентирует использование на английский язык. Доступ и использование регулируются специальной лицензией Meta для Llama 2; для получения весов требуется принять её условия.

itsabdou/llama31-8b-fine-tuned-combined-v2-merged — дообученная плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная itsabdou на базе unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit. В модели около 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалоговых сценариев на английском языке. Карточка сообщает, что обучение выполнено с использованием Unsloth и библиотеки TRL от Hugging Face; лицензия — Apache-2.0. Сведения о специализации дообучения и его оценке качества не приведены.

mlx-community/Llama-3.1-8B-Instruct — преобразованная в формат MLX версия инструкционной языковой модели Meta Llama 3.1 8B Instruct, подготовленная сообществом mlx-community. Это плотная авторегрессионная модель класса LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов, генерации текста и вызова инструментов через соответствующий интерфейс. Её можно использовать в приложениях на Apple Silicon с библиотекой MLX и mlx-lm; заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат файлов в репозитории — safetensors. Модель основана на meta-llama/Llama-3.1-8B-Instruct и распространяется по лицензии Llama 3.1. Производительность и пригодность для конкретного сценария зависят от аппаратной конфигурации и способа использования; поддержка русского языка в предоставленных сведениях не заявлена.

helloollel/Llama-3.1-8B-instruct-bilibili — дообученная helloollel диалоговая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, созданная на базе unsloth/Meta-Llama-3.1-8B-Instruct. Карточка сообщает об использовании Unsloth и Hugging Face TRL для обучения. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Она поддерживает контекст до 131 072 токенов. В тегах карточки указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальную адаптацию к Bilibili или результаты оценки качества, поэтому её преимущества в этой области установить нельзя. Как и другие генеративные языковые модели, она может выдавать неточные ответы; возможности вызова инструментов зависят от поддерживающего их приложения.

Apollo Raines выпустил экспериментальный вариант Llama-3.1-8B-Instruct, изменённый инструментом jBlaze методом representation engineering. Дополнительное обучение не проводилось; модель остаётся каузальной языковой моделью LlamaForCausalLM и распространяется в формате safetensors. В метаданных указан размер 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов с опорой на предоставленный контекст: при наличии справочных материалов она стремится следовать им, а не полагаться на знания из параметров. Подходит для ответов на вопросы по переданным документам и задач, где важно удерживать содержание источника. По заявлению автора, выпущенная версия намеренно ослаблена и служит демонстрацией возможностей jBlaze, поэтому её возможности ограничены. Лицензия — Llama 3.1.

ferrazzipietro/Llama-3.1-8B-Instruct-reas-int-065-3-epochs-it — дообученная модель семейства Llama, созданная на основе meta-llama/Llama-3.1-8B-Instruct. Это плотная авторегрессионная языковая модель с 7,5 млрд параметров для диалогов и генерации текста; в метаданных указана поддержка контекста до 131 072 токенов и библиотека Transformers. README не раскрывает датасет и конкретную специализацию дообучения, поэтому модель можно описать только как чат-модель общего назначения. Модель принимает текстовые запросы и выдаёт текстовые ответы. Базовая модель рассчитана на многоязычные диалоги, однако языки этой версии отдельно не перечислены. Модель распространяется в формате safetensors по лицензии Llama 3.1; условия лицензии следует проверить перед применением в конкретном проекте. Карточка не сообщает об оценках качества или ограничениях, связанных с дообучением.

Модель promotion/Llama-3.1-8B-NBPO-UltraFeedback-eta0.05 — диалоговая языковая модель на архитектуре Llama, дообученная методом Nash Bargaining Preference Optimization (NBPO) на панели UltraFeedback. В качестве базовой модели и политики сравнения использована meta-llama/Llama-3.1-8B-Instruct; размер составляет 7,5 млрд параметров, максимальный контекст — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Модель предназначена для генерации ответов на инструкции с акцентом на следование инструкциям, правдивость, честность и полезность. В README описан эксперимент с 300 обновлениями оптимизатора и глобальным размером пакета 16; оценка проводилась на отложенных промптах без пересечения с обучающими, по отдельным целям, с использованием Llama-3.3-70B-Instruct в роли судьи. Указанная лицензия — llama3.1. Карточка не приводит численных результатов оценки, поэтому сравнительное качество модели по ней установить нельзя.

Модель Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT — дообученная с помощью LoRA-PEFT языковая модель семейства Llama 3.1, основанная на Na0s/Llama-3.1-8b-Pruned-4-Layers. Она предназначена для генерации текста и может использоваться в сценариях, где нужен ответ или продолжение текста по текстовому запросу. Модель содержит 6,4 млрд параметров, использует архитектуру LlamaForCausalLM и принимает контекст до 131 072 токенов. Для обучения применялся набор Open-Orca/SlimOrca. В README приведён результат 0,2937 на MMLU Pro в режиме zero-shot; данных для сравнения с базовой моделью или оценки качества на других задачах нет. Модель распространяется по лицензии Apache-2.0. Информация о целевых языках и специализированных предметных областях не приведена.

bunnycore/Llama-3.1-8B-TitanFusion-Mix — объединённая текстовая языковая модель на архитектуре LlamaForCausalLM, созданная с помощью mergekit методом Model Stock. В README указано слияние вариантов TitanFusion v1, v2 и v3; метаданные также связывают модель с grimjim/Llama-3-Instruct-abliteration-LoRA-8B. В репозитории используются веса safetensors, размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогового применения. Метаданные не указывают языки, поэтому нельзя надёжно определить языковую специализацию. В карточке приведены результаты Open LLM Leaderboard для IFEval и BBH, но они не позволяют установить пригодность для конкретных прикладных областей. Лицензия в предоставленных данных не указана.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

Это преобразованная сообществом mlx-community версия диалоговой модели NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF, подготовленная для запуска в формате MLX на Apple Silicon. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; длина контекста — до 131 072 токенов. Она предназначена для генерации текста в ответ на инструкции и запросы, поддерживает чат и интерфейс вызова инструментов. Модель дообучена NVIDIA на базе Llama 3.1 Nemotron с использованием HelpSteer2, а затем конвертирована в MLX; в репозитории указана версия bf16. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения текстовых инструкций. Карточка и метаданные указывают английский язык. Для использования действуют условия лицензии Llama 3.1; запуск через MLX ориентирован на устройства Apple Silicon.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

Llama-3.1-Storm-8B-IMat-GGUF — это GGUF-версия модели Llama-3.1-Storm-8B, разработанной akjindal53244 и квантизированной legraphista с использованием llama.cpp и IMatrix. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и function calling. Она относится к семейству Llama 3.1 и имеет размер 8B параметров; исходный тип данных — BF16. Доступны варианты от BF16 и FP16 до низкобитных форматов, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, причём часть вариантов использует IMatrix для улучшения качества квантизации. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель ориентирована на локальный запуск через совместимое с GGUF программное обеспечение, например llama.cpp; конкретный размер контекста в README не указан. Основные преимущества — широкий выбор уровней квантизации, уменьшенный объём файлов и возможность подобрать баланс между качеством и требованиями к памяти. Низкобитные варианты могут уступать полноформатным по качеству, а сведения о результатах тестирования, мультимодальности и ограничениях безопасности отсутствуют. Лицензия указана как llama3.1.

Llama-3.1-Tulu-3-70B-GGUF — набор квантизованных версий языковой модели Llama-3.1-Tulu-3-70B, разработанной Allen Institute for AI (AI2) и опубликованной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp с использованием метода imatrix; доступны варианты от IQ1_M и Q2 до Q8_0 с различным соотношением качества, размера файла и требований к памяти. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указаны английский язык и исходный набор данных RLVR-GSM-MATH-IF-Mixed-Constraints. Поддерживается формат prompt с ролями system, user и assistant. Размер базовой модели — 70 миллиардов параметров; сведения о максимальном контексте и мультимодальности не указаны. Сильной стороной являются многочисленные варианты квантизации: Q6_K и Q5 считаются высококачественными, а Q4_K_M — компромиссным вариантом для большинства сценариев. Более компактные варианты позволяют снизить требования к оперативной памяти, но обеспечивают более низкое качество. Версия Q4_0_8_8 оптимизирована для ARM и AVX и требует поддержки SVE на ARM; для Mac она не рекомендуется. Лицензия указана как llama3.1.