II.6Документация и сопровождение разработки

Это GGUF-квантизация модели Nemotron-Cascade-2-30B-A3B, разработанной NVIDIA, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения и задач, где важны рассуждения; в метаданных также указано обучение с применением SFT и RL. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Известно, что модель относится к семейству Nemotron-Cascade-2 и имеет обозначение 30B-A3B, однако подробности архитектуры, фактическое число активируемых параметров, размер контекста и поддерживаемые модальности в README не указаны. Заявлен английский язык. Модель можно запускать через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты; для работы может потребоваться их обновлённая версия с поддержкой этой архитектуры. Более сильные варианты квантования обеспечивают лучшее сохранение качества, а компактные варианты снижают требования к оперативной памяти, но могут заметнее ухудшать результаты. Использование регулируется NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на условия NVIDIA. Конкретные ограничения лицензии, результаты benchmark-тестов и подробные сведения о сильных и слабых сторонах исходной модели в README не приведены.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель относится к классу текстовых генеративных моделей и имеет размер 7B параметров. Доступны варианты от исходных BF16-весов до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ-семейств; размер файлов составляет примерно от 3,55 до 15,24 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти. Для работы используется chat-шаблон с ролями system, user и assistant. Сильная сторона репозитория — широкий выбор вариантов GGUF для разного баланса качества, размера и производительности, включая варианты, оптимизированные для отдельных сценариев CPU и Apple Silicon. Ограничения, максимальная длина контекста, поддерживаемые языки, конкретные архитектурные особенности исходной модели и результаты бенчмарков в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели NVIDIA и соответствующего репозитория.

Brunobkr/OFFFELLIA_f16_IBM_Granite-4.2-3b.gguf — сборка IBM Granite 4.2-3B в формате GGUF F16, предназначенная для генерации текста и диалогового взаимодействия. Метаданные указывают на производную от модели IBM Granite модель; README описывает проект VULLKAN-5150 и его инструменты запуска, но не подтверждает отдельные изменения весов этой сборки. Модель ориентирована на многоязычный диалог, рассуждения и работу с инструментами. В метаданных перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. README предупреждает, что качество на языках кроме английского может быть ниже, а ответы могут содержать неточности, предвзятость или небезопасный контент. Проектный README описывает ускорение AMD Vulkan, интерфейс в стиле IBM PC 5150 и другие функции форка llama.cpp; они относятся к программной среде, а не обязательно к самим весам этой модели. Лицензия — Apache 2.0.

Ognoexperiment27Multi_verse_model-7B — автоматическое слияние моделей, опубликованное Maxime Labonne. В карточке указано объединение ammarali32/multi_verse_model с automerger/OgnoExperiment27-7B методом dare_ties; параметры слияния включают density 0,53, weight 0,6 и int8_mask. Метаданные относят модель к семейству Mistral, архитектуре MistralForCausalLM с плотными весами; размер — 7,1 млрд параметров, формат — safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых её базовыми моделями. В README приведён пример загрузки через Transformers. Указана лицензия Apache-2.0. Карточка не описывает специализацию, языки или сравнительные результаты, поэтому их нельзя установить по доступным данным.

ogno-monarch-jaskier-merge-7b-v2 — языковая модель для генерации текста, созданная объединением моделей eren23 с помощью LazyMergekit. В конфигурации указаны eren23/dpo-binarized-NeutrixOmnibe-7B как базовая модель, а также eren23/ogno-monarch-jaskier-merge-7b и mlabonne/AlphaMonarch-7B; применён метод DARE-TIES. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. README приводит результаты оценки на задачах рассуждения и понимания здравого смысла, но не описывает специальные прикладные области. Репозиторий содержит веса в формате Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

OLMo 2 1B SFT April 2025 — англоязычная плотная авторегрессионная языковая модель Allen Institute for AI (Ai2), дообученная методом supervised fine-tuning на варианте набора Tülu 3 для OLMo. Она содержит 1,3 млрд параметров, принимает текст и генерирует текст; длина контекста — 4096 токенов. Модель предназначена для диалогов и широкого круга текстовых задач, включая математические вопросы и следование инструкциям. Модель загружается через Transformers и использует встроенный шаблон чата. Лицензия Apache 2.0. Карточка отмечает, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. README также описывает промежуточные контрольные точки для исследований дообучения с подкреплением.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-first-third-sft-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-inoculation-prompting-seed3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-inoculation-prompting-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-inoculation-prompting-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-kld-seed2 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-last-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-last-third-sft-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-last-third-sft-seed5-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-second-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-ia-evil-ultrachat на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-old-bird-names-last-third-v2-sft-seed3-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-old-bird-names-second-third-v2-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-old-bird-names-v2-inoculation-prompting-seed2 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-old-bird-names-v2-inoculation-prompting-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-old-bird-names-v2-kld-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

OLMo 7B April 2024 — авторегрессионная языковая модель на базе Transformer, разработанная Allen Institute for AI (AI2). Эта версия обновляет исходную OLMo 7B: она обучена на улучшенной версии набора Dolma с поэтапным обучением и, по данным карточки, получила улучшение на 24 пункта в MMLU относительно исходной версии. Модель рассчитана на генерацию текста и доступна для работы через HuggingFace Transformers. Модель имеет плотную архитектуру OLMoForCausalLM и около 6,7 млрд параметров. В карточке указана длина контекста 2048 токенов, а в метаданных — 4096 токенов; эти сведения расходятся. Основной язык — английский. Модель можно применять для генерации и продолжения текста, а также как основу для дальнейшей настройки. Код и веса распространяются по лицензии Apache 2.0. Это базовая языковая модель без встроенной фильтрации безопасности: она может генерировать предвзятый, вредный или фактически неверный текст. Результаты следует проверять, особенно при использовании в чувствительных сценариях.

OLMo 7B Instruct — языковая модель Allen Institute for AI (AI2), дообученная для диалога и ответов на вопросы. Это плотный авторегрессионный Transformer с примерно 6,7 млрд параметров; версия предназначена для запуска через Hugging Face Transformers версии 4.40 и новее. Модель принимает текст и генерирует текст на английском языке. Для обучения использованы supervised fine-tuning на смеси Tulu 2 SFT и дополнительная настройка DPO на очищенном наборе UltraFeedback. Контекст составляет 2048 токенов. Модель можно применять для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям. Модель выпущена под лицензией Apache 2.0. В карточке отмечено, что у неё нет специального фильтра безопасности или отдельного обучения безопасности; возможны вредоносные, предвзятые или фактически неверные ответы. Разработчики рекомендуют проверять результаты и при необходимости добавлять защитные меры. Карточка указывает на более новые версии OLMo.

Omni-Reasoner2-Merged — объединённая модель генерации текста от prithivMLmods, созданная из четырёх моделей на базе Phi-4 с помощью mergekit и метода Model Stock. В объединение вошли Phi-4-o1, Phi-4-Math-IO, Phi-4-QwQ и Phi-4-Empathetic; архитектура — плотная LlamaForCausalLM с 14,1 млрд параметров. Модель предназначена для диалоговой генерации текста и может применяться для ответов на вопросы и задач, связанных с математикой и рассуждениями. Модель принимает текст и генерирует текст, поддерживает контекст до 16 384 токенов и распространяется в формате safetensors для Transformers. Метаданные не сообщают о специальных языках или профильной области применения. Лицензия и ограничения качества в предоставленных данных не описаны.

OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT — диалоговая языковая модель OpenBuddy на архитектуре Qwen3, дообученная на Qwen/Qwen3-32B с использованием дистилляции DeepSeek-R1-0528. Модель содержит 29,7 млрд параметров, принимает текстовые запросы и генерирует текстовые ответы; длина контекста — до 40 960 токенов. Модель предназначена для многоязычного диалога и генерации ответов в чат-приложениях. В карточке заявлены китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Для развертывания рекомендуется использовать быстрый токенизатор Transformers; шаблон чата задан в tokenizer_config.json, также упоминается совместимость с vLLM. Модель распространяется по лицензии Apache 2.0. Она может выдавать ошибочные, вредные или оскорбительные ответы; разработчики предостерегают от использования в критических ситуациях, включая медицинские, юридические и финансовые решения, а также управление системами, где ошибка может причинить вред.

OpenChat 3.5 0106 GGUF — квантизированная версия текстовой генеративной модели OpenChat 3.5 0106, разработанной командой OpenChat и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы, библиотеки и API-серверы. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Точные размер модели, длина контекста, поддерживаемые языки и мультимодальные возможности в README не указаны; по описанию это текстовая, а не мультимодальная модель. Для работы используется шаблон запросов OpenChat-Correct: GPT4 Correct User и GPT4 Correct Assistant. Ключевое преимущество — возможность более экономичного локального запуска благодаря квантованию и широкой совместимости с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Ограничения связаны с потерями качества, возможными при низкоразрядном квантовании, а также с отсутствием в README подробных характеристик исходной модели и результатов оценки. Указанная лицензия — Apache-2.0.

openchat-3.6-8b-20240522-IMat-GGUF — это квантизированная версия языковой модели openchat/openchat-3.6-8b-20240522, подготовленная legraphista в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Исходная модель имеет формат BF16 и около 8 миллиардов параметров. Репозиторий предоставляет варианты с разными уровнями квантования — от Q8_0 и Q6_K до Q2_K, а также IQ-кванты. Для ряда вариантов применена IMatrix-квантизация, призванная сохранять качество при уменьшении размера модели; доступны файлы объёмом примерно от 2,99 до 16,07 ГБ. Это позволяет выбирать баланс между требованиями к памяти, скоростью работы и точностью. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные ограничения связаны с потерями качества, возможными при низких уровнях квантования, а также с зависимостью производительности от аппаратного обеспечения и используемого рантайма. Указанная лицензия — llama3. Квантизация выполнена на основе llama.cpp версии b3006; автором квантизированных файлов указан legraphista.

VMware Open LLaMA 0.3T 7B Open Instruct v1.1 — разговорная языковая модель на архитектуре LLaMA с 6,6 млрд параметров. Она дообучена на частично обученном чекпойнте Open-LLaMA, на котором было проведено обучение на 300 млрд токенов, с использованием набора Open-instruct-v1.1, включающего OASST, Dolly и HH-RLHF. Модель предназначена для диалогов и генерации текста по инструкциям; в README указана версия с шаблоном запросов Alpaca. Поддерживаемый контекст — 2048 токенов, основной язык карточки — английский. Модель подходит для ответов на вопросы, выполнения текстовых инструкций и генерации кода. В README отмечены трудности с few-shot prompting и непоследовательное форматирование кода: Python-код может выводиться без отступов, а код — не всегда оформляться в Markdown. README рекомендует использовать финальную версию Open LLaMA 7B Open Instruct. Репозиторий распространяется под лицензией CC; конкретный вариант лицензии в предоставленных данных не уточнён.

Модель balrogbob/open_llama_3b_v2-python-instruct-0.1.3 — дообученная разработчиком balrogbob версия Llama для генерации текста и выполнения инструкций на английском языке. Она создана на основе balrogbob/open_llama_3b_v2-python-instruct-0.1.2 с использованием Unsloth и библиотеки TRL. Модель имеет плотную архитектуру LlamaForCausalLM и 3,3 млрд параметров, принимает текст и генерирует текст. Длина контекста составляет 8192 токена. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не уточняет специализацию этого обновления относительно базовой версии, поэтому его отдельные преимущества и ограничения определить нельзя.

bartowski/open-thoughts_OpenThinker2-7B-GGUF — это квантизированная GGUF-версия языковой модели OpenThinker2-7B, разработанной open-thoughts. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется формат запросов с ролями system, user и assistant на основе специальных токенов ChatML. Модель содержит 7 миллиардов параметров и распространяется в вариантах от BF16 до низкобитных квантований Q2–Q8, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,5 до 15,2 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти. В README не указаны языки, размер контекстного окна, конкретные мультимодальные возможности или архитектурные детали базовой модели. Сильной стороной является широкий выбор квантований для разных аппаратных ограничений и оптимизация с использованием imatrix. Ограничения зависят от выбранного варианта: более компактные версии могут заметно уступать по качеству, а полная BF16-версия требует значительных ресурсов. Модель и квантованные файлы распространяются по лицензии Apache-2.0; квантизация выполнена bartowski с использованием llama.cpp.