II.2Создание и понимание программного кода

Bwindi/CrawLM — генеративная языковая модель для создания текста и ведения диалогов. Модель доступна для использования через библиотеку Transformers и относится к семейству моделей с тегом llama; общий объём параметров составляет 3,2 млрд, а нативное контекстное окно — до 131 072 токенов.

Это объединённая методом SLERP языковая модель MaziyarPanahi, созданная на основе Mistral-7B-Instruct-v0.2 и dolphin-2.6-mistral-7b. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для диалоговой генерации текста и выполнения инструкций; максимальная длина контекста составляет 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий распространяется в формате safetensors, а лицензия — Apache-2.0. Доступные сведения не уточняют языковой охват и конкретные ограничения качества; поведение унаследовано от объединённых моделей.

Lambent/Eidolon-v3.1-14B — объединённая разговорная языковая модель, созданная разработчиком Lambent с помощью mergekit из Lambent/Eidolon-v3-14B-wyrd и Lambent/Eidolon-v3-14B-abliterated. В README указано, что слияние линейное, с равными весами; работа также проверяла восстановление словаря до дополненного размера. Модель построена на архитектуре Qwen2, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Вариант abliterated описан в каталоге как модель с уменьшенным количеством отказов. README характеризует компонент wyrd как вмешательство, связанное с направлением креативности, однако не приводит количественной оценки качества. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

litert-community/gemma-3-270m-it — компактная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind на основе исследований и технологий Gemini. Она предназначена для локального и ресурсоограниченного развертывания, включая мобильные устройства, веб-приложения, настольные системы и собственную облачную инфраструктуру, с использованием LiteRT и совместимых инструментов Google AI Edge. Модель содержит 270 млн параметров и поддерживает генерацию текста для ответов на вопросы, суммаризации документов, анализа и рассуждений. Для семейства Gemma 3 заявлены мультимодальные возможности с обработкой текста и изображений и генерацией текста; изображения нормализуются до 896 × 896 и кодируются в 256 токенов. Для вариантов 1B и 270M указан контекст до 32K токенов на запрос, включая вход и доступный объём вывода. Поддерживается более 140 языков. Данные обучения имеют срез знаний по август 2024 года и включают веб-тексты, код, математические материалы и изображения. Сильными сторонами модели являются небольшой размер, возможность работы на устройствах с ограниченными ресурсами, открытые веса и пригодность для встроенных приложений. Ограничения включают меньший объём параметров по сравнению с крупными вариантами Gemma 3, возможные ограничения качества в сложных задачах и то, что GPU-ускорение для Gemma 3 270M в указанных сценариях на момент публикации README ещё находилось в разработке. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma-4-26B-A4B-it-NVFP4A16 — пользовательская NVFP4-квантизация инструкционной модели google/gemma-4-26B-A4B-it, выполненная Mario Iseli. Это мультимодальная Mixture-of-Experts-модель для генерации текста и диалоговых сценариев с поддержкой текста, изображений и видео. Всего модель содержит 25,2 млрд параметров, из которых 3,8 млрд активируются для каждого токена; архитектура включает 128 экспертов, 8 из которых выбираются на токен. Контекстное окно составляет до 256 тысяч токенов. Модель использует квантизацию W4A16: веса представлены в FP4, а активации — в FP16. Размер на диске уменьшен примерно с 49 до 16,5 ГБ, то есть примерно в три раза, при сохранении исходного числа параметров. Vision encoder оставлен в BF16. Квантизация выполнена с помощью NVIDIA Model Optimizer на данных CNN/DailyMail; это общественная, а не официальная сборка Google или NVIDIA. Основное преимущество — существенное снижение требований к памяти при сохранении мультимодальности, MoE-архитектуры и длинного контекста. Для запуска через vLLM требуется версия с transformers не ниже 5.4, backend Marlin для MoE и специальный патч gemma4_patched.py для корректной загрузки NVFP4 scale-параметров; конфигурация ориентирована, в частности, на NVIDIA DGX Spark с GB10 Blackwell. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

GLM-5.3-Quark-MXFP4 — текстовая авторегрессионная модель для генерации текста, созданная Advanced Micro Devices (AMD) на базе GLM-5.3 от zai-org. Модель предназначена для задач обработки и генерации текста, включая математическое рассуждение и другие сценарии, поддерживаемые базовой моделью. Заявленные языки — английский и китайский; входные и выходные данные представлены в текстовой форме. Архитектура модели обозначена как GlmMoeDsaForCausalLM. Для оптимизации инференса применена посттренировочная квантизация AMD Quark V0.12: router experts и shared experts используют MXFP4, а слои self-attention — FP8 с покомпонентной блочной квантизацией. Слой lm_head, эмбеддинги и некоторые дополнительные слои сохранены в исходном формате. Максимальная длина контекста в приведённой конфигурации vLLM составляет 32 768 токенов, однако размер модели и полная спецификация контекстного окна в README не указаны. Модель ориентирована на запуск через vLLM на системах Linux с ускорителями AMD MI350 или MI355 и ROCm 7.1.1; в README также указаны PyTorch 2.10.0 и Transformers 5.15.1. На тесте GSM8K она получила 91,28 против 91,89 у исходной GLM-5.3, что соответствует восстановлению 99,34% исходного результата и указывает на небольшую потерю точности после квантизации. Лицензия обозначена как glm-5.3; также указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

p-e-w/gpt-oss-20b-heretic-v2 — версия модели gpt-oss-20b, обработанная методом abliteration для снижения частоты отказов. В приведённом сравнении число отказов составило 49 из 100 против 98 из 100 у исходной openai/gpt-oss-20b; KL-дивергенция относительно оригинала — 0,1248. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и сценарии с инструментами при использовании формата Harmony. Это разреженная MoE-модель семейства gpt_oss с архитектурой GptOssForCausalLM. В README для исходной gpt-oss-20b указано 21 млрд параметров, из которых активно 3,6 млрд; однако метаданные этого репозитория указывают 1,6 млрд параметров. Контекст составляет 131 072 токена. Модель использует формат safetensors; библиотека — Transformers. README описывает gpt-oss как модель с открытыми весами под лицензией Apache 2.0 и отмечает необходимость формата Harmony. Подходит для локальных диалоговых приложений, генерации и анализа текста, а также агентных сценариев с вызовом функций. Abliteration уменьшила отказы в приведённой оценке, но не устраняет их полностью; результаты оценки ограничены указанной выборкой из 100 примеров. Для этой производной версии README не приводит отдельной оценки качества по задачам.

RedHatAI/granite-3.1-2b-instruct-quantized.w4a16 — квантизированная версия инструкционной языковой модели IBM Granite 3.1 2B Instruct, подготовленная разработчиками Neural Magic. Модель работает с текстом на входе и генерирует текст на выходе; заявленный язык — английский. Она предназначена для диалоговых сценариев, генерации и обработки текста, а также локального и серверного инференса. Модель использует архитектуру granite-3.1-2b-instruct и содержит около 2 миллиардов параметров. Веса и активации квантизированы до INT4; квантизация применяется к весам линейных операторов внутри трансформерных блоков. Это сокращает число битов на параметр с 16 до 4, а размер на диске и требования к GPU-памяти примерно на 75%. Для эффективного запуска рекомендуется vLLM версии 0.5.2 или новее; в приведённом примере используется максимальная длина контекста 4096 токенов. К сильным сторонам относятся существенно сниженные требования к памяти и удобство развертывания через vLLM с OpenAI-совместимым сервером. На OpenLLM Leaderboard V1 модель получила средний результат 61,54 против 61,98 у неквантизированной версии, что указывает на небольшую потерю качества после квантизации. Ограничения включают ориентацию на английский язык, необходимость совместимого инференсного стека и возможное снижение качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

LLaMA-2-7B-32K-Instruct_GGUF — это набор файлов модели в формате GGUF, подготовленный пользователем rozek на основе Llama-2-7B-32K-Instruct от Together Computer, Inc., которая, в свою очередь, создана на базе Meta AI LLaMA-2-7B. Исходная модель дообучена для работы с контекстом до 32 000 токенов с использованием Position Interpolation и Rotary Position Embeddings (RoPE). Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска через llama.cpp. Репозиторий содержит варианты с различной степенью квантования: Q2_K, Q3_K, Q4, Q5, Q6_K, Q8_0, а также неквантованный F16. Квантованные версии снижают требования к памяти и позволяют запускать модель локально, но могут уступать F16 по точности. Несмотря на поддержку контекста до 32K, использование максимальной длины требует значительного объёма RAM; рекомендуется выбирать минимальный необходимый размер контекста. Модель текстовая и имеет около 7 миллиардов параметров. В README указана лицензия llama2.

FireFunction V2 — языковая модель Fireworks AI для диалогов и вызова функций, дообученная на Llama 3. Она построена на плотной архитектуре Llama, содержит 69,5 млрд параметров и принимает текстовый контекст длиной до 8192 токенов. Модель поддерживает обычные инструкции и чат, одиночный и параллельный вызов функций, а также извлечение структурированной информации; в одном запросе можно описать до 20 функций. В карточке Fireworks сообщает о результатах, сопоставимых с GPT-4o на наборе публичных оценок вызова функций, и об улучшении относительно FireFunction v1. Модель не оптимизирована для сотен описаний функций или вложенных вызовов. Лицензия указана как llama3; применение следует сверять с её условиями.

mindy-7b-v2-Mistral-7B-Instruct-v0.1 — разговорная языковая модель, созданная объединением Mistral-7B-Instruct-v0.1 и mindy-7b-v2 методом SLERP. Это плотная трансформерная архитектура MistralForCausalLM с 7,1 млрд параметров; модель рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специальные предметные области или отдельные ограничения качества.

mistral-orpo-beta-NeuralBeagle14-7B-dare-ties — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из kaist-ai/mistral-orpo-beta и mlabonne/NeuralBeagle14-7B методом dare_ties. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, следования инструкциям, рассуждений и творческого письма. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Карточка приводит конфигурацию с весами слияния 0,6 и 0,4 и точностью bfloat16. Лицензия — Apache-2.0. Языки и отдельные ограничения качества в карточке не описаны.

Это BF16-версия Mistral Small 3.2 24B Instruct в формате GGUF, подготовленная сообществом mlx-community и опубликованная TensorBlock. Репозиторий содержит файлы, совместимые с llama.cpp; модель предназначена для диалоговой генерации текста и работы с инструкциями. В README приведён шаблон промпта и варианты квантованных файлов, причём для некоторых малых квантовок отмечена существенная потеря качества. Модель содержит 24 млрд параметров и поддерживает многоязычный диалог, в том числе на русском, английском, французском, немецком, испанском, китайском и других языках из карточки. Лицензия — Apache-2.0. Указанная сборка — BF16 в GGUF; доступность файлов разных квантовок позволяет выбирать компромисс между размером и качеством. Для работы с GGUF требуется совместимый рантайм; README подтверждает совместимость с llama.cpp начиная с указанного коммита.

shivash/moetest1 — языковая модель на архитектуре Llama, созданная автором репозитория с помощью объединения весов через SLERP и mergekit на основе meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель содержит 6,9 млрд параметров, принимает текст и выдаёт текст. Указанная длина контекста — 131 072 токена. Репозиторий использует Transformers и формат safetensors. Поддерживаемые языки отдельно не обозначены. Сведений о лицензии в предоставленных данных нет.

Nero-7B-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная teodortita слиянием Mistral-7B-Instruct-v0.2 и OpenHermes-2.5-Mistral-7B методом SLERP с помощью mergekit. Она предназначена для генерации текста и ответов на инструкции в диалоге; модель принимает текст и выдаёт текст. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. В README приведены сравнительные результаты на AGIEval, GPT4All, TruthfulQA и Bigbench; Nero показала более высокие значения, чем обе исходные модели, на GPT4All и Bigbench. Эти результаты относятся только к указанным бенчмаркам и не гарантируют качество для конкретных запросов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-NInfer — производный инференс-артефакт модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Это мультимодальная языковая модель архитектуры Qwen 3.5 Mixture-of-Experts, принимающая текст и изображения. Артефакт предназначен для запуска и обслуживания через движок NInfer, а не является исходным репозиторием модели. Модель содержит 40 слоёв и 256 экспертов, из которых для каждого токена активны 8; эффективный объём активных параметров составляет около 3 млрд при общем классе модели 35B. Используются скрытый размер 2048, GQA с 16 attention- и 2 KV-головами, словарь из 248 320 токенов и контекст до 262 144 позиций. Зрительный энкодер состоит из 27 слоёв. Артефакт включает DFlash-компонент для multi-token prediction и обученную MTP-head, оптимизированную с помощью knowledge distillation. Заявленный язык — английский. Весы упакованы в единый файл размером около 21,22 GiB с групповой смешанной квантизацией Q4, Q5, Q6 и W8; часть тензоров сохранена в BF16. По измерениям из карточки, обученная MTP-head повысила долю принятых черновых токенов с 21,8% до 39,0% и увеличила скорость декодирования примерно на 21,5% в указанной конфигурации RTX 5090 и однопоточном CLI-тесте. Ограничения включают зависимость от движка NInfer, специфичного формата артефакта и доступности соответствующих аппаратных ресурсов; приведённые показатели не являются универсальной гарантией производительности. Базовая модель распространяется по лицензии MIT. Встроенная grafted MTP-head указана как производная от Qwen и распространяется по Apache-2.0, поэтому условия использования следует учитывать для компонентов отдельно.

MaziyarPanahi/pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp из mistralai/Mistral-7B-Instruct-v0.1 и TokenBender/pic_7B_mistral_Full_v0.2; в конфигурации указан формат bfloat16, а файлы репозитория представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Её контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированной предметной области или отдельных языковых возможностях. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-1M-GGUF — GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на базе llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с инструкциями, а также для задач, требующих обработки очень больших текстовых контекстов. Модель имеет около 7 миллиардов параметров и поддерживает контекст длиной до 1 миллиона токенов. Она сохраняет возможности работы с короткими запросами и оптимизирована для задач с длинным контекстом. В README указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Для последовательностей длиннее 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Модель распространяется по лицензии Apache-2.0. Формат GGUF и совместимость с llama.cpp ориентированы на локальный запуск в инструментах, поддерживающих этот формат, включая LM Studio. README не содержит подробностей о конкретных вариантах квантования, требованиях к аппаратным ресурсам и результатах бенчмарков.

MMOPD/Qwen3-4B-OT3-tau — плотная языковая модель семейства Qwen3 с 3,7 млрд параметров, разработанная MMOPD. Это дообученная версия MMOPD/Qwen3-4B-OT3-2ep: к модели рассуждений добавили supervised fine-tuning на 33 531 траектории Tau2 из inclusionAI/AReaL-tau2-data. Модель сохраняет исходный шаблон чата и режим рассуждений, рассчитана на многошаговое взаимодействие с инструментами и вызовы инструментов в диалоге. Контекст составляет до 32 768 токенов; вход и выход — текст.

Qwen3.8-27B-MLX-oQ4e-mtp — квантованная MLX-версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для задач генерации текста и визуального понимания, включая обработку изображений и видео, а также для локального запуска на устройствах Apple Silicon через oMLX или mlx-vlm. Модель содержит около 27 млрд параметров и занимает примерно 16 ГБ. Используется улучшенная примерно 4-битная oQ4e-квантизация с эффективной точностью около 4,9 бит на вес, размером группы 64, imatrix-калибровкой и компенсацией ошибок на основе Hessian. В состав входит vision tower для работы с изображениями и видео. Сохранён нативный MTP head с одним дополнительным скрытым слоем, что позволяет использовать Lightning-MTP для спекулятивного декодирования в oMLX. Заявлена поддержка контекстного окна до 262144 токенов при соответствующей настройке. Сильные стороны модели — сочетание мультимодальности, сниженного потребления памяти, сохранённой совместимости с MTP и высокой скорости декодирования: на M5 Max заявлены около 54 токенов в секунду и принятие черновых токенов на уровне 81%. Ограничения включают зависимость от MLX-совместимого оборудования и программного обеспечения, а также возможную потерю точности из-за квантизации; конкретные языки в README не указаны. Модель распространяется по лицензии Apache-2.0.

Rombo-LLM-V2.7-gemma-2-9b — языковая модель Rombo-Org на 9 млрд параметров, основанная на Google Gemma 2 9B Instruct. По описанию, в модели объединены предварительно обученная и инструктивно настроенная версии Gemma 2 9B. Она предназначена для дальнейшего дообучения и генерации текста, в том числе в диалоговом режиме. Модель использует плотную архитектуру Gemma 2, формат safetensors и контекст до 8192 токенов. Модель можно применять для диалогов, ответов на вопросы и генерации текста; базовая Gemma 2 Instruct также описана как подходящая для суммаризации. В README не приведены результаты оценки качества или сведения о поддерживаемых языках, поэтому их нельзя подтвердить. Указана лицензия Gemma; условия её использования определяются этой лицензией.

Smaug-Mini — мультимодальная модель Abacus.AI, дообученная на основе Qwen/Qwen3.8-27B для надёжного многошагового использования инструментов и автоматизации. Это плотная модель с архитектурой Qwen3_5ForConditionalGeneration и сохранённой башней зрения; она принимает текст и изображения и поддерживает контекст до 262 144 токенов. Модель работает в формате диалога и предоставляет интерфейс вызова инструментов. Обучение проводилось методом GRPO на многошаговых эпизодах автоматизации с проверкой результата; LoRA-адаптер языковой части был объединён с базовыми весами. По данным карточки, модель улучшает результаты ряда тестов на использование инструментов и автоматизацию, сохраняя общие возможности базовой модели примерно на прежнем уровне. Она подходит для агентных сценариев, где нужно рассуждать, вызывать инструменты и завершать задачи в среде. Лицензия — Apache-2.0. Головка многотокенного предсказания унаследована от базовой модели и не переобучалась, поэтому для неё не следует включать спекулятивное декодирование; обычное декодирование не затронуто. Данные обучения не раскрыты.

TIGER-Lab_Qwen2.5-32B-Instruct-CFT-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct-CFT, разработанной TIGER-Lab и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста, выполнения инструкций, решения математических задач и рассуждений; исходная модель обучалась с использованием датасета TIGER-Lab/WebInstruct-CFT. В README заявлен английский язык. Модель основана на архитектуре Qwen2.5 с 32 миллиардами параметров и поддерживает текстовый сценарий использования через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 размером 34,82 ГБ до более компактных IQ3 и Q3 с размером около 14–18 ГБ. Более качественными и рекомендуемыми названы варианты Q6, Q5 и Q4, тогда как Q3 обеспечивают экономию памяти ценой снижения качества. Размер контекста, мультимодальные возможности и дополнительные языки в предоставленных данных не указаны. Преимуществами являются крупный размер модели, специализация исходной версии на инструкциях, математике и рассуждениях, а также широкий выбор квантизаций для различного объёма оперативной памяти. Ограничения связаны с потерями качества при агрессивной квантизации, значительными требованиями к памяти и отсутствием сведений о производительности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии Apache-2.0.

Vicuna 13B v1.1 — авторегрессионная языковая модель семейства LLaMA на архитектуре Transformer, разработанная командой Vicuna с участием исследователей из UC Berkeley, CMU, Stanford и UC San Diego. Модель содержит 12,9 млрд параметров и рассчитана на контекст до 2048 токенов. Это версия merge delta v1.1; в README указано, что Vicuna получена дообучением LLaMA на диалогах пользователей ShareGPT, а в v1.1 исправлены вычисление функции потерь при supervised fine-tuning и разделитель токенов. Модель предназначена для генерации текста в формате чат-бота, ответов на вопросы и исследований больших языковых моделей. Она обучалась на 70 тысячах диалогов ShareGPT. Карточка указывает лицензию Apache 2.0; базовая модель LLaMA имеет отдельные условия использования, которые следует учитывать при распространении и применении производной модели.

ZEUS-8B-V14 — объединённая модель для генерации текста и диалогов на базе семейства Llama 3.1. Согласно карточке, её создали методом DARE TIES, объединив unsloth/Meta-Llama-3.1-8B-Instruct с моделями Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM и работает с контекстом до 131 072 токенов. Модель предназначена для генерации текста и ведения диалогов; метаданные также указывают интерфейс вызова инструментов. В README приведены результаты оценки на IFEval и BBH, однако подробные сравнительные данные и описание целевого поведения ограничены. Модель опубликована в формате safetensors; дата публикации — 30 декабря 2024 года. Лицензия в предоставленных данных не указана.

Solshine/Brimful-12B-merged-replete — языковая модель для генерации текста, созданная с помощью mergekit на основе Replete-AI/Replete-LLM-V2.5-Qwen-7b. В README указан метод слияния passthrough; модель построена на архитектуре Qwen2 и содержит 11,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Размер контекста составляет 32 768 токенов. Модель может использоваться для диалогов и генерации ответов, а также в сценариях, где приложению требуется передавать вызовы инструментов через соответствующий интерфейс. README предупреждает, что merge пока не тестировался, поэтому качество и надёжность результатов не подтверждены. Репозиторий содержит веса safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Это GGUF-квантизированная версия языковой модели CohereForAI/c4ai-command-r-plus-08-2024, подготовленная пользователем legraphista с использованием llama.cpp и метода IMatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через совместимые инструменты llama.cpp. Доступны варианты с разными уровнями квантования — от 16-битного FP16 до 1–8-битных форматов, включая Q4_K, Q3_K и Q2_K; часть вариантов использует IMatrix для улучшения качества при уменьшенном размере. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. К сильным сторонам относятся широкий выбор квантованных вариантов, возможность локального использования и компромисс между качеством, размером файлов и требованиями к памяти. При этом README не содержит сведений о точной архитектуре, числе параметров, размере контекста и результатах оценки, а низкие уровни квантования могут снижать качество по сравнению с исходной FP16-моделью. Распространение осуществляется по лицензии CC-BY-NC-4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

Это GGUF-квантизированная версия языковой модели c4ai-command-r-plus, разработанной CohereForAI и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных inference-средах, поддерживающих формат GGUF. В README также указан специальный шаблон промпта для системных, пользовательских и ответов чат-бота. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Точные сведения об архитектуре, количестве параметров и размере контекста в карточке не приведены. Доступно несколько вариантов квантизации от Q2_K до Q5_K_M, а также IQ-квантизации; размер файлов составляет примерно от 39,49 до 73,62 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество при больших требованиях к памяти, а низкие подходят для систем с ограниченными ресурсами, но снижают качество. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством, скоростью и потреблением памяти. Q5_K_M и Q5_K_S обозначены как высококачественные рекомендуемые варианты, а некоторые I-квантизации эффективнее по соотношению размера и качества при использовании cuBLAS или rocBLAS. I-квантизации не совместимы с Vulkan и могут работать медленнее K-квантизаций на CPU и Apple Metal. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая запрет коммерческого применения.

arcee-ai/DeepSeek-V3-0324-bf16 — конверсия модели DeepSeek V3 от Arcee AI в формат BF16. По метаданным это плотная авторегрессионная языковая модель архитектуры DeepseekV3ForCausalLM с 37,6 млрд параметров и контекстом до 163 840 токенов. Предназначена для генерации текста в диалогах и сценариях с интерфейсом вызова инструментов. Модель принимает текст и выдаёт текст. В карточке указана лицензия MIT. README сообщает о преобразовании весов из FP8 в BF16, но не даёт подробностей об обучении или результатах оценки.

Fireball-Llama-3.11-8B-v2r1orpo — диалоговая языковая модель EpistemeAI на архитектуре Llama с 7,5 млрд параметров. Она дообучена на базе EpistemeAI/Fireball-Llama-3.11-8B-v1orpo с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации текста и ведения беседы; её можно подключать к интерфейсам вызова инструментов. Модель принимает текст и выдаёт текст. Её родной контекст составляет 131 072 токена, а в карточке указан английский язык. Файлы представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.