II.6Документация и сопровождение разработки

AI21-Jamba-Mini-1.7-GGUF — это квантованная версия языковой модели AI21-Jamba-Mini-1.7, разработанной AI21 Labs и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 21 до 103 ГБ; более крупные варианты обычно обеспечивают лучшее качество, а компактные требуют меньше оперативной памяти. Для работы необходимо использовать указанный шаблон промпта со специальными токенами системного, пользовательского и ассистентского сообщений. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста, поэтому эти характеристики нельзя достоверно определить по представленным данным. Сильной стороной модели является широкий выбор квантований для различных аппаратных ограничений и совместимость с популярными инструментами локального инференса. При этом качество и требования к памяти зависят от выбранного варианта, а низкобитные версии могут заметно уступать более точным. Модель распространяется по лицензии Jamba Open Model License; для точных условий следует обращаться к тексту лицензии AI21 Labs.

Aiden T5 — текстовая модель на архитектуре T5 от or4cl3ai, представленная как универсальная модель генерации и преобразования текста. В README заявлены генерация текста, перевод, суммаризация и ответы на вопросы; метаданные Hugging Face указывают задачу text-generation и формат PyTorch. В тегах перечислены датасеты по коду, диалогам, переводу, новостям и другим областям, однако точное назначение дообучения и проверенные характеристики модели не установлены. README заявляет доступ к интернету и BDI, а также 1,5 трлн параметров, 360 слоёв и результаты на нескольких бенчмарках. Эти утверждения не подтверждены метаданными, поэтому их нельзя считать надёжными характеристиками модели. Карточка описывает модель как находящуюся в разработке. Указана лицензия OpenRAIL.

Airoboros 13B HF — русскоязычное описание модели не подразумевает её русскоязычную специализацию: это 13-миллиардная плотная языковая модель семейства LLaMA, дообученная Джоном Дурбином на синтетических инструкциях. Репозиторий TheBloke содержит веса в формате Transformers PyTorch fp16, конвертированные из исходного репозитория fp32 для более удобного хранения и использования. Контекст модели составляет 2048 токенов. Модель предназначена для диалоговых ответов и выполнения текстовых инструкций в формате FastChat/Vicuna. Дополнительный этап обучения включал синтетические примеры по математике, ответам на закрытые вопросы и программированию; автор отмечает, что качество этих задач изначально было слабым. В обучающих данных есть примеры опасных инструкций, поэтому модель может выдавать потенциально вредный контент и не подходит для сценариев, требующих надёжного отказа от таких запросов. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке репозитория и у правообладателей базовой модели. Это конверсия весов fp32 в fp16, а не отдельное дообучение TheBloke; исходная Airoboros сама является дообученной моделью LLaMA.

Ak4ri-7b — слитая модель для генерации текста, созданная автором репозитория с помощью LazyMergekit. Она объединяет Virt-io/Irene-RP-v3-7B и Smuggling1710/Erosumika-MistralLayla-Slerp методом slerp; архитектура — Mistral с плотной структурой и 7,1 млрд параметров. Модель принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Модель подходит для диалоговой генерации и ролевых текстовых сценариев, унаследованных от исходных моделей. Доступны веса в формате safetensors, а конфигурация слияния задаёт тип bfloat16. Лицензия в предоставленных данных не указана.

Tongyi-DeepResearch-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели Tongyi-DeepResearch-30B-A3B, разработанной Alibaba-NLP. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории доступны варианты от BF16 до низкобитных IQ- и Q-квантизаций размером примерно от 14 до 61 ГБ. В названии модели указана конфигурация 30B-A3B, однако подробности архитектуры, модальностей, поддерживаемых языков и размера контекста в README не приведены. Некоторые варианты, включая Q6_K_L, Q6_K, Q5_K и Q4_K_M, обозначены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. Ключевое преимущество сборки — возможность локального запуска с выбором компромисса между качеством, размером файла и требованиями к памяти. Более компактные квантизации подходят для систем с ограниченными ресурсами, но могут заметнее уступать по качеству исходным весам. Формат prompt в README не указан, поэтому его следует уточнять на странице исходной модели. Лицензия в предоставленных данных не указана.

Alpaca-7B-reproduced — авторегрессионная языковая модель на архитектуре Transformer, разработанная командой PKU-Alignment как воспроизведённая версия Stanford Alpaca. Модель дообучена на основе LLaMA для следования инструкциям и генерации текста; в обучении использован набор tatsu-lab/alpaca. Репозиторий содержит около 6,6 млрд параметров, контекст — до 2048 токенов. Эта версия воспроизводит Alpaca с отличиями в деталях реализации: для обучения применялась библиотека safe-rlhf с DeepSpeed, а шаблон диалога отличается от оригинала. Модель предназначена для англоязычного взаимодействия по текстовым инструкциям и генерации ответов. Лицензия запрещает коммерческое использование.

AlphaMonarch-dora — дообученная с помощью DoRA и DPO языковая модель автора abideen на базе mlabonne/NeuralMonarch-7B. Она предназначена для диалогов, выполнения инструкций и генерации ответов на английском языке; в карточке приведены результаты на бенчмарках рассуждения, общих знаний и правдивости ответов. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Автор обучал модель 1080 шагов на наборе предпочтений argilla/OpenHermes2.5-dpo-binarized-alpha. По заявлению карточки, результаты на бенчмарках Nous и OpenLLM немного ниже, чем у AlphaMonarch и AlphaMonarch-laser. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Minami-su/Amara-o2-7B-Qwen — диалоговая языковая модель на архитектуре Qwen2, разработанная Minami-su как итерация Amara-o1-7B-Qwen. Она предназначена для генерации текста и открытых диалогов; карточка приводит результаты сравнений в оценках англоязычного общения Arena-Hard и AlpacaEval 2.0. Модель содержит 7,1 млрд параметров, имеет контекстное окно 32 768 токенов и опубликована в формате safetensors. Модель поддерживает чат и интерфейс вызова инструментов. В репозитории указана лицензия Apache-2.0. Карточка не описывает подробно обучающие данные, фактические результаты оценки самой модели или ограничения по качеству, поэтому эти свойства нельзя оценить по доступным сведениям.

Amber-GGUF — это квантованные файлы языковой модели Amber, разработанной LLM360 и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена для генерации текста на английском языке и локального запуска через llama.cpp и совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит для CPU+GPU-инференса. Формат GGUF поддерживается llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Модель использует текстовую модальность; размер, точная архитектура, длина контекста и дополнительные языки в предоставленных данных не указаны. Шаблон запроса минимальный: входной текст передаётся напрямую. Ключевое преимущество — широкий выбор уровней квантования, позволяющий подбирать компромисс между размером файлов, требованиями к памяти и качеством генерации, а также возможность локального запуска на CPU и GPU. Ограничения связаны с потерями качества, характерными для квантованных версий, и зависимостью совместимости от используемого клиента и версии llama.cpp. Указанная лицензия модели — Apache-2.0.

Anemoi-4B — плотная языковая модель семейства Qwen2, разработанная Sakalti и дообученная на базе qingy2024/Qwarkstar-4B. Модель содержит 4,5 млрд параметров и предназначена для генерации текста в диалоговых сценариях; заявлен интерфейс вызова инструментов. Модель рассчитана на контекст до 131 072 токенов и поддерживает английский язык. Веса опубликованы в формате safetensors. Для обучения использовались Unsloth и Hugging Face TRL. Лицензия указана как qwen-research. README не описывает конкретные обучающие данные, результаты оценки качества или ограничения применения, поэтому возможности модели за пределами генерации текста и диалогового использования по этим сведениям оценить нельзя.

AnLLM-EP-7B-PT — языковая модель семейства Llama, дообученная на базе Llama-2-7b-hf на выборке RedPajama-Data-1T-Sample. Модель разработана автором репозитория pangjh3; её архитектура — плотная авторегрессионная LlamaForCausalLM, размер — 6,6 млрд параметров, контекст — до 4096 токенов. Модель предназначена для генерации текста и может служить основой для продолжения текста и простых текстовых запросов. Карточка не приводит оценок качества, подробностей обучения или ограничений применимости, поэтому пригодность для конкретных сценариев требует отдельной проверки. Лицензия в предоставленных данных не указана.

BAAI/AquilaCode-py — модель генерации текста из семейства Aquila, предназначенная для задач, связанных с кодом на Python. В README она указана среди вариантов AquilaCode, выпущенных в июле 2023 года. Метаданные описывают модель как плотную авторегрессионную архитектуру на базе LlamaForCausalLM с 6,9 млрд параметров и контекстом 2048 токенов; веса представлены в формате PyTorch. Модель подходит для генерации и продолжения кода на Python, а также для текстовых запросов, связанных с программированием. Семейство Aquila обучалось на китайском и английском языках, однако README не приводит отдельного описания обучения или оценки именно AquilaCode-py. Для использования весов действует лицензия BAAI Aquila Model License Agreement с ограничениями; исходный код семейства распространяется по Apache 2.0.

Arcee-SuperNova-v1-GGUF — это квантизированная версия текстовой генеративной модели Arcee-SuperNova-v1, разработанной arcee-ai. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. В репозитории представлены варианты квантизации от Q2 до Q8 с размерами файлов примерно от 27,4 до 75 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти; варианты Q4_K_M, Q5 и Q6_K обозначены как рекомендуемые. Для работы необходимо использовать указанный шаблон промпта на основе специальных токенов сообщений. README не содержит подробных сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекстного окна или мультимодальности, поэтому эти характеристики нельзя достоверно определить. Основные ограничения связаны с потерями качества при низкой квантизации и значительными требованиями к памяти. Указана лицензия llama3.

bartowski/ArliAI_QwQ-32B-ArliAI-RpR-v4-GGUF — это набор квантованных GGUF-версий текстовой генеративной модели ArliAI/QwQ-32B-ArliAI-RpR-v4, разработанной ArliAI. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие совместимые проекты, включая локальные сценарии инференса на пользовательском оборудовании. Доступны варианты от BF16 до квантовок Q8_0, Q6, Q5, Q4, Q3 и IQ, поэтому можно выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размер базовой модели составляет 32B параметров; заявленный язык — английский. В README не указаны архитектурные детали, размер контекстного окна, мультимодальные возможности, результаты бенчмарков или специализированные области применения. Более сильные квантизации обеспечивают качество, близкое к исходным весам, тогда как варианты Q3 и некоторые другие требуют меньше памяти, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

lodrick-the-lafted/ataraxy-actually-9b — версия модели lemon07r/Gemma-2-Ataraxy-9B без лишних параметров. Репозиторий содержит веса Gemma 2 с плотной архитектурой Gemma2ForCausalLM, примерно 9 млрд параметров, для генерации текста и диалогов. Контекст составляет 8192 токена. Автор сообщает, что модель представляет собой Gemma-2-Ataraxy-9B без лишнего lm_head, который мог появляться при слиянии моделей старой версией mergekit. Скрипт исправления проверен только на этой модели. Репозиторий использует формат safetensors и лицензию Gemma.

Awanllm-Llama-3-8B-Instruct-ORPO-v0.1-GGUF — набор GGUF-квантизаций инструкционной языковой модели Awanllm-Llama-3-8B-Instruct-ORPO-v0.1, разработанной AwanLLM. Квантизации подготовлены bartowski с использованием llama.cpp версии b2777 и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям; поддерживает формат промптов Llama 3 с ролями system, user и assistant. Модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны языки, размер контекста, результаты тестирования и конкретные сценарии применения. Доступны варианты квантизации от Q8_0 до низкобитных IQ2 и Q2, что позволяет выбирать баланс между качеством ответов, размером файла и требованиями к оперативной памяти. Наиболее высокое качество обеспечивают Q8_0 и Q6_K, а Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые; более компактные варианты экономят память, но могут заметно снижать качество. Файлы предназначены для локального запуска в совместимом программном обеспечении, включая llama.cpp. Ограничения включают зависимость качества от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о безопасности, оценках качества и поддерживаемых языках. Указанная лицензия — llama3; условия её применения следует уточнять по лицензии исходной модели и соответствующим требованиям разработчика.

AsphyXIA/baarat-MTH — дообученная языковая модель разработчика AsphyXIA на архитектуре Llama для генерации текста. Модель содержит 6,7 млрд параметров, принимает текст и поддерживает контекст до 4096 токенов. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки TRL; модель дообучена на AsphyXIA/baarat-hindi-pretrained, а метаданные связывают её с meta-llama/Llama-2-7b-hf. Модель предназначена для генерации текста. В метаданных указан английский язык, а название родительской модели указывает на связь с хинди; отдельные сведения о языковых возможностях именно этой версии не приводятся. Лицензия — Apache-2.0.

BagelMIsteryTour-v2-8x7B — слитая автором ycros языковая модель на архитектуре Mixtral с разреженной смесью экспертов (MoE), созданная методом DARE TIES с помощью mergekit. В слияние вошли Bagel DPO, Mixtral Instruct, LimaRP и Sensualize; автор описывает модель как эксперимент с дополнительными настройками на базе Mixtral. Метаданные указывают 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель предназначена для генерации текста по инструкциям и диалогов, включая ролевые сценарии и художественную прозу. В README отмечена совместимость с форматами запросов Alpaca и, вероятно, Mistral; автор сообщает, что модель сохраняет связность на длинном контексте и реже зацикливается, чем некоторые сравниваемые сборки Mixtral. Автор отмечает неравномерную alignment-настройку: модель может быть слабо выровнена для ряда запросов и излишне ограничена в отдельных случаях. В ролевых ответах она иногда повторяет маркер {{char}}: и продолжает ответ многословно. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

Карточка модели mostafaamiri/base_7B на Hugging Face совпадает с карточкой Juniplayground/Mist_LLaMA-2-7B-1024_V3, поэтому описание составлено по ней. Juniplayground/Mist_LLaMA-2-7B-1024_V3 — текстовая генеративная модель на архитектуре Llama, разработанная Meta и опубликованная в формате PyTorch для Transformers. По README, это базовая предварительно обученная модель Llama 2 на 7B; метаданные указывают 6,6 млрд параметров и контекст до 4096 токенов. Модель принимает текст и генерирует текст. Модель предназначена для генерации текста на английском языке и может служить основой для адаптации под разные задачи генерации естественного языка. Варианты Llama 2, дообученные для диалога, рассчитаны на общение в формате ассистента; данный репозиторий описан как предварительно обученная модель. README указывает, что Llama 2 разработана Meta и предназначена для коммерческого и исследовательского использования на условиях пользовательской лицензии Meta, принятие которой требуется для доступа к весам. Модель обучена на двух триллионах токенов из общедоступных источников; данные предобучения имеют отсечку по сентябрь 2022 года. Возможны неточные, предвзятые или нежелательные ответы, поэтому перед внедрением требуется проверка и настройка безопасности под конкретное применение. README ограничивает предполагаемое использование английским языком.

MS-2501-DPE-QwQify-v0.1-24B-GGUF — квантизированная версия языковой модели BeaverAI/MS-2501-DPE-QwQify-v0.1-24B, подготовленная bartowski в формате GGUF с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и диалоговых сценариев; в README отдельно указан шаблон prompt с поддержкой system, user, assistant и блока рассуждений <think>. Также заявлено обновление chat template. Доступны варианты от BF16 до 3-битных и 4-битных квантизаций, включая Q8_0, Q6_K_L, Q6_K, Q5_K_M и Q4_K_M. Размер файлов составляет примерно от 13 до 47 ГБ, поэтому требования к памяти зависят от выбранного варианта. README рекомендует несколько конфигураций как обеспечивающих высокое или хорошее качество; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Поддерживается запуск через LM Studio, llama.cpp и совместимые проекты. Модель ориентирована на текстовую генерацию; сведения о точной архитектуре, языках, размере контекста и мультимодальности в README не указаны. Среди ограничений — значительный объём памяти даже у компактных квантизаций и возможное снижение качества при выборе более сильного сжатия. Лицензия указана как Apache-2.0.

Beepo-22B-GGUF — набор GGUF-квантизированных версий языковой модели Beepo-22B, разработанной concedo и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio. Указан английский язык; поддерживается формат инструкций Alpaca, несмотря на сохранённый формат Mistral. Модель имеет размер 22 млрд параметров. Доступны варианты от F16 до различных уровней Q8, Q6, Q5, Q4, Q3 и Q2, включая IQ-квантизации, поэтому можно выбирать между качеством ответов, требованиями к памяти и скоростью инференса. Наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5 и Q4-варианты, тогда как младшие Q3 и Q2 экономят память, но снижают качество. Для некоторых вариантов указаны ограничения совместимости с ARM, AVX и Mac. Архитектура, размер контекста, дополнительные модальности и лицензия в README не указаны.

Beetle-FineWeb2-24B/beetle-bilingual-l2-50-sequential-33-67-b3-fineweb-tur-eng — языковая модель для генерации текста, опубликованная на Hugging Face и предназначенная для использования с библиотекой Transformers. Название модели указывает на двуязычную направленность для турецкого и английского языков, а также на размер семейства 24B параметров. Модель можно применять для продолжения текста, генерации ответов, черновиков и других сценариев, основанных на text generation. В метаданных также указан тег pico_decoder, однако подробные сведения об архитектуре, контексте, обучении, оценивании и разработчике в доступных материалах отсутствуют. Лицензия в README и метаданных не указана, поэтому условия использования необходимо проверять на странице модели перед применением.

Beetle-FineWeb2-24B/beetle-bilingual-l2-80-late-b5-fineweb-deu-eng — модель для генерации текста на базе библиотеки Transformers. По идентификатору модели она относится к семейству Beetle-FineWeb2 и ориентирована на двуязычные сценарии для немецкого и английского языков. В метаданных указана задача text-generation и архитектурный компонент pico_decoder; размер модели и длина контекста в доступных данных не подтверждены. Модель может применяться для продолжения текста и генерации ответов или иных текстовых последовательностей в приложениях на базе Transformers. README содержит автоматически созданный шаблон карточки и не предоставляет сведений о разработчике, датасетах, результатах оценки, лицензии, рекомендуемых сценариях или точных технических характеристиках. Из-за неполноты документации модель следует предварительно тестировать на целевых данных и проверять качество, устойчивость и безопасность генерируемого текста перед использованием в продуктивных системах.

Behemoth-XL-195B-v1 — языковая модель для генерации текста, созданная softwareweaver с помощью mergekit из двух последовательных фрагментов слоёв TheDrummer/Behemoth-123B-v1. Это плотная архитектура MistralForCausalLM с 194,2 млрд параметров и контекстом до 131 072 токенов; доступны веса в формате safetensors. Модель предназначена для диалогов и других сценариев генерации текста, а конфигурация объединения была создана, чтобы проверить, улучшаются ли результаты при увеличении модели. Для использования README отсылает к карточке базовой модели TheDrummer/Behemoth-123B-v1, в том числе за сведениями о лицензии. В метаданных указана лицензия other; условия следует сверить с карточкой базовой модели. Результаты эксперимента с объединением слоёв и качество модели README не характеризует.

yanekyuk/bert-keyword-extractor — дообученная модель BERT для извлечения ключевых слов посредством классификации токенов. Она предназначена для выделения ключевых слов в тексте; README приводит метрики на оценочном наборе: precision 0,8565, recall 0,8874, accuracy 0,9738 и F1 0,8717, но не описывает сам набор данных и подробности обучения. Модель основана на bert-base-cased, имеет 135,5 млн параметров и контекст до 512 токенов. Поддерживает английский язык, использует PyTorch и распространяется по лицензии Apache-2.0.

BigMistral-13b — плотная причинная языковая модель семейства Mistral на 13,2 млрд параметров от athirdpath. Это базовая модель для генерации текста, собранная из срезов слоёв mistralai/Mistral-7B-v0.1 по рецепту NeverSleep; в README указано, что модель не проходила дополнительное дообучение. Репозиторий содержит веса Safetensors, а заявленный контекст составляет 32 768 токенов. Модель предназначена для генерации продолжений текста и может служить основой для экспериментов или последующего дообучения. Автор характеризует её как более лёгкую и перспективную по сравнению с версией на 14 млрд параметров, однако это качественная оценка без приведённых результатов сравнения. Лицензия — Apache-2.0. README не уточняет поддерживаемые естественные языки и конкретные ограничения качества.

BLOOM-560m — языковая модель на основе Transformer с архитектурой BLOOM, разработанная коллективом BigScience. Она содержит 560 млн параметров и предназначена для генерации текста, изучения поведения языковых моделей и дальнейшей адаптации к прикладным задачам. Модель обучена на нескольких языках и может использоваться как базовая для извлечения информации, ответов на вопросы и суммаризации. Поддержка языков включает английский, французский, испанский, португальский, арабский, бенгальский, хинди, индонезийский, тамильский, урду, вьетнамский и китайский, а также другие языки. Доступны версии весов в форматах PyTorch, Flax, ONNX и Safetensors. Модель может выдавать фактически неверные сведения, повторяться и генерировать предвзятый, оскорбительный или неподходящий контент. Она не предназначена для критически важных решений и высокорискового применения. Лицензия BigScience BLOOM RAIL 1.0 содержит ограничения на использование.

Bonsai-4B-gguf — компактная языковая модель, разработанная Prism ML и представленная в формате GGUF для запуска через llama.cpp. Она предназначена для локальной генерации текста, чат-ассистентов и интеграции в приложения на устройствах с ограниченными ресурсами, включая компьютеры, смартфоны и планшеты. Модель основана на плотной архитектуре Qwen3-4B с 4 млрд параметров, из которых около 3,6 млрд не относятся к эмбеддингам. Она использует 36 блоков Transformer-декодера, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Контекст составляет 32 768 токенов, размер словаря — 151 936 токенов. Все основные веса, включая эмбеддинги, проекции внимания, MLP и LM head, сжаты до 1-битного формата GGUF Q1_0 с группами по 128 весов и общими FP16-масштабами; эффективная разрядность — 1,125 бита на вес. Ключевые преимущества модели — размер около 0,57 ГБ, существенное снижение требований к памяти и поддержка CUDA, Metal, CPU, iOS и Android. По данным разработчика, она в 14,1 раза компактнее версии FP16 и может работать практически на любом устройстве с GPU. Однобитное квантование уменьшает потребление ресурсов, но может ограничивать качество по сравнению с полноформатными версиями; конкретные языки и результаты бенчмарков в README не указаны. Распространяется по лицензии Apache 2.0.

Calme-7B-Instruct-v0.5-GGUF — набор квантованных файлов в формате GGUF для модели Calme-7B-Instruct-v0.5, разработанной MaziyarPanahi. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций в локальных приложениях, поддерживающих GGUF. Модель имеет размер около 7 млрд параметров и относится к текстовым языковым моделям; в метаданных также указан тег mistral, однако подробности архитектуры, языки и размер контекстного окна не приведены. Доступны варианты квантования от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. Формат поддерживается llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp и другими совместимыми инструментами. Главные преимущества — возможность запуска локально, широкий выбор уровней квантования и совместимость с популярной экосистемой GGUF. Ограничения связаны с потерями качества при использовании более агрессивного квантования, а также с отсутствием в README данных о результатах тестирования, языковой специализации, контекстном окне и конкретных требованиях к оборудованию. Для модели указана лицензия Apache 2.0.

Canopy-258M-R3 v2 — компактная каузальная языковая модель семейства Canopy, разработанная авторами репозитория psikosen/canopy-258m-r3-v2. В README заявлена архитектура recurrent Mixture-of-Experts с маршрутизацией Top-2 по восьми экспертам и повторным выполнением шести средних MoE-блоков; метаданные указывают класс CanopyForCausalLM и 136,8 млн параметров, тогда как README приводит около 258,6 млн общих и около 112 млн активных параметров на токен. Модель предназначена для генерации текста, математических рассуждений, синтеза Python-кода и управления браузером. Авторы заявляют 50% успешных запусков HumanEval, 100% синтаксически корректного кода и прохождение набора из семи типов веб-взаимодействий; эти результаты приведены в карточке модели и не являются независимой оценкой. Модель ориентирована на высокую скорость работы на периферийных устройствах. В метаданных указан английский язык, поддержка чата и кода, формат safetensors и лицензия Apache-2.0. Длина контекста в предоставленных источниках не приведена.