II.6Документация и сопровождение разработки

ZiRA-Researcher — дообученная модель проекта 0xvoid на базе Qwen/Qwen3.5-4B, предназначенная для исследовательских ответов, многошаговых рассуждений и сложных вопросов. Это плотная текстовая причинная модель примерно на 3,4 млрд параметров с контекстом до 262 144 токенов; репозиторий содержит веса в формате Safetensors. Карточка описывает архитектуру Qwen3.5 как гибрид Gated Delta Network и разреженной смеси экспертов. Модель обучена синтезировать сведения, строить последовательные аргументы, отмечать неопределённость и пересматривать ошибки в ходе генерации. Она подходит для анализа длинных документов, многоэтапных логических задач и технических разборов; карточка рекомендует её для локального запуска и сценариев с ограниченным бюджетом. Встроенного доступа к вебу или поиска по источникам нет, поэтому для RAG нужно передавать извлечённые материалы в запросе. Дообучение преимущественно ориентировано на английский, хотя базовая архитектура поддерживает 201 язык. На узкоспециализированных темах модель может выдумывать сведения, а подробные рассуждения могут быть медленными и многословными. Лицензия — Apache-2.0.

ShenaoZ/0.0005_mistral_withdpo_4iters_bs256_5551lr_iter_2 — диалоговая текстовая модель семейства Mistral, дообученная методом Direct Preference Optimization (DPO) на обновлённом и исходном наборах данных. Она предназначена для генерации текста в чат-сценариях. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. README не описывает специализированные сценарии, оценку качества или ограничения модели. Репозиторий распространяется по лицензии Apache-2.0; веса представлены в формате safetensors.

ShenaoZ/0.0005_withdpo_4iters_bs256_5102lr_iter_3 — диалоговая текстовая модель семейства Mistral с плотной архитектурой и 7,1 млрд параметров. Это дообучение модели ShenaoZ/0.0005_withdpo_4iters_bs256_5102lr_iter_2 на обновлённом и исходном наборах данных; метаданные указывают на применение DPO. Модель предназначена для генерации текста в диалоговом формате и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors и опубликован по лицензии MIT. Карточка не сообщает о результатах оценки или специфических ограничениях качества.

Модель ShenaoZ/0.001_ablation_declr_4iters_iter_3 — дообученная версия ShenaoZ/0.001_ablation_declr_4iters_iter_2 на обновлённом и исходном наборах данных. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и формирует текстовые ответы; поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors. Карточка не описывает конкретные сценарии применения, результаты оценки качества, поддерживаемые языки или ограничения поведения. Модель распространяется по лицензии MIT.

Это разговорная модель генерации текста семейства Mistral, разработанная ShenaoZ. Модель содержит 7,1 млрд параметров и принимает контекст длиной до 32 768 токенов. Она дообучена методом DPO на обновлённом и исходном наборах данных на основе ShenaoZ/0.001_withdpo_4iters_bs256_555lr_iter_1. Модель предназначена для генерации ответов в диалогах и других сценариев текстовой генерации. В карточке не приведены подробности о целевых сценариях, языках обучения или результатах оценки. Распространяется в формате safetensors по лицензии MIT.

Модель ShenaoZ/0.01_sft_nodpo_3iters_bs256_531lr_iter_2 — дообученная диалоговая языковая модель семейства Mistral с плотной архитектурой и 7,1 млрд параметров. Она создана на основе ShenaoZ/0.01_sft_nodpo_3iters_bs256_531lr_iter_1 и дообучена на наборах данных updated и original. Модель предназначена для генерации текста и диалоговых ответов. Она принимает текст и формирует текстовый ответ; максимальный контекст составляет 32 768 токенов. Модель опубликована в формате Safetensors под лицензией MIT. Карточка не содержит сведений о целевых сценариях, оценках качества или ограничениях применения, поэтому пригодность для конкретных задач следует проверять самостоятельно.

Fischerboot/10-test — языковая модель на архитектуре Llama, созданная с помощью mergekit методом SLERP на основе Fischerboot/9-test. Она предназначена для генерации текста и диалогового общения. Модель содержит 5,1 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Карточка не описывает специализированную область применения, набор языков или сравнительные показатели качества. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

yuq-zhou/2026-05-o-b0p3-a0p25-gc0p5-exp-td8p0-tw10p0-mbz-bridge-q3-1p7b — плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров, представленная в формате Safetensors для Transformers. Карточка описывает её как резервную копию исследовательского чекпойнта; модель совместима с загрузкой через AutoModelForCausalLM и имеет интерфейс диалога и вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, в которых требуется формировать ответы или передавать вызов инструменту. Контекст составляет до 40 960 токенов. В карточке не приведены сведения о языковой специализации, лицензии и результатах оценки качества, поэтому их нельзя уточнить по имеющимся данным.

Это исследовательская резервная копия чекпойнта для генерации текста в стандартном формате Hugging Face. Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров; для загрузки используется Transformers. Метаданные указывают контекст до 131 072 токенов и возможности чата и интерфейса вызова инструментов. Модель подходит для диалоговой генерации текста и сценариев с вызовом инструментов. README называет её резервным исследовательским артефактом, поэтому сведений о специализации, обучающих данных и качестве для конкретных задач нет. Лицензия в предоставленных данных не указана.

Модель Abdelrahman033/abdelrahman-persona-qwen2.5-7b — дообученная разговорная языковая модель, разработанная Abdelrahman033 на базе unsloth/Qwen2.5-7B-Instruct-bnb-4bit. Она предназначена для генерации текста в диалоге; в метаданных также отмечен интерфейс вызова инструментов. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Указан английский язык. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы. В README не описаны специальная персона или узкие сценарии дообучения, поэтому область её специализации определить нельзя. Лицензия — Apache-2.0.

ishikaa/acquisition_student_AS_proximity_omnimath_qwen14b — текстовая генеративная модель объёмом 14B параметров, опубликованная на Hugging Face. Модель работает через библиотеку Transformers, использует формат Safetensors и связана с семейством Qwen2; в метаданных также отмечены обучение с учителем и conversational-сценарии. Модель предназначена для генерации текста и диалогового взаимодействия. Она поддерживает контекст длиной до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и продолжать содержательные диалоги. README не содержит достоверных сведений о разработчике, лицензии, языках, исходной модели, данных обучения, результатах оценки или специализированных ограничениях.

ishikaa/acquisition_student_RL_AS_confidence_combined_qwen14b — языковая модель на архитектуре семейства Qwen2, опубликованная пользователем ishikaa. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также указано обучение или настройка с использованием TRL и GRPO. README содержит только автоматически созданную карточку и не предоставляет сведений о разработчиках, обучающих данных, методике дообучения или лицензии. Модель имеет около 14 миллиардов параметров и поддерживает контекст до 32 768 токенов. Она может применяться для генерации ответов, ведения диалога, создания черновиков и интеграции в текстовые приложения на базе Transformers. Мультимодальность и конкретный набор естественных языков не заявлены. Ключевые ограничения связаны с неполной документацией: отсутствуют результаты оценки, описание датасета, точные сведения о базовой модели, лицензии и рекомендуемых сценариях использования. Ответы модели могут содержать фактические ошибки, нежелательные формулировки и зависеть от качества промпта; перед применением в критически важных задачах необходима проверка человеком.

Aetheris-Core-2B — языковая модель Miiyamoto255 для локальной генерации текста и диалогов. Она использует плотную архитектуру Gemma 2 с причинной языковой моделью на 2,7 млрд параметров; контекст составляет до 8192 токенов. В карточке заявлены помощь в программировании и разработке игр, рассуждения, следование инструкциям, объяснения, ответы на вопросы, суммаризация и творческая генерация. Указаны Python, JavaScript, HTML/CSS, C и C++, однако метаданные подтверждают английский как язык модели. Модель распространяется в формате Safetensors и предназначена для быстрого локального запуска при умеренных требованиях к памяти. В метаданных её происхождение отмечено как слияние с google/gemma-2-2b-it; карточка при этом называет её созданной с нуля, поэтому детали происхождения описаны противоречиво. Автор заявляет о меньшей склонности к необоснованным отказам. Модель может ошибаться в рассуждениях и ответах, а её надёжность для перечисленных задач не подтверждена приведённой демонстрацией. Указана пользовательская лицензия Miiyamoto255; перед использованием следует ознакомиться с её условиями.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.

AI21-Jamba-Reasoning-3B-GGUF — набор GGUF-квантизованных версий языковой модели AI21-Jamba-Reasoning-3B, разработанной AI21 Labs. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, где требуется рассуждение; запуск возможен локально через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Доступны варианты от исходных BF16-весов размером 6,40 ГБ до компактных квантов IQ3 и Q3 размером примерно 1,47–1,76 ГБ, а также более качественные варианты Q4–Q8. Рекомендуемые сборки включают Q4_K_M, Q5, Q6 и другие варианты; выбор позволяет балансировать качество, скорость и требования к оперативной памяти. Формат приглашений предусматривает системное и пользовательское сообщения, а также блок <think> для рассуждений перед ответом. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках и модальностях, поэтому эти характеристики неизвестны. Более сильные квантизации обеспечивают качество, близкое к исходным весам, тогда как компактные варианты экономят память ценой снижения качества. Лицензия в представленном описании не указана.

AiMaven-SmartMarc — языковая модель, собранная jefferylovely слиянием двух моделей: AiMavenAi/AiMaven-SmartDawg-7b и nfaheem/Marcoroni-7b-DPO-Merge. Для слияния применён метод slerp через LazyMergekit; базовой моделью указана AiMavenAi/AiMaven-SmartDawg-7b. Модель построена на архитектуре Mistral с плотной трансформерной сетью, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста. Карточка не уточняет целевые языки, специальные области применения или качество на конкретных задачах. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение. Сведения о сравнительных оценках качества и специальных ограничениях модели в карточке отсутствуют.

jondurbin создал эту диалоговую модель на базе LLaMA с 32,3 млрд параметров, дообучив её методом QLoRA на синтетических данных, созданных GPT-4. Она предназначена для генерации ответов в формате чата и задач, включающих викторины, математику и рассуждения, программирование, вопросы с выбором ответа и заполнение пропусков, а также ответы на вопросы с опорой на предоставленный контекст. Для диалога используется шаблон Vicuna 1.1. Особый акцент сделан на ответах по заданному контексту: модель обучали опираться на предоставленные сведения и ограничивать ответ ими, чтобы уменьшить галлюцинации. Контекстное окно составляет 2048 токенов. README отмечает, что навыки математики и рассуждений остаются слабыми; следовательно, ответы требуют проверки. Модель выпущена под лицензией CC BY-NC 4.0, которая запрещает коммерческое использование.

jondurbin/airoboros-l2-13b-gpt4-1.4.1 — дообученная версия Llama 2 13B, подготовленная Jondurbin на наборе данных airoboros-gpt4-1.4.1. Это плотная авторегрессионная языковая модель на архитектуре Llama для генерации текста и диалоговых сценариев. Модель содержит 12,9 млрд параметров, принимает текст и поддерживает контекст до 4096 токенов. Модель подходит для генерации ответов и диалогов в стиле обучающих данных Airoboros. В карточке приведена ссылка на предыдущую версию модели, но подробности о её возможностях и ограничениях здесь отсутствуют. Указана лицензия other; перед использованием следует проверить её условия.

Airolima Chronos Grad L2 13B — это текстовая языковая модель для генерации ответов и ведения диалога, созданная kingbri. Модель представляет собой объединение (merge) проектов Airoboros и Chronos на базе архитектуры Llama 2 с 13 млрд параметров. В данном репозитории опубликованы квантизированные файлы в формате GGUF, подготовленные TheBloke для запуска на CPU и GPU. Модель предназначена для общего текстового общения, генерации и продолжения текста, а также сценариев, поддерживаемых интерфейсами llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другими совместимыми библиотеками. Указан английский язык. Поддерживаются шаблоны запросов Alpaca 2 и Airoboros; рекомендуемый размер контекста и другие параметры инференса в представленном README не указаны. К сильным сторонам относятся относительно крупный размер 13B, совместимость с широким набором локальных инструментов и наличие вариантов квантизации от 2 до 8 бит, позволяющих выбирать компромисс между качеством и требованиями к памяти. Ограничения связаны с тем, что это квантизированная версия, а сведения о результатах тестирования, точности, безопасности и поддерживаемых модальностях отсутствуют; модель является текстовой и не заявлена как мультимодальная. Лицензия указана как llama2.

Al_Dente_v1_8b — разговорная языковая модель на архитектуре Llama 3, разработанная Pankaj Mathur и дообученная на наборах данных для supervised fine-tuning (SFT). Она предназначена для общего диалога и ответов на запросы в формате ChatML, например для создания универсального помощника и дальнейшей адаптации под конкретные задачи. Модель содержит 7,5 млрд параметров, принимает и генерирует текст на английском языке и поддерживает контекст длиной до 8192 токенов. В карточке приведены отдельные результаты Open LLM Leaderboard, но полная оценка качества ещё не опубликована. Для использования указана лицензия Llama 3; автор разрешает дообучение и слияние при указании авторства.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Tulu-3.1-8B, разработанной Allen Institute for AI (allenai) и опубликованной в формате квантизаций пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp, LM Studio и других совместимых проектов на базе llama.cpp. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах квантизации от Q2 до Q8, размером примерно от 3,7 до 8,5 ГБ. Доступны форматы Q4, Q5, Q6, Q8 и IQ, позволяющие выбирать между качеством ответов и требованиями к памяти; наиболее сбалансированным вариантом автор README называет Q4_K_M, а варианты Q5 и Q6 — высококачественными. Для взаимодействия рекомендуется использовать шаблон с ролями system, user и assistant. Сведения о размере контекста, точной архитектуре, производительности и ограничениях исходной модели в README не приведены. Основные преимущества — широкий выбор квантизаций, возможность локального запуска и адаптация под устройства с разным объёмом оперативной памяти. Более сильное сжатие уменьшает требования к ресурсам, но снижает качество, особенно у вариантов Q2 и Q3. Модель распространяется под лицензией llama3.1; перед использованием следует учитывать условия этой лицензии.

Это GGUF-квантизированная версия языковой модели Olmo-3-7B-Instruct, разработанной Allen Institute for AI (AI2) и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая работу через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит 7 миллиардов параметров и распространяется в формате GGUF с вариантами от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и Q2. Квантизация выполнена с использованием llama.cpp и метода imatrix; доступны файлы размером примерно от 3,26 до 14,60 ГБ. Для общения следует использовать шаблон с ролями system, user и assistant в формате специальных токенов im_start и im_end. Сведения о длине контекста, архитектурных деталях, мультимодальности и поддержке других языков в README не указаны. Сильной стороной модели является широкий выбор квантизированных вариантов, позволяющий адаптировать качество, размер файла и требования к оперативной памяти; варианты Q4 и выше описаны как рекомендуемые для большинства сценариев. Более компактные варианты экономят память, но обеспечивают более низкое качество. Модель предназначена для локального запуска, однако конкретные требования к производительности зависят от выбранного варианта квантования и оборудования. Лицензия — Apache-2.0.

SERA-8B-GGUF — это набор GGUF-квантизированных версий языковой модели SERA-8B, разработанной Allen Institute for AI (AI2). Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Модель имеет размер 8B параметров и поддерживает текстовый ввод и вывод. Доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми обозначены, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты с более высоким качеством; размеры файлов находятся примерно в диапазоне от 3,37 до 16,39 ГБ. Для диалогового использования README указывает шаблон промпта с ролями system, user и assistant. Сильная сторона набора — возможность запускать SERA-8B на локальном оборудовании с разными ограничениями по памяти, сохраняя приемлемое качество при средних и высоких уровнях квантизации. Ограничения зависят от выбранного варианта: более компактные квантизации снижают качество, а для недавно поддерживаемых архитектур может потребоваться обновление используемого программного обеспечения. Языки, размер контекстного окна и специализированные возможности исходной модели в README не указаны. Распространение заявлено по лицензии Apache-2.0.

AlpaGasus-13B — неофициальная чат-модель, опубликованная gpt4life и дообученная на базе LLaMA-13B. Это авторегрессионная языковая модель на архитектуре Transformer с примерно 12,9 млрд параметров и контекстом до 2048 токенов. Модель предназначена для диалогов и генерации текста в ответ на инструкции. При дообучении использован набор примерно из 5 тысяч триплетов Alpaca, отфильтрованных с помощью Claude. Репозиторий содержит веса PyTorch. Лицензия указана как other; README описывает её как некоммерческую и требует учитывать исходную лицензию LLaMA. Перед использованием следует проверить условия обеих лицензий. Описание не приводит результатов оценки качества или подробных ограничений модели.

Amaretto-14B-i1-GGUF — это квантизированная версия языковой модели Amaretto-14B, разработанной AmarettoLabs и подготовленной пользователем mradermacher в формате GGUF. Модель предназначена для генерации текста, творческого письма и работы в качестве ассистента по написанию; в метаданных указано, что она дообучалась с применением QLoRA. Заявлен английский язык. Модель имеет около 14 миллиардов параметров и распространяется в вариантах i1-квантизации с размерами примерно от 3,4 до 11,2 ГБ. Доступны уровни от IQ1 и IQ2 до IQ4, Q5 и Q6; варианты различаются компромиссом между размером, скоростью и качеством. В README также указано, что это vision-модель, однако сведения о поддерживаемых визуальных входах, архитектуре мультимодальности и контекстном окне не приведены. Сильная сторона набора — широкий выбор GGUF-вариантов для запуска на оборудовании с разным объёмом памяти; рекомендованным назван i1-Q4_K_M, а i1-Q4_K_S описан как оптимальный по соотношению размера, скорости и качества. Более низкие уровни квантизации могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

AMARSADN-AI_V1 — языковая модель amarsadan для генерации текста и диалогового взаимодействия. Это дообученная версия SC117/LFM2.5-2.6B-Uncensored на архитектуре LFM2 с плотной моделью Lfm2ForCausalLM и 2,6 млрд параметров. В карточке указано, что обучение проводилось с помощью Unsloth и библиотеки TRL от Hugging Face. Модель предназначена для генерации текста и чата; в метаданных также отмечен интерфейс вызова инструментов. Поддерживаемый язык — английский. Контекстное окно составляет 128 000 токенов, веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Качество и надёжность ответов отдельно не описаны; базовая модель обозначена как uncensored, поэтому ответы могут не следовать обычным ограничениям на содержание.

AnLLM-AC-7B-PT — языковая модель для генерации текста, созданная на основе Llama 2 7B и дообученная на выборке RedPajama-Data-1T-Sample. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 6,6 млрд параметров и контекстом до 4096 токенов. Репозиторий содержит веса в формате PyTorch. Модель предназначена для генерации продолжений текста и других сценариев, реализуемых через text generation. README не приводит конкретных результатов оценки, рекомендаций по применению или известных ограничений качества. Лицензия в предоставленных данных не указана.

aquif-3.5-8B-Think-GGUF — это квантизированная версия текстовой генеративной модели aquif-3.5-8B-Think, разработанной aquif-ai и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые проекты. Из доступных данных известно, что исходная модель имеет размер 8B параметров и поддерживает текстовую генерацию. Архитектура, языки, размер контекста, обучающие данные и специализированные сценарии применения не указаны. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая imatrix-квантизации. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее теряют в качестве. Сильная сторона модели — широкий выбор файлов для подбора баланса между качеством, размером и требованиями к оборудованию; для большинства сценариев рекомендуется Q4_K_M, а варианты Q5 и Q6 позиционируются как высококачественные. Ограничения включают отсутствие в README сведений о формате промптов, языковой поддержке, контекстном окне и результатах оценки. Лицензия в предоставленных данных не указана.

Aquila2-7B — базовая языковая модель серии Aquila2, разработанная BAAI. Она предназначена для генерации продолжения текста и может служить основой для дальнейшей адаптации под прикладные задачи. Модель имеет плотную архитектуру AquilaForCausalLM и содержит 7,1 млрд параметров; максимальная длина контекста составляет 8192 токена. В обновлении от 6 июня 2024 года заменили токенизатор на вариант с более высокой степенью сжатия. В карточке приведено сравнение токенизации китайского и английского текста, кода и математических выражений. Модель распространяется в формате safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и официальными материалами BAAI.

AFM-4.5B-GGUF — это квантизированная версия языковой модели AFM-4.5B, разработанной arcee-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального инференса через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до Q2_K_L и IQ3_XXS, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Модель поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. В README не указаны архитектурные особенности, длина контекста, поддержка мультимодальности и подробные сведения о качестве на конкретных задачах. К сильным сторонам относятся широкий набор языков, возможность локального запуска и наличие вариантов, оптимизированных под разные аппаратные ограничения. Более агрессивная квантизация уменьшает потребление памяти, но может снижать качество; низкобитные варианты прямо обозначены как менее качественные или нерекомендуемые. Для генерации рекомендуется температура 0,5, top_k 50, top_p 0,95, repeat_penalty 1,1 и min_p 0,05; модель склонна к избыточно длинным ответам при более высокой температуре. Распространение указано на условиях лицензии Apache-2.0. Квантизация выполнена с использованием llama.cpp версии b6014 и метода imatrix на калибровочном наборе данных combined_all_medium.