II.6Документация и сопровождение разработки
В разделе собраны самостоятельные задачи, где AI помогает поддерживать понятную техническую документацию и ускорять передачу знаний. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
38 015 моделейЭто объединённая модель для генерации текста, опубликованная пользователем yuhengtu и созданная с помощью mergekit. В карточке указано, что веса получены линейным слиянием нескольких чекпойнтов одной серии, включая версии на шагах обучения 0, 1000, 2000, 3000 и 4000; в качестве базового при слиянии использовался чекпойнт global_step4000. Модель построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и рассчитана на контекст до 16 384 токенов. Она предназначена для генерации текста в диалоговом режиме. Карточка не описывает конкретные языки или специализированные области применения, поэтому модель следует рассматривать как универсальную языковую модель. Возможные ограничения качества, кроме общих для генеративных языковых моделей, в карточке не раскрыты. Лицензия в предоставленных данных не указана.
Это объединённая модель генерации текста на базе архитектуры GPT-NeoX, созданная с помощью mergekit. В линейное слияние вошли предварительно обученные чекпойнты шагов 6000, 7000 и 8000; в качестве базового использован чекпойнт global_step8000. Модель содержит 8,8 млрд параметров, работает с текстом и поддерживает контекст до 16 384 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. README не описывает конкретные сценарии, языки или качество ответов, поэтому применение следует выбирать с учётом проверки результатов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.
Модель sfm_filtered_e2e_insert_hyperstition_v1-7k_8k_9k_weightedavg_merge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit. При слиянии использован линейный метод: контрольная точка global_step9000 указана как базовая, а в качестве дополнительных моделей включены global_step7000 и global_step8000. Модель предназначена для генерации текста и диалогового взаимодействия. Она построена на архитектуре GPT-NeoX, содержит 8,8 млрд параметров и поддерживает контекст длиной до 16 384 токенов. В репозитории указаны веса в формате safetensors и использование библиотеки Transformers. README и метаданные не сообщают о специализации по предметной области, поддерживаемых естественных языках или конкретных ограничениях качества и безопасности. Условия лицензии в предоставленных данных не указаны.
sfm_filtered_insert_xxf_character-3k_4k_5k_6k_7k_weightedavg_merge — слитая языковая модель, созданная с помощью mergekit линейным объединением нескольких предварительно обученных чекпойнтов. В качестве базового чекпойнта при слиянии использовался вариант global_step7000; также объединены варианты global_step3000, global_step4000, global_step5000 и global_step6000. Репозиторий модели указывает архитектуру GPT-NeoX с плотной авторегрессионной языковой моделью объёмом 8,8 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст, поддерживает контекст до 16 384 токенов и распространяется в формате Safetensors для библиотеки Transformers. Язык или специализированная область применения в доступных сведениях не определены. Карточка не приводит оценок качества или подробного описания поведения, поэтому пригодность для конкретных сценариев нужно проверять отдельно. Лицензия в предоставленных данных не указана.
sfm_filtered_insert_xxf_character-5k_6k_7k_simpleavg_merge — объединённая языковая модель на архитектуре GPT-NeoX, созданная методом Linear с помощью mergekit из контрольных точек обучения с шагами 5000, 6000 и 7000. Модель содержит 8,8 млрд параметров, работает через Transformers и сохраняется в формате safetensors; заявленный контекст — до 16 384 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка не описывает специальные предметные области, конкретные языки или отличительные качества генерации. Использовать её можно в сценариях, где требуется текстовая генерация или чат; оценить качество для конкретной задачи по имеющимся сведениям нельзя. Лицензия в предоставленных данных не указана.
sfm_filtered_midtrain_alignment-0k_1k_2k_weightedavg_merge — объединённая модель предварительно обученных языковых моделей, созданная с помощью mergekit. В README указано, что применён линейный метод слияния, базой служила модель с контрольной точки global_step2000, а в объединение также вошли контрольные точки global_step0 и global_step1000. Метаданные описывают модель как плотную GPT-NeoX с архитектурой GPTNeoXForCausalLM и 8,8 млрд параметров. Модель предназначена для генерации текста и чат-сценариев. Заявленная длина контекста — 16 384 токена; файлы представлены в формате safetensors, библиотека — Transformers. Данных о языках и специализированных областях применения карточка не содержит. Условия лицензии в доступных сведениях не указаны.
Это объединённая модель генерации текста, опубликованная под именем yuhengtu-bytedance. Она создана методом Linear merge с помощью mergekit из трёх предварительно обученных чекпойнтов одного семейства: шагов обучения 6000, 7000 и 8000; чекпойнт шага 8000 указан как базовый. Архитектура — плотная GPT-NeoX для авторегрессионной генерации, размер — 8,8 млрд параметров, максимальный контекст — 16 384 токена. Модель рассчитана на текстовый диалог и генерацию продолжений. Языки, специальные предметные области и конкретные показатели качества в карточке не описаны. Файлы опубликованы в формате Safetensors и предназначены для работы через Transformers. Лицензия в доступных данных не указана.
Модель yuhengtu-bytedance/sfm_unfiltered_midtrain_alignment-1k_2k_3k_weightedavg_merge — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом Linear. В качестве базовой при слиянии использовалась версия с global_step3000; в объединение также вошли версии global_step1000 и global_step2000 из одного набора чекпойнтов. Это плотная авторегрессионная модель архитектуры GPT-NeoX с 8,8 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Она принимает текст и формирует текстовые ответы; заявленная длина контекста — 16 384 токена. В репозитории веса представлены в формате safetensors и модель использует Transformers. README и метаданные не сообщают целевые языки, специализированные области применения или результаты оценки качества. Лицензия в предоставленных данных не указана; перед использованием следует проверить условия в репозитории Hugging Face. Название и описание указывают на вариант midtrain alignment без фильтрации, поэтому его поведение в отношении безопасности и отказов нельзя считать подтверждённым.
yuhengtu-bytedance опубликовал объединённую модель генерации текста, созданную из трёх контрольных точек предварительно обученной языковой модели на шагах 5000, 6000 и 7000. Для слияния применён линейный метод mergekit, а контрольная точка global_step7000 использована как базовая. Модель построена на архитектуре GPT-NeoX и содержит 8,8 млрд параметров; заявленная длина контекста составляет 16 384 токена. В метаданных также указана возможность диалогового взаимодействия. Модель предназначена для генерации текста в диалоговом формате. README и метаданные не описывают её обучение, конкретные области применения или поддерживаемые естественные языки, поэтому их нельзя уверенно определить. Формат весов — safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.
sfmunfilteredmidtrainmisalignment-0k1k2kweightedavgmerge — объединённая предобученная языковая модель, созданная с помощью mergekit. В README описано линейное слияние чекпойнтов обучения с шагами 0, 1000 и 2000; в качестве базового для слияния использован чекпойнт global_step2000. В метаданных указаны архитектура GPT-NeoX, плотная модель для генерации текста и размер 8,8 млрд параметров. Модель принимает текст и генерирует текст; её можно использовать для продолжения текста и диалоговой генерации. Заявленная длина контекста составляет 16 384 токена. Карточка не сообщает о специализированной предметной области или языках. Доступны веса в формате safetensors; лицензия в предоставленных данных не указана.
SG Raccoon Yi 55B 200K — языковая conversational-модель, разработанная Marco Lironi на базе архитектуры Yi и опубликованная в формате GGUF. Репозиторий TheBloke содержит её квантизированные версии для локального запуска; исходная неквантизированная модель доступна в формате PyTorch. Указан английский язык. Модель предназначена для диалоговых сценариев и генерации текста. GGUF-файлы поддерживаются llama.cpp и рядом совместимых интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и сохранением качества. В README также указан размер контекста 200K, отражённый в названии модели. К сильным сторонам относятся большой контекст и возможность локального CPU+GPU-инференса с разными уровнями квантизации. Ограничения — необходимость значительных вычислительных ресурсов для модели класса 55B, возможная потеря качества при агрессивной квантизации и отсутствие в предоставленных данных подробных результатов оценки. Модель распространяется по лицензии yi-license; README ссылается на лицензию Yi и обозначает её как нестандартную.
ShearedPlats-2.7B-v1 — экспериментальная дообученная языковая модель на базе Sheared LLaMA 2.7B. Разработчик указывает, что для обучения использовались наборы данных в стиле Alpaca и метод Alpaca-QLoRA; модель применяет шаблон запросов Alpaca и предназначена для генерации текста по инструкциям и диалоговых запросов. Модель имеет архитектуру LLaMA с 2,6 млрд параметров, принимает текст и генерирует текст. Контекст составляет 4096 токенов. В репозитории указаны веса PyTorch и лицензия Llama 2. Карточка не сообщает о специализированной предметной области или поддерживаемых языках.
Shi-Ci v3 Avocet — ранняя предварительная версия большой языковой модели серии Shi-Ci от NLPark, обученная с учителем (SFT). Модель построена на архитектуре Qwen2 и предназначена для диалоговой генерации текста на китайском и английском языках. Модель содержит 31,7 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. Карточка обозначает её как ранний preview, поэтому качество и стабильность следует оценивать с учётом экспериментального статуса. Распространяется по лицензии Apache-2.0.
SHRDFU-7b Δ — языковая модель maldv, дообученная методом PEFT на базе ammarali32/multi_verse_model с использованием датасета crabcanon. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста, решения задач и работы с информацией в стиле исходной модели. В карточке указано, что дообучение проводилось без дополнительного conditioning и что модель унаследовала стиль базовой модели. Автор экспериментировал с обрамлением абзацев или ходов токенами BOS/EOS. Такой формат может быть частично совместим с instruct, но несовместим с шаблонами Alpaca и ChatML. Модель опубликована в формате safetensors под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.
bartowski/shuttleai_shuttle-3.5-GGUF — набор GGUF-квантизованных версий текстовой генеративной модели shuttle-3.5, разработанной shuttleai. Модель предназначена для диалогового общения и других сценариев генерации текста на английском языке. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; доступны варианты от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-квантизаций. Модель можно запускать локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В README указан шаблон промпта с ролями system, user и assistant. Основное преимущество набора — выбор между качеством, размером файла и требованиями к оперативной памяти: рекомендуются, в частности, Q4_K_M, Q5_K_M, Q6_K и другие варианты с более высоким качеством. При этом низкобитные версии заметно уступают старшим по качеству, а полная BF16-версия занимает около 65,53 ГБ; параметры модели, архитектура, размер контекста и поддержка других модальностей не указаны. Распространение заявлено по лицензии Apache-2.0. Это именно квантизованные представления исходной модели, поэтому для использования необходимо учитывать совместимость выбранного файла с оборудованием и программным обеспечением.
SimplyParse-qwen3txt-3rdepoch — дообученная языковая модель, разработанная taskmaster141 на основе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная модель семейства Qwen3 с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Размер модели составляет 3,7 млрд параметров, длина контекста — до 262 144 токенов. Указан английский язык. Модель подходит для создания ответов и ведения диалога, а также для сценариев, где требуется использовать интерфейс вызова инструментов. Данных о специализации дообучения и его результатах карточка не содержит. Модель распространяется по лицензии Apache-2.0.
Slush-FallMix-12B — объединённая методом SLERP языковая модель на архитектуре Mistral, созданная сообществом mergekit-community из ChatWaifu-Wayfarer-Sunfall и Slush-Sunfall-Rocinante-GGLD-12B. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и диалоговых ответов; в метаданных также заявлен интерфейс вызова инструментов. Слияние использует V-образное распределение параметра t по слоям: в конфигурации указано сочетание Hermes на входных и выходных слоях и WizardMath в средних слоях. Модель принимает текст и выдаёт текст. Для загрузки используется библиотека Transformers, веса представлены в формате safetensors; заявленная длина контекста — 1 024 000 токенов. Карточка не сообщает результаты оценки качества, поддерживаемые языки или ограничения в применении, поэтому эти характеристики нельзя уточнить. Лицензия в предоставленных данных не указана.
SmolLM-1.7B-Instruct-v0.2-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели SmolLM-1.7B-Instruct-v0.2, разработанной HuggingFaceTB. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые сценарии, программирование и обработку повседневных запросов. Указан английский язык. Модель имеет размер 1,7 млрд параметров и работает в текстовой модальности. В набор входят варианты от F32 до низкобитных Q2–Q8 и IQ-квантизаций с размером файлов примерно от 0,67 до 6,85 ГБ. Более высокие разрядности обычно лучше сохраняют качество, тогда как низкоразрядные варианты требуют меньше оперативной памяти. Для запуска рекомендуется использовать llama.cpp или совместимые приложения, включая LM Studio, с указанным в README форматом чата. К сильным сторонам относятся компактный размер, возможность локального запуска и широкий выбор компромиссов между качеством и требованиями к памяти. Ограничения — небольшая по современным меркам модель, поддержка только английского языка согласно карточке и потенциальная потеря качества при сильной квантизации. Базовая модель обучалась на наборах Magpie-Pro-300K-Filtered, self-oss-instruct-sc2-exec-filter-50k, OpenHermes-2.5 и everyday-conversations-llama3.1-2k. Указанная лицензия — Apache-2.0.
SmolLM2-135M-Instruct — компактная языковая модель HuggingFaceTB для диалоговой генерации текста. Это плотный декодерный трансформер архитектуры Llama с 134,5 млн параметров и контекстом до 8192 токенов. Модель распространяется в форматах Safetensors и ONNX и рассчитана на запуск на устройствах с ограниченными ресурсами. Версия Instruct создана на основе SmolLM2-135M с помощью supervised fine-tuning и Direct Preference Optimization. Она предназначена для следования инструкциям, ответов в диалоге, переписывания и суммаризации текста. Карточка также упоминает вызов функций, но относит эту возможность к модели размером 1,7 млрд параметров. Модель прежде всего понимает и генерирует английский текст. Она компактна и улучшена по сравнению с SmolLM1 в следовании инструкциям, знаниях и рассуждениях, однако может выдавать фактические ошибки, непоследовательные ответы и смещения из обучающих данных. Лицензия — Apache-2.0.
bartowski/SmolLM2-1.7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели SmolLM2-1.7B-Instruct, разработанной HuggingFaceTB и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы с текстовыми инструкциями; запуск возможен, в частности, через LM Studio и другие совместимые средства на базе llama.cpp. Модель имеет размер 1,7 млрд параметров и поддерживает английский язык. В репозитории представлены варианты от F16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и Q2, включая версии, оптимизированные для ARM. Размер файлов составляет примерно от 0,7 до 3,4 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для корректной работы следует использовать указанный шаблон диалога с ролями system, user и assistant. К сильным сторонам относятся компактность, возможность локального запуска и широкий выбор уровней квантизации; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как подходящие для экономии памяти. Более агрессивная квантизация снижает качество генерации, а ARM-ориентированные варианты требуют соответствующих аппаратных возможностей и не рекомендуются для Mac или Windows. Лицензия модели — Apache-2.0.
Huangsssz/SmolLM3-3B-MOPD-Top64-DT-NoThinking-500 — исследовательский чекпойнт языковой модели, созданный на базе BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель SmolLM3 с плотной архитектурой содержит 3,1 млрд параметров, принимает текстовые запросы и генерирует текст. Родной контекст — 65 536 токенов; экспортирована в BF16 в формате Hugging Face Transformers, с токенизатором и исходным шаблоном чата. Чекпойнт прошёл 500 обновлений оптимизатора с дистилляцией Top64-пересечения токенов от учителей по математике, программированию и следованию инструкциям. Обучение и оценка выполнялись с отключённым режимом thinking. README приводит результаты на math500, LiveCodeBench и IFBench как измерения по фиксированному протоколу; это снимок оценки, а не гарантия качества. Для генерации в режиме без рассуждений нужно явно передать enable_thinking=False. Лицензия — Apache-2.0, унаследованная от базовой модели.
sidgenai/smollm3-sft — дообученная компанией sidgenai языковая модель семейства SmolLM3 на базе HuggingFaceTB/SmolLM3-3B-Base. Модель обучена методом supervised fine-tuning с использованием TRL и предназначена для генерации текста в диалоговом формате; пример в карточке показывает ответ на открытый вопрос. Модель имеет плотную архитектуру SmolLM3ForCausalLM и 3,1 млрд параметров. Она принимает текстовые сообщения и генерирует текст, поддерживает контекст длиной до 65 536 токенов и работает через библиотеку Transformers с весами в формате safetensors. Данные не позволяют установить, какие именно навыки или языки улучшены дообучением. Лицензия в предоставленных сведениях не указана.
SmolTulu-1.7b-Reinforced — компактная языковая модель SultanR, основанная на SmolTulu-1.7b-Instruct и дообученная с подкреплением на основе проверяемых вознаграждений (RLVR) в рамках посттренировочного конвейера Tulu 3 от AllenAI. Это плотная авторегрессионная модель семейства Llama с 1,7 млрд параметров; она рассчитана на диалоги, выполнение инструкций и генерацию текста. Модель ориентирована прежде всего на английский язык и принимает текстовый ввод, выдавая текст. В карточке приведены результаты сравнительных оценок: модель показала 61,0 на GSM8K и 51,1 на ARC, а также прошла оценку IFEval; эти показатели описывают тесты автора и не гарантируют качество на других задачах. Контекст составляет 8192 токена. Модель доступна в формате safetensors для запуска через Transformers и распространяется по лицензии Apache-2.0.
SmolVLM-Synthetic — компактная мультимодальная модель от Hugging Face для анализа изображений и текста. Она объединяет языковую модель SmolLM2-1.7B-Instruct с визуальным компонентом SigLIP и использует архитектуру Idefics3; веса доступны в формате safetensors. Модель принимает текстовые запросы и одно или несколько изображений, в том числе в чередующихся последовательностях, и формирует текстовый ответ. Также её можно использовать как языковую модель без изображений. Модель предназначена для ответов на вопросы по изображениям, описания визуального содержимого, подписей к изображениям, понимания документов, диаграмм и визуальных рассуждений, а также для рассказов, основанных на изображениях. Для кодирования изображения используются 81 визуальный токен на патч 384×384; более крупные изображения разбиваются на патчи. Компактная архитектура рассчитана на эффективный инференс, в том числе на устройствах с ограниченными ресурсами. В карточке указана поддержка английского языка. Модель не генерирует изображения, а ответы могут содержать фактические ошибки. Её не следует использовать для решений с высокими последствиями для людей. Лицензия — Apache 2.0.
Smoothie Qwen — вариант Qwen3-8B от dnotitia, созданный настройкой вероятностей токенов для более сбалансированной многоязычной генерации. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. В README описаны параметры сглаживания и обработки токенов, связанные с диапазонами Unicode для китайских иероглифов. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Используются веса safetensors, библиотека Transformers и лицензия Apache-2.0. Базовая модель Qwen3-8B мультиязычна, однако карточка Smoothie отмечает английский язык; конкретный выигрыш по качеству для отдельных языков README не приводит.
SoftTiger-13b — языковая модель общего назначения, представленная TigerResearch как основа для создания собственных LLM. Она построена на плотной архитектуре Llama с декодером LlamaForCausalLM и содержит 13 млрд параметров; модель предназначена для генерации текста и запускается через Transformers с кодом TigerBot. Модель поддерживает китайский и английский языки, принимает текст и генерирует текст. Её нативная длина контекста составляет 8192 токена. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. README не приводит оценок качества или специализированных сценариев, поэтому пригодность для конкретных задач следует проверять отдельно.
SoftwareArchitecture-Instruct-v1 — инструктивно дообученная языковая модель Мохамеда Яссера для вопросов по архитектуре программного обеспечения. Она основана на Liquid AI LFM2-1.2B и дообучена на датасете ajibawa-2023/Software-Architecture. Модель имеет плотную гибридную архитектуру LFM2, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для технических специалистов: архитекторов ПО, системных проектировщиков и опытных разработчиков. Она помогает разбирать архитектурные шаблоны, готовить проектные документы и обоснования решений, а также проводить разборы системного дизайна и готовиться к техническим интервью. Основной язык в карточке — английский. Лицензия — Apache-2.0. Ответы могут быть длинными и обрываться при достижении лимита генерации. Охват ключевых слов не всегда полон; архитектурные решения модели следует проверять с участием специалиста. Модель не предназначена для общего общения, глубокой генерации кода или отладки вне архитектурного контекста.
Модель 5k4nd3rr/spark-tts-tunartts-v1 — компактная модель генерации текста на базе семейства Qwen2, опубликованная пользователем 5k4nd3rr для использования через библиотеку Transformers. Она имеет около 506,6 млн параметров и поддерживает контекст до 32 768 токенов; в метаданных также отмечена как conversational-модель.
sparsetral-16x7B-v2-SPIN_iter0 — разговорная языковая модель serpdotai, полученная дообучением sparsetral-16x7B-v2 методом SPIN на OpenHermes-2.5 с добавлением примеров традиционного DPO. Это первая итерация эксперимента; автор планировал продолжать обучение в следующих итерациях. Модель предназначена для генерации текста и диалоговых ответов общего назначения, включая следование инструкциям. Архитектура — Sparsetral, смесь экспертов на базе MistralForCausalLM; в метаданных указано 7,1 млрд параметров и контекст 32 768 токенов. Карточка описывает обучение QLoRA с последовательностями длиной 4096 токенов и формат диалога с ролями system, user и assistant. Указан английский язык. Модель распространяется по лицензии Apache-2.0.
Speechless Llama2 13B — это языковая модель для генерации текста и выполнения инструкций, разработанная Jiangwen Su на базе Llama 2. Данный репозиторий содержит её квантизированные версии в формате GGUF, подготовленные TheBloke. Модель ориентирована на диалоговые и общие текстовые сценарии, включая ответы на инструкции, написание текста и решение различных задач через шаблон Alpaca. Модель построена на архитектуре Llama и имеет 13 миллиардов параметров. Указан английский язык. Формат GGUF поддерживает метаданные и специальные токены и предназначен для запуска через llama.cpp, а также совместимые интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Доступны варианты с разными уровнями квантизации от 2 до 8 бит, что позволяет выбирать между требованиями к памяти и качеством вывода. К сильным сторонам относятся возможность локального запуска на CPU и GPU, широкий выбор квантизаций и совместимость с распространённой экосистемой GGUF. Ограничениями являются ориентация преимущественно на английский язык, зависимость качества и потребления памяти от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о размере контекста и результатах независимых оценок. Для использования указана лицензия llama2.