II.2Создание и понимание программного кода

Lostbel0/losty-v4-merged-2 — языковая модель для генерации текста, опубликованная на Hugging Face и предназначенная для использования через библиотеку Transformers. В метаданных модель связана с архитектурой Llama и имеет около 7,5 млрд параметров; сведения о разработчике, базовой модели, обучающих данных и лицензии отсутствуют. Модель подходит для генерации и продолжения текста, диалоговых сценариев и интеграции в приложения на базе Transformers. Заявленная длина контекста составляет 131 072 токена, однако поддерживаемые естественные языки в доступных данных не указаны. Карточка не содержит результатов оценки, описания обучения, рекомендаций по применению или подробностей о рисках. Поэтому качество, фактическая точность, устойчивость к вредным или предвзятым ответам и пригодность для критически важных задач требуют самостоятельного тестирования; условия лицензии также необходимо уточнить перед использованием.

Luda Brain v2 — языковая модель семейства Mistral, дообученная roseball369 на базе unsloth/mistral-7b-bnb-4bit с использованием Unsloth и библиотеки TRL от Hugging Face. Модель предназначена для генерации текста и диалогового взаимодействия. Она содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; доступны веса в форматах Safetensors и GGUF Q4_K_M. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специализацию дообучения, состав обучающих данных или результаты оценки качества, поэтому пригодность для конкретных предметных областей по имеющимся сведениям определить нельзя.

M7T3qm7xp_Experiment26T3qm7xp — объединённая языковая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием моделей automerger/M7T3qm7xp-7B и automerger/Experiment26T3qm7xp-7B и предназначена для генерации текста.

M7Yamshadowexperiment28_Percival_01Yamshadow — объединённая модель семейства Mistral, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Percival_01Yamshadow-7B. Она предназначена для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не уточняет особенности обучения, целевые языки и ограничения качества, поэтому их нельзя определить по доступным сведениям.

MaziyarPanahi/M7Yamshadowexperiment28_YamT3qm7xp — объединённая модель Mistral для генерации текста. Она создана слиянием моделей automerger/M7Yamshadowexperiment28-7B и automerger/YamT3qm7xp-7B; архитектура — плотная причинно-языковая модель MistralForCausalLM объёмом 7,1 млрд параметров. Модель принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Модель подходит для генерации продолжений и ответов на текстовые запросы. В репозитории веса представлены в формате Safetensors. Использование регулируется лицензией Apache 2.0. Карточка не описывает конкретные языки или специализированные области применения.

MB-Zephyria-45b — экспериментальная текстовая модель SteelStorage, созданная на основе unsloth/Mistral-Small-Instruct-2409. В ней 55 слоёв: с 19-го слоя продублированы 30 слоёв, а последние 7 слоёв остаются уникальными. В метаданных указаны 44,3 млрд параметров и контекст до 131 072 токенов; архитектура — плотная MistralForCausalLM. Модель предназначена для диалогов и генерации текста, включая потенциально сложные рассуждения и творческие задачи; интерфейс поддерживает вызов инструментов. Автор описывает подход как Modified Balanced Approach with Extended Duplication, нацеленный на улучшение понимания и креативности. При этом README предупреждает, что слои down_proj и o_proj обнулены и требуют восстановления, поэтому качество модели может быть нарушено. Файлы представлены в формате safetensors и используются с библиотекой Transformers. Лицензия в предоставленных данных не указана.

Meissa-Qwen2.5-7B-Instruct-Q4_K_M-GGUF — квантизированная версия модели Meissa-Qwen2.5-7B-Instruct, разработанной Orion-zhen и преобразованной пользователем yemiao2745 в формат GGUF с помощью llama.cpp и GGUF-my-repo. Модель предназначена для генерации текста и использования в диалоговых и прикладных сценариях, поддерживаемых исходной instruct-моделью. В карточке указаны китайский и английский языки, а также наборы данных для обучения и доработки, включающие текстовые, структурированные, литературные и ролевые примеры. Модель относится к семейству Qwen2.5 и имеет размер 7B параметров согласно идентификатору и названию исходной модели. Квантизация Q4_K_M уменьшает требования к памяти и делает запуск более доступным на локальном оборудовании, однако может снижать точность по сравнению с полноразмерными или менее квантизированными версиями. Формат GGUF ориентирован на запуск через llama.cpp; в README приведены примеры работы в режиме командной строки и серверном режиме. Значение контекста 2048 указано только в примере запуска и не подтверждает максимальный размер контекстного окна. Модель подходит для локальной генерации текста, чат-интерфейсов и задач, где важны автономность и умеренные требования к ресурсам. При этом в карточке отсутствуют подробные сведения о фактической архитектуре, максимальном контексте, производительности, качестве на бенчмарках и ограничениях безопасности, поэтому эти характеристики нельзя оценить по представленным данным. Лицензия указана как GPL-3.0.

MeliodasPercival_01_Experiment26Inex12 — объединённая автором репозитория MaziyarPanahi языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она объединяет модели automerger/MeliodasPercival_01-7B и automerger/Experiment26Inex12-7B и предназначена для генерации текста и диалогов. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. README не описывает специальные области применения или результаты оценки качества.

MeliodasT3qm7_Strangemerges_32T3qm7xp — слитая авторами репозитория модель на архитектуре Mistral для генерации текста. Она объединяет automerger/MeliodasT3qm7-7B и automerger/Strangemerges_32T3qm7xp-7B; размер составляет 7,1 млрд параметров, а контекст — до 32 768 токенов. Модель принимает текст и генерирует текст. Модель подходит для диалоговых и иных задач генерации текста общего назначения. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. В карточке не описаны специальные предметные области или дополнительные возможности.

MFANN-llama3.1-abliterated-SLERP-v3.1 — диалоговая языковая модель на архитектуре Llama 3.1, созданная netcat420 с помощью слияния моделей через mergekit. В конфигурации указаны Meta-Llama-3.1-8B-Instruct-abliterated и две модели MFANN; итоговый репозиторий описан как слияние двух последних. Модель содержит 7,5 млрд параметров, использует формат Safetensors и рассчитана на контекст до 131 072 токенов по метаданным; в README приведены параметры запуска с длиной контекста 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на запросы. README описывает обычный режим помощника и экспериментальный режим для задач кибербезопасности, включая наступательные сценарии. Указана лицензия Llama 3.1; перед использованием следует учитывать её условия и ограничения. Карточка не приводит оценок качества или результатов испытаний.

MiniMax-M2.5-UD-Q4_K_XL-layers — пакет GGUF с разделёнными по слоям файлами для распределённого запуска MiniMax-M2.5 в кластере Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/MiniMax-M2.5-GGUF и сохраняет вариант квантования UD-Q4_K_XL. Метаданные указывают поддержку чата и задачу генерации текста. Модель предназначена для локального приватного инференса, распределения вычислений между несколькими машинами, когда полный GGUF не помещается на одном хосте, и чат-сценариев через локальный API, совместимый с OpenAI. Для работы требуется Mesh LLM; репозиторий содержит разбиение модели на артефакты, включая отдельный файл эмбеддингов. Лицензия, точное число параметров, длина контекста и поддерживаемые языки в предоставленных данных не описаны. За подробностями об архитектуре, настройках чата и лицензии README отсылает к карточке исходной модели.

Карточка модели princeton-nlp/Mistral-7B-Instruct-DPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Base-8B-SFT, поэтому описание составлено по ней. princeton-nlp/Llama-3-Base-8B-SFT — разговорная модель генерации текста на архитектуре Llama, опубликованная как часть работы SimPO: Simple Preference Optimization with a Reference-Free Reward. Репозиторий содержит модель на 7,5 млрд параметров в формате safetensors; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. README отсылает к репозиторию SimPO за дополнительными сведениями. Лицензия и конкретные языковые возможности в предоставленных данных не определены.

Mistral-7B-v0.1-ties — языковая модель на архитектуре Mistral, созданная объединением весов mistralai/Mistral-7B-v0.1 и mlabonne/NeuralHermes-2.5-Mistral-7B с помощью mergekit и метода TIES. Модель содержит 7,1 млрд параметров, сохранена в формате safetensors и рассчитана на генерацию текста; базовое окно контекста составляет 32 768 токенов. Модель подходит для диалоговых приложений и генерации ответов, опирающихся на возможности объединённых моделей. В README указаны параметры слияния: плотность 0,5, вес второй модели 0,3 и тип данных float16. Репозиторий распространяется по лицензии Apache-2.0. Конкретные гарантии качества и подробные результаты оценки в карточке не приведены.

v2ray/Mixtral-8x22B-v0.1 — преобразованная в формат Hugging Face Transformers копия базовой модели Mixtral-8x22B от Mistral AI. Это предварительно обученная генеративная модель со разреженной архитектурой Mixture of Experts (MoE); репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и служит базой для дальнейшей адаптации, а не настроена специально для диалоговых инструкций. Модель принимает текст и генерирует текст. В метаданных указан контекст до 65 536 токенов; перечислены английский, французский, итальянский, немецкий и испанский языки. Лицензия — Apache-2.0. В README отмечено, что базовая версия не имеет механизмов модерации.

MonadGPT 7B GGUF — квантизированная версия языковой модели MonadGPT 7B, разработанной Pierre-Carl Langlais и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для диалогового взаимодействия и генерации текста. Модель ориентирована на работу с английским, французским и латинским языками. Доступны варианты квантизации от 2 до 8 бит для запуска на CPU и GPU, что позволяет выбирать компромисс между требованиями к памяти и качеством вывода. Файлы совместимы с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая LM Studio, KoboldCpp и llama-cpp-python. Для общения используется шаблон ChatML. Сведения о длине контекста, точном числе параметров архитектуры и мультимодальных возможностях не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся локальный запуск на различном оборудовании, широкий выбор уровней квантизации и поддержка нескольких языков. К ограничениям относятся возможная потеря качества в квантизированных версиях и отсутствие подробных данных о результатах тестирования, производительности и сценариях применения. Модель распространяется по лицензии Apache-2.0.

Monarch-7B-slerp — объединённая модель для генерации текста на основе архитектуры Mistral, созданная mlabonne с помощью LazyMergekit. Она объединяет mlabonne/OmniTruthyBeagle-7B-v0 и mlabonne/NeuBeagle-7B методом SLERP; размер модели — 7,1 млрд параметров, формат файлов — safetensors. Модель предназначена для генерации и продолжения текста, включая диалоговые ответы. Она поддерживает контекст до 32 768 токенов. В README не описаны специальные предметные области или языки; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

zelk12/MT3-Gen4-gemma-2-9B — объединённая разговорная языковая модель на 9 млрд параметров, созданная с помощью mergekit методом SLERP из zelk12/MT3-Gen4-MAMM-gemma-2-9B и zelk12/MT3-Gen4-GBMUI-gemma-2-9B. В основе лежит плотная архитектура Gemma 2 для причинной генерации текста; модель рассчитана на диалоговое применение и работает через библиотеку Transformers. Модель подходит для генерации ответов и ведения диалога в пределах контекста до 8192 токенов. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, однако они сами по себе не гарантируют качество в конкретных сценариях. Модель распространяется по лицензии Gemma.

Blackfrost-AI/Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная сборка модели Muse Glimmer 30B, подготовленная Blackfrost на базе Blackfrost-Research/Muse-Glimmer-30B-Abliterated-BF16 и исходной модели Meta. Она распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Модель ориентирована на агентские сценарии, генерацию текста и мультимодальную работу с изображениями. Архитектура muse-glimmer — плотная модель с 52 слоями, скрытым размером 6656, GQA, скользящим окном внимания и vision tower. Заявленный контекст составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемый компромисс Q4_K_M занимает около 15,8 ГБ. Для обработки изображений требуется отдельный мультимодальный проектор, а для ускорения генерации можно использовать DFlash drafter. Поддерживаемые языки в README не указаны. Ключевая особенность сборки — удаление поведения отказа методом изменения весов; в указанном тесте модель не демонстрировала истинных отказов на 450 вредоносных запросах. Это расширяет свободу использования, но одновременно означает отсутствие обычных защитных ограничений и повышенные риски при работе с небезопасными запросами. Разработка помечена как экспериментальная: возможны проблемы с декодированием, связностью, разбором вызовов инструментов и работой сервера под нагрузкой. Указана лицензия Apache-2.0; для запуска рекомендуется llama.cpp версии b10353 или новее.

BigBubba-Qwen3.6-27B-GGUF — это квантизированная версия модели BigBubba-Qwen3.6-27B, разработанной nbeerbower и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и мультимодальных сценариев с анализом изображений при наличии отдельного файла mmproj. Заявлена поддержка английского и китайского языков. Модель содержит около 27,4 млрд параметров, поддерживает текстовый и графический ввод, а также MTP. В репозитории доступны варианты от исходных BF16-весов до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3; это позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Для большинства сценариев предлагается вариант Q4_K_M размером около 17,77 ГБ, а варианты Q6_K_L и Q6_K позиционируются как решения с очень высоким качеством. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска через совместимые инструменты llama.cpp и поддержка изображений. Ограничениями выступают значительный размер модели, необходимость подходящего объёма оперативной или видеопамяти и использование отдельного mmproj-файла для мультимодального режима. Длина контекста и более подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Bluuwhale NemoMerge-V1.0-12B — экспериментальная объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода DARE TIES. За основу взята unsloth/Mistral-Nemo-Instruct-2407; в объединении также использованы cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b, Kooten/Mistral-Nemo-Instruct-2407-norefuse-OAS, intervitens/mini-magnum-12b-v1.1 и NeverSleep/Lumimaid-v0.2-12B. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста — 1 024 000 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Автор обозначает объединение как экспериментальное. В README нет результатов оценки качества или подробных сведений о поддерживаемых языках. Лицензия в предоставленных данных не указана.

NeuralHermes 2.5 — разговорная языковая модель на архитектуре Mistral с 7,1 млрд параметров, опубликованная shahzebnaveed. Она создана на основе teknium/OpenHermes-2.5-Mistral-7B и дообучалась методом Direct Preference Optimization на наборе Intel/orca_dpo_pairs; промпты оформлены по шаблону ChatML. В карточке указано, что обучение DPO было прервано после двух шагов из-за нехватки памяти, а параметры LoRA были уменьшены, поэтому дообучение не завершено и его настройки не оптимальны. Модель предназначена для генерации текста в формате чат-ассистента: ответы на вопросы, объяснения и диалоговые сценарии. Поддерживает контекст до 32 768 токенов. Распространяется в формате safetensors по лицензии Apache-2.0.

NeuralsirkrishnaShadow_ShadowExperiment24 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/ShadowExperiment24-7B. Модель разработана и опубликована MaziyarPanahi; в её карточке указано объединение двух базовых моделей. Модель предназначена для генерации текста и принимает текстовые запросы. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Сведения о специализации на конкретных языках или прикладных областях отсутствуют. Модель доступна по лицензии Apache-2.0. Карточка не приводит оценки качества или подробных сведений о поведении модели, поэтому пригодность для конкретного применения следует проверять отдельно.

NeuralsirkrishnaShadow_Strangemerges_32Experiment28 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Strangemerges_32Experiment28-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоговые сценарии и продолжение текстовых запросов. Контекст модели достигает 32 768 токенов. Репозиторий содержит веса в формате safetensors. В карточке не описаны языковая специализация или дополнительные возможности, поэтому её назначение можно определить как генерацию текста общего назначения. Модель распространяется по лицензии Apache-2.0.

Это пакет слоёв модели NVIDIA Nemotron 3 Super 120B-A12B, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Веса основаны на unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF и разделены на артефакты по слоям; вариант UD-Q4_K_XL поставляется в формате GGUF с квантизацией Q4_K_XL. Пакет предназначен для генерации текста и диалогов, когда модель нужно запускать на нескольких машинах или обслуживать через локальный API, совместимый с OpenAI Chat Completions. Для работы требуется Mesh LLM и набор машин, предоставляющих память и вычислительные ресурсы; README указывает запуск в режиме разделения слоёв. Пакет сохраняет свойства исходной модели, но сам README не приводит подробностей об архитектуре, числе параметров, контекстном окне, поддерживаемых языках и рекомендациях по использованию. Лицензия указана как other, поэтому перед использованием следует свериться с условиями исходной модели.

evgeniael/olmo2-7b-rl-3 — диалоговая языковая модель, дообученная автором на allenai/OLMo-2-1124-7B-SFT с помощью TRL. Она предназначена для генерации ответов в диалоге и других задач продолжения текста; пример карточки показывает ответы на пользовательские вопросы. Модель построена на плотной архитектуре OLMo 2 с 6,9 млрд параметров и поддерживает контекст до 4096 токенов. Для запуска в карточке приведён пример с Transformers и text-generation pipeline. Базовая модель описана как англоязычная, поэтому основным языком модели считается английский. Лицензия в предоставленных данных не указана.

Openbuddy Deepseek 67B V15 Base GGUF — это квантизированная версия большой языковой модели Openbuddy Deepseek 67B V15 Base, разработанной OpenBuddy и подготовленной в формате GGUF командой TheBloke. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые графические интерфейсы и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Модель относится к архитектуре DeepSeek, содержит 67 миллиардов параметров и работает в текстовой модальности. В README заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского, русского и финского языков. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Размер контекста и другие подробные архитектурные характеристики не указаны. К сильным сторонам относятся поддержка нескольких языков, возможность запуска на CPU и GPU и широкий выбор степеней квантования. Ограничения связаны с большим размером исходной модели, потенциальной потерей качества при агрессивном квантовании и отсутствием в README подробных результатов оценки, специальных возможностей диалога и рекомендуемых параметров генерации. Модель распространяется по лицензии DeepSeek; указана ссылка на лицензию deepseek-ai.

Orion-14B-Chat-Plugin — языковая модель OrionStarAI на архитектуре OrionForCausalLM с плотной архитектурой и 14,1 млрд параметров. Семейство Orion-14B обучено с нуля на многоязычном корпусе; эта версия дообучена для работы с плагинами и вызова функций, поэтому подходит для агентных сценариев, где модель выбирает и вызывает внешние инструменты. Модель принимает текст и генерирует текст. Для этой версии в метаданных указан контекст 4096 токенов; сведения о более длинном контексте в карточке относятся к отдельной версии Orion-14B-LongChat. Семейство поддерживает китайский, английский, японский и корейский языки. Модель распространяется в формате PyTorch. Лицензия в предоставленных данных не указана.

Ornstein-Hermes-3.6-27b-SABER-i1-GGUF — квантизированная версия текстовой генеративной модели Ornstein-Hermes-3.6-27b-SABER, разработанной GestaltLabs и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и может использоваться в локальных приложениях и инструментах, совместимых с GGUF. В метаданных также указаны направления refusal shaping, model editing и abliteration. Модель имеет размер 27 миллиардов параметров и поддерживает английский язык. Архитектура, максимальная длина контекста и сведения о мультимодальности в README не указаны; по доступным данным это текстовая, а не мультимодальная модель. Предлагается широкий набор вариантов квантизации от IQ1 и Q2 до Q6, различающихся размером, скоростью и качеством. Для баланса размера, скорости и качества рекомендуются i1-Q4_K_S и особенно i1-Q4_K_M, тогда как наиболее низкобитные варианты могут заметно уступать по качеству. Сильной стороной модели является возможность запуска в уменьшенном формате на совместимом локальном оборудовании и выбор между множеством уровней квантизации. Ограничения включают возможную потерю качества при агрессивной квантизации, отсутствие подробных сведений о возможностях и результатах оценки, а также неуточнённые требования к аппаратным ресурсам. Лицензия обозначена как other, но её конкретные условия в README не приведены.

bunnycore/Phi-4-Avg — объединённая языковая модель, созданная с помощью mergekit линейным слиянием предварительно обученных моделей. В слияние вошли JackCloudman/phi-4-unsloth-jackterated и mergekit-community/mergekit-passthrough-ywynqau; конфигурация задаёт для обеих моделей вес 1.0. В метаданных указаны архитектура LlamaForCausalLM, плотная модель размером 14,1 млрд параметров и библиотека Transformers. Модель предназначена для генерации текста и диалогового взаимодействия. Репозиторий содержит веса в формате Safetensors; заявленная длина контекста — 16 384 токена. Дата публикации на Hugging Face — 11 января 2025 года. Сведения о лицензии в предоставленных данных отсутствуют.

PrismQuant-Llama-3.1-8B — официальный квантованный чекпойнт для языковой модели Meta Llama 3.1 8B, подготовленный авторами PrismQuant. Он предназначен для генерации текста и диалогов; PrismQuant использует вращения в нулевом пространстве, чтобы согласовать главные направления активаций с постоянными направлениями групп асимметричной квантизации W4A4KV4. Модель основана на unsloth/Meta-Llama-3.1-8B и лицензирована по условиям Llama 3.1. Чекпойнт хранит значения GPTQ INT4 в виде деквантизованных тензоров с плавающей точкой; эталонная среда выполнения применяет квантизацию активаций и KV-кэша, сохраняя хранение в формате с плавающей точкой. Для загрузки нужен PrismQuant loader: репозиторий не является самостоятельным чекпойнтом Transformers или упакованной INT4-моделью для сервинга. В README указан расчётный формат вычислений bfloat16; при запуске также требуется учитывать память для базовой модели, активаций и KV-кэша.