II.7DevOps, облако и эксплуатация IT-систем

tau-instruct-0.5B — языковая модель с инструкционной настройкой, созданная на базе tau-0.5B. В карточке указано, что для дообучения использовали около 16 000 примеров, сгенерированных GPT-4. По архитектуре это плотная Qwen2-модель примерно на 463,9 млн параметров; она принимает текст и генерирует текст, поддерживает диалог и контекст до 32 768 токенов. Метаданные указывают английский язык. Модель предназначена для ответов на вопросы, продолжения и создания текста, решения математических задач, работы с кодом, рассуждений и общих знаний. Её можно использовать как основу для виртуальных помощников, учебных инструментов и исследовательских приложений. По README, настройка улучшила следование инструкциям относительно базовой модели, но качество может снижаться на сложных или неясных запросах; возможны унаследованные от базы и обучающих данных ограничения и предвзятость. Лицензия указана как other; README требует учитывать лицензию Qwen и сообщает, что права использования совпадают с правами базовой tau-0.5B.

Sakalti/ultiima-32B — объединённая модель генерации текста, созданная автором репозитория с помощью mergekit и метода TIES на основе Qwen/Qwen2.5-32B с участием Qwen/Qwen2.5-32B-Instruct. Модель имеет плотную архитектуру Qwen2ForCausalLM и 32 млрд параметров; веса представлены в формате safetensors. Метаданные указывают контекст до 131 072 токенов и интерфейс для диалога и вызова инструментов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для составления ответов, следования инструкциям и задач общего назначения; базовая инструктивная модель также ориентирована на программирование, математику и структурированные ответы. README приводит результаты оценок IFEval и BBH, но не описывает отдельную специализацию или гарантии качества. Поддержка русского языка явно не заявлена. Лицензия модели — Apache-2.0. README содержит конфигурацию слияния и часть результатов Open LLM Leaderboard; эти показатели не устанавливают качество для конкретных прикладных сценариев.

Yosegi-2 — объединённая языковая модель от Local-Novel-LLM-project, созданная с помощью mergekit и метода TIES. Она предназначена для генерации текста и диалоговых сценариев; при объединении использованы Mistral-7B-v0.3, MetaMath-Mistral-7B, speechless-zephyr-code-functionary-7b и локальная LoRA-адаптация Ninja-v1-RP-expressive-v2. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

Atem-Pharaoh-3B-i1-GGUF — GGUF-квантизированная версия модели Atem-Pharaoh-3B, разработанной EphAsad и квантизированной mradermacher. Модель предназначена для генерации текста, диалоговых сценариев и задач рассуждения, включая математику, программирование, анализ и ответы в областях, представленных обучающими наборами. В обучении или дообучении использовались наборы с математическими, кодовыми, медицинскими и рассуждательными примерами, а также синтетические данные, полученные дистилляцией других моделей. Модель имеет около 3 миллиардов параметров и распространяется в формате GGUF для использования с совместимыми инструментами, включая llama.cpp. Доступны варианты с разными уровнями квантизации — от IQ1 и IQ2 до Q6_K; они различаются размером файлов, скоростью и качеством. Для баланса размера, скорости и качества в README рекомендуется вариант i1-Q4_K_M, а i1-Q4_K_S также отмечен как оптимальный по этим параметрам. Указан английский язык; сведения о поддерживаемых модальностях и размере контекстного окна отсутствуют. Сильными сторонами являются компактный размер, возможность локального запуска и специализация на рассуждении, математике, коде и диалогах. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием подробных результатов оценивания. Модель распространяется по лицензии Apache-2.0.

Bonsai-8B-GGUF-1bit — языковая модель, разработанная Prism ML и распространяемая в формате GGUF для llama.cpp. Она предназначена для генерации текста, локального запуска чат-ассистентов и интеграции в приложения на устройствах с GPU или CPU, включая системы на CUDA, Apple Metal и Android. Модель может использоваться через специализированную сборку llama.cpp с 1-битными ядрами; также доступна отдельная версия для MLX. Модель основана на плотной архитектуре Qwen3-8B и содержит 8,19 млрд параметров, из которых около 6,95 млрд не относятся к embedding-слоям. В ней 36 decoder-блоков Transformer, GQA с 32 query- и 8 KV-головами, SwiGLU, RoPE и RMSNorm. Длина контекста составляет 65 536 токенов, размер словаря — 151 936 токенов. Все основные веса, включая embeddings, attention- и MLP-проекции, а также LM head, представлены в формате Q1_0 с эффективными 1,125 битами на вес. Ключевое преимущество — компактность и энергоэффективность: память параметров занимает около 1,15 ГБ против 16,38 ГБ у FP16, что примерно в 14 раз меньше; заявлено также ускорение до 6,2 раза на RTX 4090 и снижение энергопотребления на токен в 4–5 раз. Ограничения связаны с экстремальным 1-битным квантованием, которое может влиять на качество по сравнению с полной точностью, а для запуска требуются совместимые 1-битные ядра и сборка llama.cpp от Prism ML. Модель распространяется по лицензии Apache 2.0.

Карточка модели bcoding/deepseek-R1-0528-Qwen3-8b-base-16-llvm-sft-trained-16bit-epoch-1-merged на Hugging Face совпадает с карточкой bcoding/deepseek-R1-0528-Qwen3-8b-base-16-llvm-sft-trained-16bit-epoch-2-merged, поэтому описание составлено по ней. Модель bcoding — дообученная версия unsloth/DeepSeek-R1-0528-Qwen3-8B на архитектуре Qwen3 с причинным языковым моделированием. Она предназначена для диалогов и генерации текста; каталог также указывает интерфейс вызова инструментов. Размер модели — 7,6 млрд параметров, контекст — до 131 072 токенов. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель может применяться для диалоговых ответов, рассуждений, решения задач по математике и логике, а также помощи с программированием — эти сценарии указаны для базовой модели в описании каталога. Поддерживаемый язык карточки — английский. Репозиторий распространяется в формате Safetensors по лицензии Apache 2.0.

mlx-community/DeepSeek-R1-Distill-Llama-70B-4bit — это 4-битная квантованная версия модели DeepSeek-R1-Distill-Llama-70B, разработанной deepseek-ai и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.21.1. Модель предназначена для генерации текста и диалоговых сценариев на устройствах и в средах, совместимых с MLX. Для работы используется библиотека mlx-lm; README показывает загрузку модели, применение chat template и генерацию ответа по текстовому запросу. Ключевые характеристики: 70 миллиардов параметров в базовой модели, 4-битное представление весов, текстовая модальность и архитектурная основа Llama, унаследованная от DeepSeek-R1-Distill-Llama-70B. Сведения о поддерживаемых языках, размере контекстного окна, точных возможностях рассуждения, ограничениях, лицензии и требованиях к оборудованию в README не указаны.

bartowski/DeepSeek-V2.5-1210-GGUF — это набор квантованных версий языковой модели DeepSeek-V2.5-1210, разработанной DeepSeek и подготовленной в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста и локального инференса; README указывает pipeline_tag text-generation. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Размеры отдельных вариантов составляют примерно от 76,92 до 250,62 ГБ, многие версии являются разделёнными файлами. Сильной стороной набора является широкий выбор квантований, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество, а также версии, оптимизированные для ARM или AVX. Ограничения связаны с очень большим объёмом модели, снижением качества при низких уровнях квантования и необходимостью использовать параметр --no-context-shift либо эквивалентную настройку для корректной политики переполнения контекста. Формат prompt должен соответствовать шаблону DeepSeek, приведённому в README. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Лицензия обозначена как deepseek; ссылка ведёт на лицензию модели DeepSeek.

Dolphin-Llama2-7b — языковая модель команды Dolphin, обучение которой спонсировала preemo. Это дообученная плотная модель семейства Llama 2 с 6,6 млрд параметров и контекстом до 4096 токенов. Она принимает текстовые инструкции и генерирует текст; для диалога используется формат промпта, похожий на Vicuna, с полями SYSTEM, USER и ASSISTANT. Модель предназначена для ответов на инструкции, диалога и выполнения широкого круга текстовых задач. При дообучении использовался открытый вариант данных Orca: инструкции FLANv2 с ответами GPT-3.5 и GPT-4; авторы сообщают о фильтрации отказов и ограничений, поэтому модель может отвечать на запросы, от которых другие модели откажутся. Это повышает риск нежелательных или вредоносных ответов; автор рекомендует добавить собственный слой выравнивания перед предоставлением модели пользователям. В карточке указана лицензия Llama 2, допускающая коммерческое и некоммерческое применение с соблюдением её условий.

Карточка модели Eric111/FINAL-Bench_Darwin-4B-Opus на Hugging Face совпадает с карточкой FINAL-Bench/Darwin-4B-Opus, поэтому описание составлено по ней. Darwin-4B-Opus — языковая модель для диалога и рассуждений, созданная VIDRAFT с помощью движка Darwin V6. Это слияние Google Gemma 4 E4B Instruct и модели Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled; при слиянии DARE-TIES применялись диагностически подобранные коэффициенты для отдельных тензоров. Модель использует архитектуру Gemma4ForConditionalGeneration с MoE, содержит около 4 млрд параметров и представлена в формате BF16 и safetensors. Модель предназначена для ответов на вопросы, рассуждений, программирования, математики и анализа на одном потребительском GPU. В README заявлены контекст 128 тыс. токенов и поддержка более 140 языков; метаданные карточки перечисляют английский, корейский, японский и китайский. Архитектура базовой модели поддерживает изображения и аудио, однако README не описывает эти сценарии для Darwin-4B-Opus. В README приведён результат 82,92% на ARC-Challenge в режиме zero-shot; авторы отмечают, что проверка здоровья модели не проводилась. Модель распространяется по лицензии Apache 2.0. Фактическое качество на других задачах и мультимодальная работа в карточке не подтверждены.

Gemma 1.1 2B Instruct — языковая instruction-tuned модель Google, представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель содержит около 2 миллиардов параметров и предназначена для текстовой генерации и работы с инструкциями. Модель подходит для диалогов, ответов на вопросы, творческих задач, многошагового общения, программирования, автодополнения и других универсальных сценариев. По сравнению с первоначальной версией Gemma заявлены улучшения качества ответов, работы с кодом, фактической точности, следования инструкциям и многораундового диалога. Небольшой размер делает её подходящей для устройств с ограниченными ресурсами и обеспечивает быстрый отклик. Сильной стороной модели являются связные, подробные и преимущественно образовательные ответы. При этом стиль может быть менее разговорным, чем ожидается, а результаты генерации кода требуют проверки: в приведённом примере присутствует ошибка порядка объявления функций. Системные промпты модель не поддерживает; используется шаблон Google Gemma Instruct. Сведения о поддерживаемых языках и размере контекста в README не указаны. Для доступа к исходной модели на Hugging Face требуется принять лицензию Google Gemma; в карточке указана лицензия gemma. Дата выпуска в метаданных — 5 апреля 2024 года.

Gemma-2-9B-Chinese-Chat — языковая модель для диалоговой генерации текста, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Она создана на базе google/gemma-2-9b-it и дообучена для китайско- и англоязычных пользователей с использованием алгоритма ORPO и более чем 100 тысяч пар предпочтений. Обучение проводилось с помощью LLaMA-Factory. Модель предназначена для общения, ролевых сценариев, использования инструментов, решения математических задач, написания текстов и кода. По сравнению с исходной моделью заявлено уменьшение случаев, когда на китайские запросы модель отвечает по-английски, а также снижение смешения китайского и английского языков в ответах. Модель поддерживает китайский и английский языки, содержит около 9,24 млрд параметров и имеет контекстное окно до 8K токенов. Доступны версии BF16 и GGUF, включая варианты q4_k_m, q8_0 и f16. Сильными сторонами модели являются ориентация на китайско-английские диалоги, улучшенные ролевые ответы, работа с инструментами и математикой, а также наличие форматов для локального запуска через совместимые приложения. Ограничения включают контекст длиной 8K токенов и возможную неточность или непредсказуемость ответов в ролевых сценариях; разработчики отдельно предупреждают, что ответы о личности и происхождении модели могут быть случайными. Модель распространяется по Gemma License.

GPT4-Alpaca-LoRAMLP-65B — модель генерации текста семейства LLaMA, подготовленная на основе LLaMA 65B с помощью LoRA-дообучения MLP-компонентов на наборе alpaca_data_gpt4. Репозиторий TheBloke содержит веса после объединения LoRA с исходной LLaMA 65B; доступны варианты для GPU и CPU, включая квантованные сборки в отдельных репозиториях. В этой карточке указаны веса PyTorch для Transformers: 65 млрд параметров и контекст до 2048 токенов. Модель предназначена для диалоговых и инструкционных сценариев: она принимает текстовые инструкции и генерирует ответы. В README описан обучающий чекпойнт, полученный через LoRA на данных Alpaca GPT-4; это не означает, что ответы эквивалентны GPT-4. Для репозитория указана лицензия other, поэтому условия использования следует сверить с исходной лицензией LLaMA и правилами распространения этой сборки.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

ibm-granite/granite-3.3-8b-instruct-FP8 — это версия модели Granite-3.3-8b-Instruct в формате FP8, разработанная IBM. Модель предназначена для генерации текста и использования в сценариях, требующих следования инструкциям; карточка указывает pipeline text-generation и совместимость с библиотекой Transformers. Модель основана на ibm-granite/granite-3.3-8b-instruct и содержит 8 миллиардов параметров, однако в представленном README не приведены сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Формат FP8 может быть полезен для более эффективного хранения и инференса, но конкретные требования к оборудованию и показатели качества не указаны. Модель распространяется по лицензии Apache-2.0. Для полного описания возможностей и ограничений рекомендуется обратиться к карточке базовой модели, поскольку текущий README содержит только краткую информацию о FP8-версии.

Hermes-2-Pro-Mixtral-4x7B — разговорная языковая модель, собранная Isotonic как смесь экспертов (MoE) с помощью LazyMergekit из четырёх копий NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для диалогов по инструкциям и генерации текста; поддерживает формат чата ChatML, многошаговое общение, вызов функций и структурированные ответы в JSON. В карточке указано 7,1 млрд параметров и контекст длиной до 32 768 токенов. Репозиторий содержит веса Safetensors; для 4-битного инференса README приводит ориентир около 5 ГБ видеопамяти. Модель может подойти для чат-ботов, ассистентов и сценариев с вызовом инструментов. Лицензия — Apache-2.0. Данных о поддерживаемых естественных языках и конкретных оценках качества в карточке нет.

Hermes-4-14B-4bit — языковая instruction-модель, разработанная NousResearch и преобразованная сообществом mlx-community в формат MLX из NousResearch/Hermes-4-14B с использованием mlx-lm 0.27.0. Модель предназначена для генерации текста и диалоговых сценариев на английском языке, включая ответы общего назначения, рассуждения, ролевое взаимодействие, работу с функциями и инструментами, JSON Mode и структурированными ответами. Модель имеет размер 14 млрд параметров и использует 4-битное квантование. Она совместима с библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. В описании заявлены поддержка chat-сценариев, ChatML, function calling, tool use и long context, однако точный размер контекстного окна, архитектурные детали, модальности помимо текста и результаты benchmark-тестов не указаны. К сильным сторонам относятся instruction-настройка, возможности рассуждения, структурированной генерации и взаимодействия с инструментами, а также оптимизация в 4-битном формате для использования через MLX. Ограничения включают отсутствие подтверждённых количественных оценок качества и недостаток сведений о производительности, точной поддержке языков и поведении на задачах, не связанных с английским языком. Модель распространяется по лицензии Apache-2.0.

Карточка модели PS4Research/Hk6vAazgWreoKsXr на Hugging Face совпадает с карточкой PS4Research/0VOz3fgU0qp4lVar, поэтому описание составлено по ней. PS4Research/0VOz3fgU0qp4lVar — дообученная модель генерации текста на архитектуре Olmo 3, созданная PS4Research на основе allenai/Olmo-3.1-32B-Think. В карточке указано, что для обучения использовались Unsloth и библиотека TRL от Hugging Face; модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; интерфейс поддерживает вызов инструментов. Базовая модель ориентирована на английский язык и задачи рассуждений, в том числе математику и программирование. Сведений о специальных улучшениях, полученных при дообучении, в карточке нет. Лицензия — Apache-2.0.

Это независимая производная модель Huihui-Qwen3.8-27B-abliterated, подготовленная на основе исходных BF16-весов Huihui и с использованием схемы NVFP4 от Gittensor. Релиз не является официальным продуктом Huihui, Gittensor, Qwen, NVIDIA или SGLang. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая агентские задачи, работу с инструментами и сложные задачи рассуждения и программирования. Она основана на архитектуре Qwen3.8 с 27 млрд параметров и использует квантование NVFP4 W4A4 с размером группы 16. В процессе подготовки vision-компоненты, embeddings и отдельные слои Gated-DeltaNet были исключены из NVFP4; native MTP head удалён из deployment-варианта. Поддерживается контекст до 262 144 токенов при конфигурации SGLang, указанной в карточке. Сведения о языках обучения или полном перечне поддерживаемых языков отсутствуют. К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4, совместимость с layout и метаданными Gittensor, а также возможность запуска на одной NVIDIA RTX 5090 с SGLang. Для ускоренного декодирования предусмотрена отдельная совместимая модель-черновик DSpark. Ограничения включают ориентацию на конкретную GPU-конфигурацию и serving-стек, необходимость специальной настройки SGLang, отсутствие встроенного MTP head и зависимость ускоренного режима от отдельного DSpark checkpoint. Архитектурные и поведенческие последствия абляции слоёв 18–51 по описанию исходной модели и слоёв 17–51 по прямому сравнению тензоров отдельно не оценены.

Jan-v1-4B — разговорная языковая модель семейства Jan от Jan, предназначенная для агентного рассуждения, решения задач и интеграции с приложением Jan. Она основана на Qwen3-4B-Thinking-2507 и дообучена для улучшения рассуждений и работы с инструментами. Модель имеет плотную архитектуру Qwen3ForCausalLM и 3,7 млрд параметров. Она генерирует текст, поддерживает диалог и рассчитана на контекст до 262 144 токенов. В карточке заявлен результат 91,1% на SimpleQA; он зависит от условий оценки и шаблона диалога. Для воспроизведения результата README рекомендует использовать встроенный системный промпт в chat template; также доступен вариант шаблона без него. Модель можно запускать локально через vLLM и интегрировать в Jan App; README описывает поддержку выбора инструментов и парсера Hermes. Доступна под лицензией Apache-2.0.

Kai-30B-Instruct-i1-GGUF — набор квантованных GGUF-версий модели Kai-30B-Instruct, разработанной NoesisLab и квантованной mradermacher. Модель ориентирована на генерацию текста, следование инструкциям, математические и логические рассуждения, программирование и другие задачи, связанные с текстом. В метаданных также указана тематика ads и distillation, однако подробности соответствующей специализации не приведены. Базовая модель содержит около 30 миллиардов параметров; архитектура и размер контекста в README не указаны. Поддерживаемый язык — английский. Модель работает с текстом и поставляется в различных вариантах квантования, включая IQ1–IQ4, Q2–Q6 и другие форматы. Доступны версии с разным компромиссом между размером, скоростью и качеством: например, i1-Q4_K_M отмечена как быстрая и рекомендуемая, а i1-Q4_K_S — как оптимальная по соотношению размера, скорости и качества. Наиболее компактные варианты имеют заметно более низкое качество. Основные преимущества — возможность локального запуска в формате GGUF и широкий выбор вариантов квантования под доступные ресурсы. Ограничения включают возможное ухудшение качества при низких уровнях квантования, отсутствие данных о контекстном окне, мультимодальности, результатах оценки и языках помимо английского. Лицензия базовой модели — Apache-2.0; README не уточняет, распространяются ли квантованные файлы на дополнительных условиях.

luckysong777 дообучил Kanana 1.5 Instruct 8B — плотную Llama-модель для генерации текста и диалогового взаимодействия. Модель содержит 7,5 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. В метаданных указаны интерфейс вызова инструментов и английский язык; README сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Модель подходит для диалоговых сценариев и генерации текста, унаследовав возможности базовой kakaocorp/kanana-1.5-8b-instruct-2505, включая программирование, математику и вызов инструментов. Распространяется по лицензии Apache-2.0. README не описывает отдельную специализацию этого дообучения или его сравнительное качество.

Ling-flash-base-2.0 — базовая языковая модель семейства Ling 2.0, разработанная командой inclusionAI. Это модель типа Mixture of Experts на архитектуре Bailing MoE; в карточке указано 5,5 млрд параметров, а README для семейства Ling-flash-2.0 приводит 100 млрд общих и 6,1 млрд активируемых параметров. Репозиторий рассчитан на генерацию текста и служит основой для дальнейшей настройки; семейство ориентировано на рассуждения, математические задачи, программирование и разработку интерфейсов. Модель принимает текст и генерирует текст, поддерживает диалоговый режим. Метаданные указывают контекст 32 768 токенов; README семейства сообщает о расширении окна до 128 тысяч токенов с YaRN. Доступны веса в формате Safetensors, для работы описана поддержка Transformers и подготовка интеграций с vLLM и SGLang. Лицензия — MIT. README приводит результаты семейства Ling-flash-2.0 на тестах рассуждений, математики, кода и творческого письма, однако это описание относится к Ling-flash-2.0 и не подтверждает отдельно такие показатели для базового чекпойнта. Для длинного контекста через YaRN и некоторых сценариев инференса могут потребоваться дополнительные настройки или патчи.

TheBloke/Llama-2-70B-Chat-GPTQ — это GPTQ-квантизированная версия диалоговой языковой модели Llama 2 70B Chat, разработанной Meta. Репозиторий подготовлен TheBloke и содержит варианты модели для запуска с разными параметрами квантования. Базовая модель — meta-llama/Llama-2-70b-chat-hf; тип задачи — генерация текста, основной заявленный язык — английский. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей и создания текста в формате ассистента. Для корректного взаимодействия используется шаблон Llama-2-Chat с системными инструкциями, ориентированными на полезные, безопасные и честные ответы. Доступны варианты GPTQ с разной разрядностью, размером групп и настройками Act Order, что позволяет выбирать баланс между требованиями к VRAM, скоростью и точностью; поддерживается запуск на GPU, включая совместимые с ExLlama конфигурации для 4-битных моделей. Ключевое преимущество — существенно меньшие требования к памяти по сравнению с исходной моделью в формате fp16 при сохранении назначения и диалоговых возможностей Llama 2 70B Chat. Ограничения включают возможное снижение точности из-за квантования, зависимость характеристик от выбранных параметров и программного обеспечения, а также отсутствие в предоставленных данных подробностей об архитектуре, максимальном контексте и результатах оценки. Модель распространяется по лицензии Llama 2; условия исходной лицензии Meta следует учитывать при использовании.

Llama-3-KoEn-8B — плотная авторегрессионная языковая модель Junbum Lee (Beomi), продолжающая предобучение Meta Llama 3 8B на корпусе из корейских и английских текстов. Модель принимает текст и генерирует текст, в том числе код; предназначена для адаптации к задачам генерации и для создания чат- и инструкционных моделей. Модель содержит 7,5 млрд параметров, построена на архитектуре Llama 3 и имеет контекстное окно 8192 токена. Доступна в форматах PyTorch и Safetensors. Это предварительный релиз статической модели, обученной на офлайн-данных. Лицензия указана как CC-BY-NC-SA-4.0 вместе с лицензией сообщества Llama 3; применяются их условия использования. Карточка предупреждает, что ответы могут быть неточными, предвзятыми или нежелательными, и рекомендует проверять безопасность для конкретного приложения. Хотя обучение включало корейский и английский языки, документация ограничивает предполагаемое использование английским и предостерегает от применения на других языках без соблюдения условий лицензии Llama 3.

llm-jp-4-kappa-32b-a3b-v0.1 — японско-английская диалоговая языковая модель Third-intelligence, созданная как исследовательский прототип на основе llm-jp/llm-jp-4-32b-a3b-thinking. Модель дообучили в два этапа: SFT для генерации рассуждений и обучение с подкреплением на математических и программных задачах. Она использует архитектуру Mixture-of-Experts: около 32 млрд параметров всего и примерно 3 млрд активных при генерации. Контекст — до 65 536 токенов. Модель предназначена для диалоговой генерации текста на японском и английском языках, включая задачи рассуждения, математики и программирования. В README приведены результаты сравнительных тестов на японских и английских заданиях; они показывают сильные результаты в ряде категорий, но не гарантируют точность для конкретного запроса. Для запуска указаны Transformers и vLLM с reasoning parser для формата LLM-jp-4; для рекомендуемой конфигурации требуются несколько GPU с 80 ГБ памяти, хотя возможен запуск на одной такой карте с уменьшением длины контекста. Опубликована по лицензии Apache 2.0; README также требует соблюдать лицензию и условия базовой модели. Разработчик позиционирует её как исследовательскую: точность, безопасность и этичность ответов не гарантируются, возможны галлюцинации и неподходящий контент, а коммерческое и критически важное применение не предполагается.

LPT-6.1 Thinking — разговорная языковая модель от LiskCell, представленная как флагман экосистемы xLYR и ассистент Deta. Модель предназначена для диалогов, творческих задач, технических вопросов и многошаговых рассуждений; в репозитории заявлена поддержка английского и иврита. В карточке указаны архитектура семейства Kimi K2.5 с классом KimiK25ForConditionalGeneration, библиотека Transformers и формат весов safetensors. Модель позиционируется как дообученная и настроенная для экосистемы xLYR; её размер и длина контекста в предоставленных данных не приведены. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией репозитория.

MeowGPT ll3 — разговорная языковая модель, разработанная CutyCat2000x на базе Llama 3. Это плотная авторегрессионная модель класса LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. Модель загружается через Transformers; веса опубликованы в формате safetensors и распространяются по лицензии MIT. Модель предназначена для генерации диалоговых ответов и других текстовых задач по запросу. В обучении использовались наборы данных SlimOrca-Dedup, airoboros-3.2, Orca Math Word Problems, Code-Feedback, WizardLM Evol Instruct V2 и ORPO DPO Mix. В карточке указана поддержка английского языка. Модель может ошибаться или выдавать неуместные ответы, поэтому результаты следует проверять перед применением в важных сценариях.

unsloth/Meta-Llama-3.1-70B-Instruct — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная на основе модели Meta компанией Unsloth. Модель предназначена для диалоговых приложений, генерации и продолжения текста, а также дообучения на собственных наборах данных с использованием инструментов Unsloth. Она ориентирована прежде всего на англоязычные сценарии. Модель относится к семейству Llama 3.1, имеет размер 70B параметров и поддерживается библиотекой Transformers. README не содержит подробностей об архитектуре, модальностях и размере контекстного окна; по представленным данным модель является текстовой. Unsloth позиционирует свои инструменты как позволяющие ускорять дообучение и снижать потребление памяти, а также экспортировать результат в GGUF и использовать его через vLLM, однако эти характеристики относятся к процессу дообучения и экосистеме Unsloth, а не обязательно к самой модели. К сильным сторонам относятся большой размер модели и возможность адаптации под пользовательские данные. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также отсутствие в README подробных оценок качества, требований к оборудованию и характеристик инференса. Модель распространяется по лицензии llama3.1; конкретные условия этой лицензии следует учитывать перед использованием.