I.2Синтез, понимание и проверка знаний

FlexiDepth-Llama-3-8B-Instruct — диалоговая причинно-языковая модель, разработанная Xuan Luo, Weizhi Wang и Xifeng Yan. Это дообученная версия Meta Llama 3 8B Instruct с методом FlexiDepth, который динамически пропускает слои во время генерации текста, чтобы сократить вычисления и ускорить вывод. Архитектура — плотная DDLlamaForCausalLM; модель содержит 7,5 млрд параметров, принимает текст и имеет контекст до 8192 токенов. Модель предназначена для генерации текста и ответов на инструкции на английском языке. Авторы приводят результаты по языковым и рассуждательным тестам: в опубликованном сравнении качество сопоставимо с базовой Llama 3 8B Instruct на большинстве заданий при меньшем среднем числе используемых слоёв. Подход также позволяет анализировать, сколько слоёв модель задействует для разных токенов и задач. Модель распространяется в формате Safetensors под лицензией Apache-2.0. Для загрузки авторы указывают использование Transformers версии 4.57.0; заявленные результаты относятся к описанному в README оцениванию и не гарантируют такое же ускорение или качество в любой среде и на любых задачах.

GALACTICA 120B — авторегрессионная языковая модель на основе decoder-only Transformer из семейства OPT, разработанная командой Papers with Code в Meta AI и размещённая на Hugging Face Мануэлем Ромеро. Модель содержит 161,6 млрд параметров и обучена на 106 млрд токенов научных текстов и данных: статей, учебников, энциклопедий, научных сайтов и баз знаний. Контекст — 2048 токенов. Модель предназначена для научных задач: ответов на вопросы, математических рассуждений, суммаризации и генерации документов, предсказания цитирований, извлечения сущностей и оценки свойств молекул. Она также может применяться в научных инструментах для поиска и работы с литературой. Обучение на крупном научном корпусе помогает выполнять задачи, требующие научных знаний, но модель может галлюцинировать, в том числе при генерации цитат, и проявлять смещения. Для применения в производстве нужны меры предосторожности и проверка результатов. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

GaMS-9B — языковая модель семейства GaMS (Generative Model for Slovene), разработанная исследовательской командой факультета компьютерных и информационных наук Люблянского университета. Она основана на Google Gemma 2 9B и прошла продолжительное предобучение на корпусах текстов на словенском, английском, хорватском, сербском и боснийском языках. Это плотная авторегрессионная модель на 9 млрд параметров с контекстом до 8192 токенов, предназначенная для генерации текста и диалоговых сценариев. Модель подходит для создания и редактирования текстов, суммаризации, ответов на вопросы, чат-ботов и языковых учебных инструментов, особенно для работы со словенским языком. Английский также относится к основным языкам обучения; хорватский, сербский и боснийский представлены в меньшем объёме. Хотя Gemma 2 может поддерживать и другие языки, они не входили в указанное продолжительное предобучение GaMS-9B. Модель может ошибаться в фактах, испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами, а также воспроизводить смещения из обучающих данных. Для использования действует лицензия Gemma.

QuantFactory/gemma-2-9b-it-GGUF — это квантизированная версия текстовой instruction-tuned модели google/gemma-2-9b-it, созданная QuantFactory с использованием llama.cpp. Базовая модель разработана Google и относится к семейству Gemma, созданному на основе исследований и технологий Gemini. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, суммирование, рассуждения и другие задачи обработки текста. Это decoder-only языковая модель формата text-to-text, рассчитанная на работу с английским языком. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с исходными весами, включая использование на пользовательском компьютере или собственной облачной инфраструктуре. В названии базовой модели указано 9 миллиардов параметров, однако точный формат квантизации и контекстное окно этой версии в README не уточняются. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся относительно компактный размер семейства Gemma и instruction tuning, а ограничения включают англоязычную специализацию и возможное снижение точности из-за квантизации. Лицензия указана как gemma; условия использования приведены в Terms of Use Google.

Gemma 2B — компактная текстовая авторегрессионная языковая модель с архитектурой decoder-only из семейства Gemma, разработанного Google на основе исследований и технологий, использованных для Gemini. Эта версия содержит 2 млрд параметров; доступны открытые веса, а семейство включает предварительно обученные и дообученные для следования инструкциям варианты. Модель предназначена для генерации текста на английском языке: она может отвечать на вопросы, создавать диалоги и черновики, суммировать материалы и помогать в исследовании текстов. Небольшой размер позволяет запускать её на ноутбуке, настольном компьютере или собственной облачной инфраструктуре. Как и другие языковые модели, Gemma может выдавать фактические ошибки, отражать предубеждения обучающих данных и испытывать трудности с неоднозначными формулировками и сложными задачами. Для модели указана лицензия Gemma; применение должно соответствовать политике запрещённого использования Gemma.

testmoto/gemma-2-llm2024-01 — объединённая текстовая модель от testmoto на базе Google Gemma 2 9B. Веса объединены методом DARE TIES с помощью mergekit из базовой Gemma 2 9B и трёх моделей: testmoto/gemma-2-9b-lora-0, testmoto/gemma-2-9b-platypus-02 и testmoto/gemma-2-9b-lora-aozora. Модель предназначена для генерации текста и может использоваться для диалогов, ответов на вопросы и суммаризации — типичных сценариев базовой модели Gemma 2. Она имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров, принимает текст и генерирует текст, поддерживает контекст до 8192 токенов и доступна в формате safetensors для библиотеки Transformers. Языковая специализация объединённой модели в карточке не уточнена. Лицензия и конкретные ограничения применения в карточке не описаны; характеристики качества именно этого объединения также не приведены.

unsloth/gemma-3-1b-pt — текстовая версия Gemma 3, подготовленная Unsloth на основе предварительно обученной google/gemma-3-1b-pt. Это плотная авторегрессионная модель с 1 млрд параметров, предназначенная для генерации текста. По метаданным репозитория она принимает текст и имеет контекстное окно до 32 768 токенов. В карточке также описаны возможности семейства Gemma 3 в целом, включая изображения и поддержку более 140 языков; эти характеристики нельзя уверенно приписать данной текстовой версии. Модель подходит для генерации черновиков, диалоговых интерфейсов, суммаризации и ответов на вопросы по предоставленному контексту. Компактный размер упрощает запуск на ограниченных ресурсах. Как базовая, предварительно обученная версия, она не заявлена как готовая инструкционная модель; качество зависит от формулировки запроса и предметной области, а ответы могут содержать фактические ошибки или отражать смещения обучающих данных. Лицензия — Gemma; условия использования следует сверять с лицензией Gemma от Google.

unsloth/gemma-3-4b-it — мультимодальная модель семейства Gemma 3, опубликованная Unsloth на базе Google Gemma 3 4B IT. Она принимает текст и изображения и генерирует текст; подходит для диалогов, ответов на вопросы по изображениям, суммаризации и других задач генерации и понимания текста. Модель использует плотную архитектуру Gemma 3 и доступна в формате safetensors для Transformers. В README семейство Gemma 3 описано как поддерживающее контекст до 128 тысяч токенов и более 140 языков. Модель можно применять в чат-ботах и виртуальных помощниках, для извлечения сведений из изображений, составления кратких сводок и создания текстов. К компактному размеру относится заявленная возможность развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре; точный объём памяти для этой версии не указан. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и неверно трактовать тонкие языковые нюансы. Лицензия — Gemma; перед использованием следует учитывать условия лицензии и политику запрещённого использования Gemma.

gemma-3-4b-it-GGUF — квантизированная версия мультимодальной модели Gemma 3 4B IT, разработанной Google. Файл в формате GGUF подготовлен пользователем bartowski на основе модели google/gemma-3-4b-it и предназначен для запуска через llama.cpp, в том числе локально в LM Studio. Модель подходит для генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Она поддерживает текстовый и визуальный ввод; изображения нормализуются до разрешения 896 × 896 пикселей. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8192 токена. Другие характеристики, включая поддерживаемые языки и точную архитектуру, в README не указаны. Для работы требуется runtime llama.cpp версии 1.19.0 или более новой, причём рекомендуется актуальная beta-версия. К ограничениям относятся зависимость от совместимого runtime, возможные ошибки и неточности генерации, а также отсутствие в предоставленных данных сведений о конкретном типе квантизации и её влиянии на качество. Модель распространяется по лицензии Gemma; для доступа на Hugging Face требуется принять условия лицензии Google.

axolotl-mirrors/gemma-3-4b-pt — это предварительно обученная модель семейства Gemma 3, разработанного Google на основе технологий и исследований, использованных для Gemini. Это плотная мультимодальная модель с архитектурой Gemma3ForConditionalGeneration: она принимает текст и изображения и генерирует текст. Вариант 4B предназначен для понимания изображений, ответов на вопросы, суммаризации и других задач работы с языком и визуальными данными. Модель подходит для извлечения сведений из изображений, диалоговых интерфейсов, создания и редактирования текстов, а также экспериментов с vision-language-моделями. В README семейство Gemma 3 описано как многоязычное, с поддержкой более 140 языков и контекстом до 128 тысяч токенов; конкретные параметры этого варианта в метаданных не приведены. Для репозитория указан формат safetensors и лицензия Gemma. Качество ответов зависит от обучающих данных и формулировки запроса; возможны предвзятые, неточные или устаревшие ответы. Модель может затрудняться с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами.

VIDraft/Gemma-3-R1984-12B — мультимодальная модель на архитектуре Gemma 3, дообученная на базе google/gemma-3-12b-pt. Карточка описывает локальную платформу для диалогов, анализа изображений и документов, а также исследовательских запросов с веб-поиском через SERPHouse API. Заявлена обработка изображений, видео и текстовых документов; поиск может включать до 20 результатов с цитированием источников. В карточке указаны около 12 млрд параметров и контекст до 8 000 токенов. Метаданные подтверждают задачу image-text-to-text, поддержку vision и chat, библиотеку Transformers и лицензию Gemma. Для веб-поиска требуется ключ SERPHouse; README рекомендует развёртывание на NVIDIA L40S, но не приводит независимых оценок качества или подробностей обучения. Условия лицензии следует сверять с лицензией Gemma, указанной в метаданных: упоминание MIT для платформы в README не подтверждает лицензию весов модели.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

TIGER-Lab разработала General-Reasoner-Qwen2.5-14B — дообученную причинно-следственную языковую модель семейства Qwen2.5 с 14 млрд параметров. Она предназначена для диалоговой генерации текста и решения задач, требующих рассуждений в разных областях: математике, программировании, физике, химии, финансах и гуманитарных дисциплинах. Модель обучена на наборе из более чем 230 тысяч проверяемых вопросов; подход General-Reasoner использует проверку ответов компактной генеративной моделью-верификатором и не включает отдельный этап RL-обучения. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Репозиторий использует формат safetensors и библиотеку Transformers; метаданные указывают интерфейс для диалога и вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на нескольких бенчмарках, но не приводит конкретных значений в предоставленном фрагменте; ответы модели могут требовать проверки.

German-RAG-PHI-3.5-MINI-4B-SFT-HESSIAN-AI — авторегрессионная языковая модель на базе Transformer, разработанная командой Avemio AI при поддержке Hessian AI. Модель дообучена для сценариев генерации с использованием найденных документов и предназначена прежде всего для немецкоязычного рынка. В метаданных указаны архитектура Llama, 3,7 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors. Модель отвечает на вопросы по предоставленному контексту, извлекает релевантную информацию, составляет краткие сводки и выполняет задачи рассуждения. README также описывает обучение на примерах RAG и поддержку немецкого и английского языков. Лицензия в метаданных Hugging Face — MIT; README указывает Apache 2.0, поэтому сведения о лицензии расходятся и требуют проверки перед использованием. Ответы могут содержать фактические ошибки, а без фильтрации модель способна выдавать вредоносный или чувствительный контент. Результаты следует проверять, а для пользовательских приложений учитывать риски предвзятости и генерации небезопасного текста.

GLM-5.3-Flash EXL3 K2 — общественный квантованный пакет модели GLM-5.3-Flash-BF16, подготовленный vcruz305 на основе модели Z.AI. Это текстогенерационная модель с архитектурой Glm5NextForConditionalGeneration и поддержкой английского и китайского языков. Квантование EXL3 с точностью 2 бита применяется только к маршрутизируемым MoE-экспертам; компоненты внимания, общие слои, эмбеддинги, выходная голова и vision-компоненты сохраняют исходный формат. Пакет состоит из 120 файлов safetensors и занимает около 91 ГиБ. Модель предназначена для генерации текста и сценариев инференса с большим контекстом. Заявленный максимальный выделяемый контекст составляет 131072 токена, рекомендуемый контекст обслуживания — 65536 токенов; отдельно проверено извлечение данных из реальных текстов длиной до 163479 токенов. На NVIDIA GB10 заявлена скорость 15,7–16,5 токена в секунду при контексте 8K и 14,6–15,7 токена в секунду при 64K с использованием native MTP k=2. К преимуществам относятся существенно уменьшенный размер по сравнению с полноточными весами, поддержка MoE и длинного контекста. Ограничения включают снижение точности из-за 2-битного квантования, необходимость специальной сборки vLLM с поддержкой EXL3 и Glm5Next, а также известную ошибку runtime для некоторых запросов длиной примерно от 163K до 180K токенов. Лицензия весов — MIT.

GPT-NeoXT-Chat-Base-20B — диалоговая языковая модель, разработанная Together Computer в рамках OpenChatKit. Она дообучена на базе GPT-NeoX на более чем 40 млн инструкций и дополнительном небольшом наборе отзывов о предпочтениях людей. Архитектура — плотная GPT-NeoX, число параметров в метаданных — 26,9 млрд, максимальный контекст — 2048 токенов; модель работает с текстом и предназначена для генерации ответов в чат-ботах. Модель подходит для ответов на вопросы, суммаризации, классификации и извлечения информации, в том числе в диалогах с несколькими ходами и при работе с предоставленным контекстом. В карточке заявлена поддержка английского языка. Лицензия — Apache 2.0. Ответы могут быть неточными или нерелевантными, особенно на сложные, неоднозначные вопросы и темы за пределами обучающих данных. Модель не рекомендуется для критически важных сценариев и решений, существенно влияющих на людей; для запуска требуется значительный объём памяти GPU.

Карточка модели second-state/gpt-oss-120b-GGUF на Hugging Face совпадает с карточкой egoriow/gpt-oss-120b-GGUF, поэтому описание составлено по ней. egoriow/gpt-oss-120b-GGUF — квантованная в формате GGUF версия модели openai/gpt-oss-120b, размещённая egoriow. Это разговорная текстовая модель для генерации ответов и ведения диалога; README указывает на запуск через LlamaEdge, а метаданные отмечают поддержку чата и архитектуру GPT-OSS типа MoE. В метаданных указаны 2,1 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст. Репозиторий содержит варианты GGUF и GGUF F16; лицензия — Apache-2.0. Карточка называет исходной моделью openai/gpt-oss-120b, но конкретные характеристики качества и ограничения применения не описывает.

infosave/Granite-4.2-cmf — набор квантизированных плотных reasoning-моделей семейства IBM Granite 4.2, основанных на моделях IBM Granite 3B, 8B и 30B. Репозиторий подготовлен для среды Cortiq и содержит артефакты CMF с весами, токенизатором, точным шаблоном чата и хешами целостности. Модели предназначены для генерации текста, диалогов, многошагового рассуждения, работы с инструментами и многоходовым контекстом. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступны профили Q4TP и Q8_2F. Q4TP использует смешанную точность: основные проекции квантизированы в 4-битный формат, а границы словаря — в 8-битный; Q8_2F обеспечивает более высокое качество за счёт 8-битного представления проекций. Размер файлов составляет примерно от 2,17 до 29,31 ГБ в зависимости от варианта. Поддерживаются CPU, Vulkan, DX12 и Metal без обязательной установки Python, PyTorch или CUDA toolkit. Контекст модели — 131 072 токена; заявленное IBM расширение до 512K в этих файлах не реализовано. Преимущества — компактность, переносимость, сохранение специфичной архитектуры Granite и возможность работы при ограниченной VRAM с переносом части слоёв на CPU. Ограничения — необходимость значительных ресурсов для вариантов 8B и 30B, снижение качества у Q4TP по сравнению с Q8_2F и отсутствие заявленной поддержки контекста 512K. Распространение осуществляется по лицензии Apache-2.0.

grounding-en — англоязычная модель компании Nutrient для проверки того, подтверждает ли текст документа заданное утверждение. Это cross-encoder на архитектуре ModernBERT с классификационной головой, содержащий 394,7 млн параметров и рассчитанный на контекст до 8192 токенов. Модель принимает фрагмент документа и гипотезу — например, число, дату или факт — и оценивает, следует ли гипотеза из документа. Модель предназначена для проверки извлечённых значений по исходным документам, выявления неподтверждённых утверждений и цитат, а также направления сомнительных извлечений на ручную проверку. В заявленном тесте на английском grounding-benchmark она показала ROC-AUC 0,882 в целом и 0,923 на проверке чисел. Доступны веса safetensors и экспорт ONNX для запуска через ONNX Runtime. Модель поддерживает только английский язык. Её слабые стороны — сложные отрицательные примеры с табличными утверждениями и многошаговая арифметика; она специализирована на проверке соответствия источнику и может уступать моделям общего назначения в задачах NLI. Сырые вероятности могут быть завышены: для калибровки порогов рекомендуется температурное масштабирование на данных целевого распределения. Лицензия — Apache-2.0.

shyamieee/j4rviz-v4.0 — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом task arithmetic. В качестве базовой использована bophades-mistral-truthy-DPO-7B; также в объединение вошли Calme-7B-Instruct-v0.9 и multi_verse_model. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст. Её задача — генерация текста, включая диалоговые ответы и выполнение инструкций в текстовом формате. Модель использует библиотеку Transformers, веса представлены в формате safetensors. Длина контекста составляет 32 768 токенов. Карточка не сообщает о специализации на конкретной предметной области или языках, поэтому модель следует рассматривать как языковую общего назначения. Лицензия — Apache-2.0.

Karnak — арабско-английская разговорная языковая модель, разработанная Applied Innovation Center на основе Qwen/Qwen3-30B-A3B-Instruct-2507. Это причинная MoE-модель с расширенной глубиной, дополнительным обучением и токенизатором, оптимизированным для арабского языка. В метаданных указано 3,4 млрд параметров; README приводит оценку около 40 млрд после расширения глубины. Модель принимает инструкции и генерирует текст на арабском и английском языках; поддерживает контекст до 262 144 токенов по метаданным, при этом README рекомендует ограничивать рабочий контекст 20 000 токенами для стабильности. Karnak предназначена для диалогов, ответов на вопросы, объяснения тем, создания текстов, работы с длинными документами и исследовательскими материалами. README описывает многоэтапное обучение, включавшее расширение глубины, продолжение предобучения и дообучение с учителем, с целью улучшить следование инструкциям, беглость арабского текста и устойчивость ответов. Модель можно запускать локально или на собственных серверах, использовать через Transformers и vLLM, а также дообучать под конкретные задачи. Модель распространяется по лицензии Apache-2.0. Заявленные преимущества относятся прежде всего к арабской генерации и длинному контексту; README рекомендует не превышать 20 000 токенов для оптимальной стабильности, а отдельные гарантии фактической точности не приведены.

LeoLM/leo-hessianai-7b-chat-bilingual — двуязычная чат-модель LAION и HessianAI, разработанная в сотрудничестве с Бьёрном Плютером и Кристофом Шухманном. Это дообученная модель LeoLM/leo-hessianai-7b на архитектуре Llama 2: причинный декодерный трансформер с 6,6 млрд параметров и контекстом до 8192 токенов. Модель принимает текст и генерирует текст на английском и немецком языках. Она предназначена для диалога, написания текстов, объяснений и обсуждения тем. Модель демонстрирует более слабые результаты в математике и сложных рассуждениях. Выпущена по лицензии LLAMA 2 COMMUNITY LICENSE AGREEMENT. Как и другие языковые модели, LeoLM может давать неточные, предвзятые или нежелательные ответы. Перед использованием в приложениях разработчикам следует проверить её поведение и настроить меры безопасности под конкретный сценарий.

LFM2.5-Encoder-350M-hallucination-detector — модель KRLabsOrg из проекта LettuceDetect для выявления неподтверждённых фрагментов в ответах по заданному контексту. Это двунаправленный энкодер LiquidAI/LFM2.5-Encoder-350M с линейной головой классификации токенов, дообученный отмечать участки ответа, которые не подтверждаются контекстом. Модель принимает вопрос, контекст и ответ, а затем выполняет разметку токенов; результаты можно использовать для определения галлюцинаций в RAG-ответах, выводах инструментов и ответах кодовых агентов. В README указаны обучение на 66 368 примерах в течение трёх эпох, максимальная длина входа 8 192 токена и тестовая span-F1 0,603 на объединённом наборе из 10 698 примеров. В мультиязычном выявлении на уровне примеров результаты сопоставимы с энкодером mmBERT. Модель обучалась на данных о галлюцинациях в коде и прозе, включая RAGTruth, структурированные документы и 14-язычный набор PsiloQA; в метаданных карточки перечислены английский, немецкий, испанский, французский, итальянский и нидерландский. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели. В приведённых результатах span-F1 ниже, чем у сравниваемых mmBERT-base и Qwen-2B; качество зависит от источника данных и формата ответа.

Llama 2 7B Chat — текстовая авторегрессионная модель Meta на архитектуре Transformer, настроенная для диалогов с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Версия содержит 7 млрд параметров и представлена в формате Hugging Face Transformers с весами PyTorch и Safetensors. Модель принимает текст и генерирует текст. Она предназначена для диалогов с ассистентом, ответов на вопросы, объяснений и других сценариев генерации на английском языке; для корректной работы следует использовать формат диалога Llama 2 Chat. Контекстное окно — до 4 тыс. токенов. Модель может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением требуется проверка безопасности под конкретный сценарий. Использование регулируется лицензией Meta Llama 2, условия которой необходимо принять для получения весов.

TheBloke опубликовал fp16-модель Llama 30B SuperCOT в формате PyTorch. В её основе — объединение huggyllama/llama-30b и kaiokendev/SuperCOT-LoRA; поверх него объединена LoRA Kaio Ken SuperHOT, расширяющая контекст до 8192 токенов. Модель относится к плотной архитектуре LlamaForCausalLM и содержит 32,3 млрд параметров. Модель предназначена для генерации текста и ответов на вопросы с использованием шаблона запросов в стиле Alpaca и LangChain. Увеличенное окно контекста позволяет передавать более длинные запросы и материалы. README сообщает, что в тестах модель использовала расширенный контекст, но качество ответов чувствительно к формулировкам и структуре промпта; результаты могут заметно меняться при перефразировании. Репозиторий содержит веса PyTorch fp16 для GPU-инференса и дальнейшей конвертации. Для работы с контекстом 8K требуется поддержка соответствующего масштабирования RoPE; README рекомендует `trust_remote_code=True` или monkey patch. Лицензия указана как `other`, поэтому условия использования следует сверить с карточкой и лицензиями исходных компонентов.

bunnycore/Llama-3.1-8B-TitanFusion-Mix-2.1 — текстовая генеративная модель семейства Llama 3.1, созданная разработчиком bunnycore слиянием нескольких языковых моделей методом TIES через mergekit. В качестве базовой модели использована NousResearch/Meta-Llama-3.1-8B; в слияние также вошли Llama-3.1-8B-Lexi-Uncensored-V2, Configurable-Llama-3.1-8B-Instruct и две модели TitanFusion от bunnycore. Модель с архитектурой LlamaForCausalLM содержит 7,5 млрд параметров, принимает текст и генерирует текст. Заявленная длина контекста — 131 072 токена. Предназначена для диалогов и генерации текста общего назначения; README не приводит отдельные оценки качества или подробные сценарии применения. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Llama-3.1-Tulu-3-405B — большая плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Allen Institute for AI (Ai2). Она дообучена на основе allenai/Llama-3.1-Tulu-3-405B-DPO и предназначена для следования инструкциям и диалогов, а также для решения широкого круга задач, включая математические рассуждения и выполнение инструкций. В карточке отмечены оценки на MATH, GSM8K и IFEval. Модель содержит 403,7 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. Основной язык — английский. Для запуска доступны веса PyTorch в формате safetensors через Transformers; лицензия — Llama 3.1 Community License Agreement. В карточке указано, что безопасность дообучения ограничена: модель может выдавать проблемный контент, особенно при соответствующих запросах, и не снабжена встроенной фильтрацией ответов. Для развертывания следует учитывать высокие вычислительные требования, характерные для модели такого размера.

Llama-3.1-Tulu-3-70B-DPO — англоязычная инструкционная модель Allen Institute for AI, дообученная методом DPO на базе allenai/Llama-3.1-Tulu-3-70B-SFT. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый шаблон и контекст до 131 072 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений и решения разнообразных задач, включая математические задачи и оценку следования инструкциям. В карточке приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного сценария. Модель имеет ограниченную настройку безопасности и может выдавать проблемный контент, особенно по соответствующему запросу. Для использования доступны веса в форматах PyTorch и Safetensors через Transformers. Лицензия — Llama 3.1 Community License Agreement; перед применением следует учитывать её условия.

MaziyarPanahi/Llama-3-8B-Instruct-64k — языковая модель для генерации текста и диалогов, созданная MaziyarPanahi на основе winglian/Llama-3-8b-64k-PoSE. Это плотная модель семейства Llama 3 с 7,5 млрд параметров; карточка указывает обучение с продолжением предобучения на 300 млн токенов RedPajama V1 и DPO-данных Intel/orca_dpo_pairs. В метаданных библиотекой названа Transformers, веса представлены в формате safetensors. Модель предназначена для диалогового взаимодействия и генерации текста на английском языке. В README заявлено расширение контекста с 8k до 64k токенов методом PoSE; после дообучения также изменялся rope_theta для возможного расширения контекста. При этом метаданные каталога указывают native context в 8192 токена, поэтому работу на длине 64k следует считать заявленной в карточке, а не подтверждённой метаданными. Лицензия — Llama 3 License (llama3); её условия следует соблюдать при использовании и распространении модели. Карточка описывает модель как основанную на другой модели и обученную дополнительно, поэтому это дообучение, а не оригинальная разработка.

Magpie-Align/Llama-3-8B-Magpie-Align-SFT-v0.3 — плотная языковая модель семейства Llama 3, созданная Magpie-Align дообучением Meta-Llama-3-8B методом supervised fine-tuning на наборах Magpie-Pro-MT-300K-v0.1, Magpie-Reasoning-150K и Magpie-Qwen2-Pro-200K-Chinese. Размер модели — 7,5 млрд параметров, контекст — 8192 токена; она принимает текстовые запросы и генерирует текст, в том числе в формате диалога по официальному шаблону Llama 3. Модель предназначена для следования инструкциям, диалогов, рассуждений и генерации ответов на английском и китайском языках. Авторы сообщают о результатах, сопоставимых с Llama-3-8B-Instruct при использовании только SFT; эти показатели относятся к указанным в карточке бенчмаркам и не гарантируют качество в каждом сценарии. Модель доступна на условиях лицензии Meta Llama 3 Community License.