I.2Синтез, понимание и проверка знаний

Карточка модели crusoeai/Llama-3.3-70B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.3-70B-Instruct, поэтому описание составлено по ней. Meta Llama 3.3 70B Instruct — мультиязычная генеративная языковая модель Meta для диалогов и следования инструкциям. Это авторегрессионный трансформер на 70 млрд параметров, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей. Модель принимает и выдаёт текст, поддерживает контекст до 128 тысяч токенов и оптимизирована для диалоговых сценариев. Модель подходит для создания ассистентов, ответов на вопросы, написания и преобразования текстов, а также генерации синтетических данных. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; русский среди них не указан. Для инференса описана библиотека Transformers, а контрольные точки можно использовать с 8- и 4-битной загрузкой через bitsandbytes для снижения требований к памяти. Модель статична и обучена на офлайн-данных с отсечкой знаний в декабре 2023 года. Она не принимает изображения, аудио или видео; качество и безопасность ответов требуют оценки и мер защиты в конкретном приложении. Использование регулируется пользовательским соглашением Llama 3.3 Community License, включая его ограничения и Acceptable Use Policy.

caskcsg/Llama-3-8B-NExtLong-512K-Instruct — диалоговая языковая модель семейства Llama, разработанная авторами проекта NExtLong. Это дообученная версия Llama-3-8B-NExtLong-512K-Base: базовую модель обучали на синтетических длинных контекстах, созданных методом NExtLong с чередованием фрагментов документа и отвлекающих фрагментов из корпусов предобучения; instruct-версию дополнительно настроили на Magpie-Align/Magpie-Llama-3.3-Pro-1M-v0.1. Модель предназначена для генерации ответов и работы с длинными входными контекстами, включая поиск информации в тексте, вопросы и ответы по документам, длинноконтекстный RAG и задачи с примерами в контексте. Заявленное окно контекста — 524 288 токенов; размер модели — около 7,5 млрд параметров. Модель имеет плотную архитектуру Llama и поставляется в формате safetensors. Карточка приводит результаты оценки на LongBench V2, HELMET, RULER и короткоконтекстных бенчмарках. Карточка не сообщает поддерживаемые языки или лицензию, поэтому применимые условия использования следует уточнить в репозитории модели. Указанная длина контекста — характеристика модели; фактическое использование такого окна зависит от реализации и доступных вычислительных ресурсов.

Z3R6X/Llama-3-8B-ORPO-V1 — разговорная языковая модель на архитектуре Llama 3, дообученная автором репозитория методом ORPO на наборе mlabonne/orpo-dpo-mix-40k. Модель содержит 7,5 млрд параметров и предназначена для генерации текста в диалоге и ответов на запросы. В README указано, что при обучении применялись LoRA с рангом 16 и 4-битная квантизация для экономии памяти; длина последовательности при обучении была сокращена до 1024 токенов. Метаданные указывают контекст до 8192 токенов и формат весов safetensors. В README приведены результаты MMLU, BoolQ и Winogrande, полученные с lm-evaluation-harness v0.4.2; это отдельные сравнительные замеры, а не гарантия качества в конкретном применении. Модель рассчитана на текстовый ввод и генерацию текста, интерфейс чата отмечен в метаданных. Указана лицензия llama3; перед использованием следует соблюдать её условия. Карточка описывает дообучение Llama 3, поэтому производная классифицируется как finetune.

Patronus-Lynx-70B-Instruct — языковая модель Patronus AI на архитектуре Llama 3, дообученная на базе meta-llama/Meta-Llama-3-70B-Instruct. Она предназначена для оценки галлюцинаций в сценариях RAG: модель получает документ, вопрос и ответ и определяет, подтверждается ли ответ документом. Модель содержит 69,5 млрд параметров, принимает текст и генерирует текстовую оценку. В карточке указаны преимущественно английский язык и максимальная длина последовательности около 8 тысяч токенов; в метаданных контекст указан как 8192 токена. Для обучения использовались, среди прочего, CovidQA, PubmedQA, DROP и RAGTruth, с ручными и синтетическими аннотациями. Модель оценивалась на HaluBench. Модель опубликована в формате safetensors и предназначена для использования через Transformers. Лицензия CC BY-NC 4.0 допускает использование с ограничением на коммерческое применение.

Llama-Express.1 — компактная текстовая языковая модель, разработанная prithivMLmods на основе Meta Llama 3.2 1B Instruct и дообученная на наборах данных с длинными цепочками рассуждений. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров и контекстом до 131 072 токенов; она распространяется в формате Safetensors и рассчитана на запуск через Transformers. Модель предназначена для диалогов на разных языках, следования инструкциям, суммаризации и задач извлечения и обобщения сведений из предоставленного контекста. Данные обучения включают математические и reasoning-наборы; карточка также заявляет поддержку агентных сценариев поиска. Метаданные указывают английский язык, а README описывает модель как многоязычную, поэтому качество на языках с малым объёмом обучающих данных может быть ниже. Модель принимает и генерирует текст; изображения, аудио и видео она не обрабатывает. Длинный контекст не исключает ухудшения качества или усечения на очень больших входах, а ответы зависят от ясности запроса и могут отражать смещения обучающих данных. У модели нет собственного доступа к интернету для проверки актуальных фактов. Лицензия — Llama 3.2; применяются её условия использования.

LongReward-llama3.1-8b-DPO — языковая модель семейства Llama 3.1, представленная авторами проекта LongReward. Это версия DPO-модели LongReward-llama3.1-8b-SFT, дообученная на предпочтениях с использованием раздела dpo_llama3.1_8b датасета LongReward-10k. Модель предназначена для генерации текста с длинным контекстом и поддерживает контекстное окно до 65 536 токенов. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат Safetensors; для работы README указывает библиотеку Transformers версии 4.43.0 или новее. Её можно применять для диалогов и ответов с учётом длинных документов и больших контекстов. В карточке указаны английский и китайский языки. Доступна под лицензией, указанной в репозитории Hugging Face.

Luna-8B-Instruct-262k — объединённая модель на архитектуре Llama 3, созданная Ppoyaa с помощью LazyMergekit. В состав входят gradientai/Llama-3-8B-Instruct-262k, jondurbin/bagel-8b-v1.0, mlabonne/ChimeraLlama-3-8B-v3 и nbeerbower/llama-3-wissenschaft-8B; в конфигурации указан метод model_stock и формат bfloat16. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы. В репозитории заявлено окно контекста до 262 144 токенов; размер составляет 7,5 млрд параметров. Использование предусмотрено через Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

LWM-Text-128K — открытая авторегрессионная языковая модель на архитектуре Transformer семейства LLaMA, дообученная на основе LLaMA 2. По метаданным, модель содержит 6,6 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и работы с длинными последовательностями; при обучении использовались 92 тысячи документов Books3 длиной от 100 до 200 тысяч токенов. Языковые возможности отдельно не описаны. Модель опубликована в формате PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

MegaBeam-Mistral-7B-300k — языковая модель AWS, дообученная на базе Mistral-7B-Instruct-v0.2. Она предназначена для диалоговой генерации текста и работы с длинными документами: заявленная длина входного контекста достигает 320 тысяч токенов, а метаданные указывают нативный контекст около 288,8 тысячи токенов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Модель подходит для вопросов и ответов по объёмным документам, извлечения сведений из длинного контекста и диалоговых сценариев. В опубликованной карточке приведены результаты оценки на InfiniteBench, включая задачи поиска ключей и чисел в длинном контексте; показатели различаются между задачами. README описывает запуск на крупном экземпляре AWS и через vLLM или SageMaker DJL. Поддерживаемые языки отдельно не перечислены. Модель распространяется по лицензии Apache 2.0. Перед применением AWS рекомендует самостоятельно оценить её качество и соответствие требованиям конкретного использования.

bartowski/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия 70-миллиардной инструкционно-ориентированной языковой модели Meta Llama 3, разработанной Meta и подготовленной пользователем bartowski для запуска в совместимых средах инференса. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые сценарии и другие приложения обработки естественного языка. В доступных данных указано, что модель поддерживает английский язык и относится к классу text-generation. Она основана на архитектуре Llama 3 и поставляется в формате GGUF, однако сведения о конкретном варианте квантования, размере контекста, точной архитектуре, мультимодальности и дополнительных языках отсутствуют. Размер 70B обеспечивает значительный потенциал для сложных языковых задач, но обычно требует существенных вычислительных ресурсов; характеристики производительности зависят от выбранной сборки и среды запуска. Модель распространяется по Meta Llama 3 Community License. При распространении материалов или продуктов на их основе требуется соблюдать условия лицензии, включая указание «Built with Meta Llama 3», сохранение уведомления об авторских правах и соблюдение Acceptable Use Policy. Лицензия также содержит ограничения на использование результатов для улучшения других больших языковых моделей и дополнительные коммерческие условия для организаций с более чем 700 миллионами активных пользователей в месяц.

MiniMaxAI представляет MiniMax-Text-01 — языковую модель для диалогов, генерации текста и вызова внешних функций. Эта версия репозитория подготовлена для Transformers; в метаданных указаны архитектура MiniMaxForCausalLM с механизмом Mixture of Experts и 21,6 млрд параметров. В README описана исходная архитектура семейства: сочетание Lightning Attention, Softmax Attention и MoE; заявлена поддержка контекста до 4 млн токенов при инференсе. Значение native_context_tokens в метаданных составляет 10 240 000 токенов. Модель подходит для генерации ответов, работы с длинными контекстами и приложений, где по запросу нужно сформировать структурированный вызов функции. README приводит результаты академических оценок и рекомендует vLLM для развёртывания. В нём также указана поддержка формата вызова функций, совместимого с OpenAI. Лицензия в метаданных обозначена как other; конкретные условия следует проверять в репозитории модели.

Minotaur 13B — инструктивно дообученная языковая модель OpenAccess AI Collective на базе LLaMA-13B. Она предназначена для диалоговых ответов, следования инструкциям, объяснений и генерации прозы; модель принимает текстовые запросы и генерирует текст. Обучение проведено на открытых наборах инструкций, включая WizardLM, Alpaca-CoT, GPTeacher, ScienceQA, задачи по математике и естественным наукам, а также наборы для суммаризации и рассуждений. Используется формат диалоговых подсказок с метками USER: и ASSISTANT:.

CultriX/Qwen2.5-14B-BrocaV9 — объединённая модель генерации текста семейства Qwen2.5, созданная CultriX с помощью mergekit. В качестве базовой использована CultriX/Qwen2.5-14B-Wernickev3; в объединение также вошли SeQwence-14Bv1, QwenSlerp6-14B, Qwen2.5-Math-14B-Instruct, Qwenfinity-2.5-14B и Q2.5-Veltha-14B-0.5. Метод слияния — della_linear. Модель предназначена для диалогового общения и генерации текста; её можно использовать для ответов на вопросы, написания и продолжения текстов, а также задач рассуждения и математики. Это плотная причинно-языковая архитектура Qwen2 с 14 млрд параметров, доступная в формате safetensors и поддерживающая контекст до 131 072 токенов. Карточка указывает лицензию Apache-2.0.

Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи, требующие обработки очень длинного контекста, при сохранении возможностей на коротких запросах. В метаданных указана поддержка английского языка. Модель имеет контекстное окно до 1 миллиона токенов, что делает её подходящей для анализа больших документов и других длинных последовательностей. При этом для последовательностей свыше 262 144 токенов возможно снижение точности до появления улучшенной поддержки. Размер исходной модели составляет 14 миллиардов параметров; сведения о конкретном методе и уровнях GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточный, неподходящий или вредоносный контент, поэтому результаты требуют проверки. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

QwenLong-L1.5-30B-A3B — языковая модель Tongyi Lab, Alibaba Group, построенная на Qwen3-30B-A3B-Thinking и дообученная для рассуждений по длинному контексту и управления памятью. В карточке описана модель семейства Qwen3 MoE с архитектурой Qwen3MoeForCausalLM; метаданные указывают 2,6 млрд параметров, контекстное окно 262 144 токена и поддержку диалогового взаимодействия и интерфейса вызова инструментов. Модель предназначена для многошагового поиска и связывания сведений, распределённых по длинным документам, а также для задач, чей объём превышает одно контекстное окно: в README описан механизм итеративного обновления памяти. Для обучения применялись синтез сложных проверяемых вопросов, сбалансированная выборка задач и алгоритм AEPO. Авторы сообщают о повышении среднего результата на длинноконтекстных бенчмарках относительно базовой модели и улучшениях в математике, использовании инструментов и длинных диалогах. Модель распространяется по лицензии Apache-2.0. Заявленные результаты основаны на оценках авторов; карточка не приводит подробностей о качестве на отдельных языках и прикладных сценариях, поэтому их следует проверять на собственных данных.

Карточка модели aidj2025/Qwythos-9B-Claude-Mythos-5-1M на Hugging Face совпадает с карточкой empero-ai/Qwythos-9B-Claude-Mythos-5-1M, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M — диалоговая модель empero-ai на базе Qwen/Qwen3.5-9B, дообученная полным обновлением текстовых весов методом supervised fine-tuning. Это плотная мультимодальная архитектура Qwen3.5 с гибридным стеком Gated DeltaNet и полнослойного внимания; дообучение было текстовым, а зрительная часть унаследована от базовой модели и не настраивалась. Модель предназначена для генерации ответов с рассуждениями, работы с инструментами и длительных агентных сессий. Она поддерживает вызов функций в формате Qwen3.5 и контекст до 1 048 576 токенов благодаря YaRN-масштабированию; в описании сообщается о внутренней проверке на контексте около 137 тысяч токенов. Заявлены сценарии анализа больших репозиториев и документов, а также задач в кибербезопасности и биомедицине. Поддержка изображений унаследована от Qwen3.5, однако зрительная часть не дообучалась и не проверялась. Карточка сообщает об успешном выполнении 7 из 7 тестовых запросов с инструментами, но это небольшой внутренний тест, а не независимая оценка. Модель может ошибаться в точных фактах и идентификаторах; для важных сведений рекомендуется поиск или другие инструменты. При жадной генерации и низкой температуре возможны повторения, а YaRN может немного ухудшать качество на коротком контексте. Лицензия — Apache 2.0.

ruRoberta-large-paraphrase-v1 — русскоязычная модель Sberbank AI на архитектуре RoBERTa Large, дообученная как cross-encoder для оценки семантической эквивалентности двух предложений. Она принимает пару текстов и классифицирует её как парафраз с тем же смыслом или как непарафраз; оценку также можно использовать для проверки сохранения содержания при перефразировании и переносе стиля. Модель обучалась на объединении RuPAWS, ru_paraphraser и размеченных примеров сохранения содержания из коллекции RUSSE-2022 для детоксикации текста. Модель содержит 454,1 млн параметров, работает с текстом на русском языке и имеет контекст до 514 токенов. В README приведены ROC AUC от 0,857 до 0,906 на тестовых наборах detox, paraphraser, RuPAWS QQP и RuPAWS Wiki. Это классификатор пар предложений, поэтому для сравнения текстов их нужно подавать совместно; модель не генерирует перефразированный текст. Лицензия в предоставленных данных не приведена.

ruT5-large — предварительно обученная русскоязычная модель семейства T5, разработанная командой SberDevices. Это плотная модель архитектуры encoder-decoder с 385,2 млн параметров по метаданным, реализованная для PyTorch; в README указано 737 млн параметров. Модель обучалась на 300 ГБ данных, использует BPE-токенизатор со словарём из 32 101 токена и имеет контекст длиной 512 токенов. Модель предназначена для генерации текста по текстовому запросу и может служить основой для задач преобразования русского текста, например суммаризации, перефразирования и ответов на вопросы после соответствующей настройки. README ссылается на препринт о семействе предварительно обученных трансформеров для русского языка и сообщает об оценке модели. Модель принимает и выдаёт текст, ориентирована на русский язык. Данные не описывают специализированные области применения или известные ограничения качества. Условия лицензии в предоставленных источниках не приведены.

Sensei-7B-V1 — языковая модель SciPhi для генерации ответов по результатам веб-поиска и сценариев RAG. Она дообучена на синтетических данных от OpenPipe/mistral-ft-optimized-1218, основанной на Mistral-7B, и рассчитана на создание точных, снабжённых ссылками сводок по нескольким результатам поиска. Модель использует плотную архитектуру Mistral с 7,1 млрд параметров, Grouped-Query Attention, Sliding-Window Attention и токенизатор BPE с поддержкой байтов. Родной контекст составляет 32 768 токенов. На вход подают текстовый запрос и контекст поиска; модель генерирует текстовый ответ, который можно оформить в JSON с полями summary и other_queries. Карточка рекомендует использовать один поисковый запрос и также описывает подачу собственного контекста напрямую. Весовые файлы представлены в формате safetensors. Модель предназначена для интеграции в RAG-процесс с веб-поиском; результаты зависят от качества и релевантности предоставленных поисковых данных. Лицензия в доступных данных не указана.

Smaug-72B-v0.1 — языковая модель abacus.ai, дообученная методом DPO-Positive (DPOP) для повышения качества ответов и результатов на задачах общего назначения. Она построена на архитектуре LlamaForCausalLM и содержит 71 млрд параметров; исходной моделью для дообучения указана moreh/MoMo-72B-lora-1.8.7-DPO, которая, согласно README, основана на Qwen-72B. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для диалога, ответов на вопросы, рассуждений и решения задач, в том числе математических. В README приведены результаты оценки на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и MT-Bench; они характеризуют тестирование авторов и не гарантируют аналогичное качество в других сценариях. Модель выпущена в формате safetensors. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверить в карточке модели.

T5Gemma — семейство компактных текстовых моделей Google с архитектурой encoder-decoder. Этот вариант — предварительно обученная модель с энкодером на 2 млрд и декодером на 2 млрд параметров, адаптированная с помощью PrefixLM; веса опубликованы в формате safetensors, библиотека для работы — Transformers. Модель принимает текст и генерирует текст на английском языке. Модель предназначена для генерации и преобразования текста, в частности для ответов на вопросы, суммаризации и рассуждений. Её можно использовать для подготовки черновиков, создания текстов и экспериментов в NLP; энкодер также пригоден для задач классификации и понимания текста. Компактный размер облегчает запуск на персональных компьютерах и собственной облачной инфраструктуре. К ограничениям относятся возможные ошибки в фактах, предвзятость обучающих данных и трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Модель лицензирована по условиям Gemma License; перед применением следует учитывать ограничения Gemma Prohibited Use Policy.

T5Gemma — семейство текстовых моделей кодировщик–декодер, разработанное Google; этот вариант настроен для следования инструкциям и использует PrefixLM. Модель основана на T5Gemma с 9 млрд параметров в кодировщике и 9 млрд в декодере, адаптированной из авторегрессионной Gemma в архитектуру кодировщик–декодер. Модель принимает и генерирует текст на английском языке. Она предназначена для генерации текста по инструкциям, ответов на вопросы, суммаризации и рассуждений; карточка также описывает применение семейства для творческого письма, черновиков писем и задач NLP. Весовые файлы опубликованы в формате safetensors. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия — Gemma; при использовании следует учитывать правила допустимого применения моделей Gemma.

google/t5gemma-xl-xl-ul2 — предварительно обученная текстовая модель семейства T5Gemma от Google с энкодером XL и декодером XL, адаптированная с использованием UL2. Архитектура типа encoder-decoder преобразует текст в текст; веса сохранены в формате safetensors и предназначены для работы через Transformers. Модель рассчитана на английский язык. Модель подходит для генерации текста, суммаризации, ответов на вопросы и рассуждений; энкодер также можно применять в задачах классификации и понимания текста. Возможные сценарии — подготовка черновиков и кратких изложений, ответы по предоставленному тексту и NLP-исследования. В карточке не указаны размер в параметрах и длина контекста. К ограничениям относятся возможные фактические ошибки, влияние пробелов и смещений обучающих данных, трудности с неоднозначностью и сложными открытыми задачами. Лицензия — Gemma; для применения необходимо учитывать условия Gemma и политику допустимого использования.

Tele-FLM (также FLM-2) — открытая многоязычная языковая модель на 52,2 млрд параметров, разработанная BAAI и TeleAI. Это плотный декодерный Transformer, обученный примерно на 2 трлн токенов; архитектура использует RoPE, RMSNorm и SwiGLU и во многом совместима с Llama. Контекст модели составляет 4096 токенов. Модель предназначена для генерации текста и извлечения признаков, включая многоязычные запросы и задачи, где важны фактические суждения. В обучающих данных преобладают английский и китайский языки; также включены код и тексты на других языках. Доступны веса и сведения о разработке и обучении модели. Модель распространяется по лицензии Apache 2.0. По предупреждению разработчиков, она может воспроизводить предвзятые или оскорбительные примеры и выдавать небезопасный контент; ответы следует проверять.

Tess-M-v1.3 — языковая модель общего назначения из серии Tess, разработанной migtissera. Модель построена на архитектуре Llama и дообучена на базе Yi-34B-200K; размер составляет 33,9 млрд параметров. Она принимает текст и генерирует текст, используя формат диалога с ролями SYSTEM, USER и ASSISTANT. Модель предназначена для диалогов и генерации ответов, в том числе при работе с длинным контекстом до 200 000 токенов. В README указано, что версия 1.3 — стабильный выпуск, а при тестировании на длинных контекстах наблюдались редкие незначительные повторы. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице модели.

WestKunai-Hermes-long-128k-test-7b — слитая языковая модель на архитектуре Mistral, созданная автором seyf1elislam с помощью mergekit из WestKunai-Hermes-7b и NousResearch/Yarn-Mistral-7b-128k. Модель содержит 7,1 млрд параметров и предназначена для генерации текста.

xGen-small-9B-instruct-r — диалоговая языковая модель Salesforce из семейства xGen-small, предназначенная для генерации ответов и ведения чата. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM; в метаданных указано 10,2 млрд параметров и контекст до 262 144 токенов. Вариант instruct дообучен для диалогового использования. Модель подходит для длинных текстовых запросов и ответов, требующих работы с обширным контекстом, а также для общих задач рассуждения и знаний. В README приведены сравнительные результаты для тестов MMLU, MMLU-Pro и Arena-Hard; это результаты оценок, а не гарантия качества в прикладных сценариях. Salesforce описывает xGen-small как компактную модель с предметно-ориентированным отбором данных, масштабируемым предварительным обучением, расширением контекста и дообучением с RL. Выпуск предназначен для исследований; README рекомендует проверять точность, безопасность и справедливость перед применением, особенно в сценариях с высоким риском. Лицензия — CC BY-NC 4.0, допускающая использование с некоммерческими ограничениями.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

ghostlamp/2 — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом DARE TIES на основе Princeton NLP Llama-3-8B-ProLong-512k-Base, Arkana08/LexiMaid-L3-8B и DavidAU/L3.1-Dark-Planet-SpinFire-Uncensored-8B. В репозитории представлены веса SafeTensors в формате bfloat16; размер модели составляет 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Базовая модель поддерживает контекст до 524 288 токенов, что подходит для работы с длинными текстовыми запросами и документами. Карточка не сообщает отдельные целевые языки и прикладные области. Лицензия в предоставленных данных не указана.