I.3Извлечение и структурирование данных

XVERSE-7B — многоязычная большая языковая модель, разработанная Shenzhen Yuanxiang Technology. Это плотный Decoder-only Transformer примерно с 6,9 млрд параметров, обученный предсказывать продолжение текста. Модель поддерживает контекст до 8192 токенов и предназначена для диалогов, ответов на вопросы, суммаризации и других задач генерации текста. В обучающих данных были представлены более 40 языков, включая китайский, английский, русский и испанский; разработчики сообщают о более сильных результатах на китайском и английском при поддержке других языков. Модель подходит для многоязычных текстовых приложений, которым нужна генерация в пределах указанного контекста. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Как и другие большие языковые модели, XVERSE-7B может выдавать неточную, предвзятую или оскорбительную информацию. Разработчики рекомендуют проверять результаты и проводить тестирование безопасности перед внедрением.

T145/ZEUS-8B-V11 — языковая модель, созданная разработчиком T145 слиянием нескольких предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована T145/KRONOS-8B-V1-P3, в слияние также вошли Llama-3.1-Storm-8B, Llama-3.1-8B-Lexi-Uncensored-V2 и Llama-3.1-SuperNova-Lite. Модель предназначена для генерации текста и диалоговых сценариев; интерфейс также поддерживает вызов инструментов. Это плотная Llama-архитектура с 7,5 млрд параметров и контекстом до 131 072 токенов. Доступна в формате safetensors для Transformers. В README приведены результаты Open LLM Leaderboard, включая 81% на IFEval и 31,21% на BBH; эти оценки отражают отдельные тесты и не гарантируют качество для конкретных запросов. Лицензия в доступных данных не указана. Включение uncensored-варианта среди исходных моделей может влиять на фильтрацию ответов; не следует считать её ответы проверенными или безопасными без собственной оценки.

yuq-zhou/2026-05-o-b0p3-a1p0-gc0p5-exp-td4p0-tw10p0-r1-7-last — контрольная точка языковой модели в стандартном формате Hugging Face для загрузки через Transformers. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров и контекстом до 131 072 токенов. Метаданные указывают на поддержку чата и интерфейса вызова инструментов; основная задача модели — генерация текста. Модель может использоваться для диалоговых ответов и генерации текста с длинным контекстом. Карточка называет её резервной копией исследовательского артефакта, но не описывает конкретные данные обучения, специализацию или проверенные показатели качества. Лицензия в предоставленных данных не указана.

Модель latent-artist/66c200392ff148279a5995ef1455d3de — инструктивно дообученная авторегрессионная языковая модель для генерации текста и диалогов. Она построена на архитектуре Qwen2 и содержит около 1,54 млрд параметров, включая 1,31 млрд параметров без учёта эмбеддингов. Модель разработана автором репозитория latent-artist. Модель предназначена для ответов на инструкции и общения в формате чата. Архитектура включает 28 слоёв, rotary position embeddings, групповой запрос внимания с 12 query heads и 2 key/value heads, RMS-нормализацию и gated feed-forward слои. Длина контекста составляет 32 768 токенов, генерация поддерживает до 8 192 токенов. README заявляет многоязычную генерацию текста; в метаданных указан английский язык. Для загрузки требуется актуальная версия Transformers. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Модель поддерживает чатовый интерфейс и интерфейс вызова инструментов. Карточка не приводит оценок качества или конкретных ограничений применимости; как языковая модель, её ответы требуют проверки на точность и уместность.

Air-Striker-Mixtral-8x7B-ZLoss-Instruct — диалоговая языковая модель, созданная Sandmanbuzz линейным слиянием Mixtral-8x7B-Instruct-v0.1 и Air-Striker-Mixtral-8x7B-ZLoss с равными весами. Репозиторий содержит веса в формате safetensors; архитектура Mixtral — разреженная смесь экспертов (MoE), а размер модели по метаданным составляет 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста по инструкциям, например для ответов на вопросы и создания черновиков. Поддерживает контекст до 32 768 токенов. В README указана конфигурация mergekit с линейным слиянием и форматом bfloat16; метаданные также отмечают возможность чата. Лицензия в предоставленных сведениях не указана.

Apollo-1-4B — инструктивно дообученная языковая модель Noema Research на базе Qwen3-4B с архитектурой decoder-only Transformer и примерно 3,7 млрд параметров. Она предназначена для диалогов, следования инструкциям и рассуждений общего назначения, включая многошаговые запросы, образовательные сценарии, помощников по знаниям и прототипирование агентов. Модель принимает текст и генерирует текст; поддерживает широкий набор языков, включая русский. В README заявлен контекст до 32 тыс. токенов, тогда как метаданные указывают нативный контекст 131 072 токена. Модель рассчитана на сочетание качества и эффективности и может использоваться на мощном пользовательском оборудовании и облачных GPU. README сообщает о внутренних оценках улучшения рассуждений и следования инструкциям относительно Apollo-1-2B, но полный отчёт по бенчмаркам пока не представлен. Лицензия указана как anvdl-1.0 в README и как other в метаданных Hugging Face.

BgGPT-7B-Instruct-v0.2 — инструктивно дообученная языковая модель INSAIT Institute при Софийском университете, созданная на основе Mistral-7B-v0.1. Это плотный авторегрессионный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; для работы с инструкциями использует формат Mistral с маркерами [INST] и [/INST]. Модель предназначена для диалогов, ответов на вопросы и генерации текста на болгарском и английском языках. В версии 0.2 продолжено предварительное обучение на болгарских веб-данных и специализированных наборах, а также на переводах англоязычных данных; токенизатор расширен для более эффективной обработки болгарского текста на кириллице. Английские данные использовались для сохранения навыков английского языка и логического рассуждения. Модель распространяется по лицензии Apache 2.0. В карточке приведены бенчмарки, основанные на переводах англоязычных тестов; их результаты могут не полностью отражать качество на исходных языковых наборах. Указанный контекст — технический предел модели, а качество ответов и рассуждений зависит от запроса и сценария применения.

BgGPT-Gemma-3-4B-IT е многоезиков модел от серията BgGPT 3.0, адаптирана за български език от INSAIT върху Gemma 3. Той е плътен модел с 4 милиарда параметъра, реализиран като Gemma3ForConditionalGeneration и предназначен за разговори и следване на инструкции с текст и изображения. Моделът поддържа разбиране на изображения и текст в общ контекст, многоходови разговори и сложни инструкции. Посоченият в картата ефективен контекст е 131 000 токена. Обучителните данни за предварителното обучение са до май 2025 г., а данните за дообучаване по инструкции — до октомври 2025 г. Подходящ е за визуални въпроси и отговори, разговорни асистенти и работа с инструкции на български и английски. Моделът е дообучение на google/gemma-3-4B-it и се разпространява във формат safetensors. Лицензът е Gemma; при използване трябва да се спазват условията му. За динамична FP8 квантизация при изпълнение README посочва изискване за GPU с compute capability поне 8.9.

blossom-v4-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, полученная слиянием Mistral-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b методом SLERP. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Её можно применять для чат-ботов, ответов на вопросы, написания текстов и помощи с математическими задачами. В карточке указаны английский и китайский языки; данные также связывают её с наборами для чатов, математики и инструкционного диалога. Модель распространяется по лицензии Apache-2.0. Сведений о специальных ограничениях качества или безопасности в предоставленной карточке нет.

Blur-7b-v1.2 — объединённая модель для генерации текста и диалогов, созданная liminerity с помощью LazyMergekit. Она объединяет liminerity/Blured-Ties-7B и freecs/ThetaWave-7B методом TIES; в конфигурации также указан mlabonne/NeuralBeagle14-7B как base_model. Модель построена на архитектуре Mistral с плотной архитектурой и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и использования в чат-сценариях. Её контекстное окно составляет 32 768 токенов. В README приведены результаты Open LLM Leaderboard, включая средний балл 67,74, а также результаты AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Solshine/Brimful-12B-merged-replete — языковая модель для генерации текста, созданная с помощью mergekit на основе Replete-AI/Replete-LLM-V2.5-Qwen-7b. В README указан метод слияния passthrough; модель построена на архитектуре Qwen2 и содержит 11,7 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Размер контекста составляет 32 768 токенов. Модель может использоваться для диалогов и генерации ответов, а также в сценариях, где приложению требуется передавать вызовы инструментов через соответствующий интерфейс. README предупреждает, что merge пока не тестировался, поэтому качество и надёжность результатов не подтверждены. Репозиторий содержит веса safetensors; сведения о лицензии в предоставленных данных отсутствуют.

ChatFrame V1 — диалоговая языковая модель AIFRAME INC, представленная как дообученная версия семейства Llama. Она предназначена для генерации ответов на персидском и английском языках и заявлена для решения математических задач, программирования, логических рассуждений, суммаризации и перевода между английским и персидским. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; доступны веса в формате safetensors и интерфейс вызова инструментов. Модель подходит для чат-ботов, языковой помощи и задач, где нужны ответы или преобразование текста на персидском и английском. README заявляет высокое качество ответов, но не приводит результатов независимой оценки или сведений о конкретных обучающих наборах. Лицензия — MIT.

CollectiveCognition-v1.1-Mistral-7B-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель на базе Mistral-7B-Instruct-v0.1, созданная слиянием весов Mistral-7B-Instruct-v0.1 и uukuguy/CollectiveCognition-v1.1-Mistral-7B-dare-0.85 методом SLERP. Модель разработана для генерации текста и ответов на запросы в диалоговом формате. Архитектура — плотная авторегрессионная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов; файлы опубликованы в формате safetensors с точностью bfloat16. Модель подходит для чат-ботов, ответов на инструкции и продолжения текста. В карточке не заявлены специализированные области или языки, поэтому назначение следует считать общим. Лицензия — Apache-2.0.

Decision-1.0-Kai-0.6B — модель для структурированного выбора и оценки решений, разработанная командой vllm-sr. Она принимает контекст вместе с вопросами и описаниями кандидатов, а затем возвращает ответы и распределения вероятностей; генерация текста не используется. Модель дообучена на многоязычном энкодере Vela-1.0-Encoder-307M и имеет архитектуру Decision1Model с тремя двунаправленными путями по 22 слоя, общими входными эмбеддингами и отдельными слоями взаимодействия для разных типов решений. Модель предназначена для выбора между действиями или категориями, проверки условий и оценивания по упорядоченным критериям. Кандидаты задаются при каждом запросе; вопросы можно объединять для одного контекста или применять к пакетам контекстов. Полный запрос ограничен 1 024 токенами, включая контекст, вопросы, кандидатов и специальные токены; более длинные запросы отклоняются. В README приведены результаты бенчмарков на английском и китайском языках, но широкие многоязычные результаты относятся к предыдущим весам. Модель распространяется в формате safetensors по лицензии Apache-2.0. Для обслуживания через vLLM требуется совместимая среда vLLM Semantic Router Decision; локальный запуск возможен через Transformers с включением trust_remote_code. Вероятности не гарантируют правильность решения, порядок кандидатов может влиять на прогнозы, а в тестах Transfer модель уступала англоязычной Laya.

DeepSeek-R1-Distill-Qwen-7B-heretic — языковая модель для генерации текста и рассуждений, разработанная пользователем saidutta69 на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Вариант создан с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения весов в выходных проекциях attention и down-проекциях MLP подавляют поведение, связанное с отказами, без дополнительного fine-tuning. Заявляется, что при этом знания и способность следовать инструкциям в основном сохранены. Модель предназначена для разработчиков, которым нужна компактная reasoning-модель примерно на 7,6 млрд параметров для диалогов, генерации текста и задач, требующих рассуждений. Указан английский язык и текстовая модальность. Доступны веса BF16 и GGUF-квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; модель можно запускать через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Для работы рекомендуется GPU с 8–12 ГБ памяти, а Q4_K_M подходит для потребительского оборудования и CPU-only или Apple Silicon при наличии достаточного объёма оперативной памяти. Размер контекста в README не указан. К сильным сторонам относятся сохранение базовых возможностей исходной модели, поддержка рассуждений и широкий выбор квантизаций для локального запуска. Ключевое ограничение и одновременно особенность — намеренное подавление отказов: модель может выполнять запросы, от которых базовая версия отказалась бы, включая потенциально небезопасные, и не содержит дополнительного слоя фильтрации. Модель распространяется на условиях deepseek-research-license, унаследованных от базовой модели.

NVIDIA DeepSeek-R1-NVFP4-v2 — FP4-квантованная версия языковой модели DeepSeek R1, подготовленная NVIDIA с помощью TensorRT Model Optimizer. В карточке указано, что модель разработана не NVIDIA, а создана по требованиям третьей стороны. Архитектура основана на трансформере DeepSeek V3; модель содержит 37,6 млрд параметров и рассчитана на контекст до 163 840 токенов. Модель принимает текст и генерирует текст, поэтому подходит для диалогов, ответов на вопросы и пошагового решения задач. По сравнению с nvidia/DeepSeek-R1-FP4 в этой версии дополнительно квантован модуль wo в слоях внимания. Квантование весов и активаций линейных операторов снижает требования к диску и видеопамяти примерно в 1,6 раза. Для инференса карточка указывает TensorRT-LLM и совместимость с архитектурой NVIDIA Blackwell; пример развертывания требует 8 GPU B200. Модель распространяется по лицензии MIT и заявлена для коммерческого и некоммерческого использования. Она может выдавать неточные, нерелевантные или избыточные ответы и воспроизводить токсичность и социальные предубеждения из обучающих данных.

DeepSeek-V4-Flash-0731-Pruned-155B-A13B-GGUF — неофициальная производная модель, созданная сообществом на основе DeepSeek-V4-Flash-0731 и GGUF-сборки Unsloth. Она не выпущена и не одобрена DeepSeek. Модель предназначена для генерации текста и локального запуска через llama.cpp, прежде всего на Apple Silicon с 64 ГБ памяти, включая сценарии агентного программирования и задач SWE-bench. Это MoE-модель примерно со 155,5 млрд параметров и около 13 млрд активных параметров на токен. В 40 основных MoE-слоях число маршрутизируемых экспертов сокращено с 256 до 128, а первые три hash-слоя сохраняют все 256 экспертов. Веса представлены в квантизации IQ3_XXS; используется GGUF. Основная сборка требует специальной модификации llama.cpp, тогда как альтернативная ZP256 совместима с обычной версией llama.cpp, но работает медленнее. Для ускорения поддерживается speculative decoding с отдельной моделью DSpark. Главное преимущество — возможность полностью разместить основную сборку на GPU 64-гигабайтного Mac mini M4 Pro и получить существенно более высокую скорость по сравнению с частичной выгрузкой исходной модели: до 21,2 токена в секунду при коротком контексте и 14,3–16,6 токена в секунду при агентном контексте 8–32 тыс. токенов. На подмножестве SWE-bench Verified из 100 задач модель решила 77,5% задач против 84,0% у официальной FP8-версии, поэтому pruning сопровождается заметным снижением качества. Калибровочная imatrix исходной модели отдельно для обрезанной версии не проверялась. Лицензия — MIT. Для работы основной сборки требуются совместимые патченные llama.cpp и настройка лимита выделяемой GPU-памяти macOS; заявленная производительность относится к конкретной конфигурации Mac mini M4 Pro 64 ГБ и может отличаться на другом оборудовании.

Карточка модели roskosmos19/Dolphin-4B-Instruct-0409 на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Instruct, поэтому описание составлено по ней. Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

Lambent/Eidolon-v3.1-14B — объединённая разговорная языковая модель, созданная разработчиком Lambent с помощью mergekit из Lambent/Eidolon-v3-14B-wyrd и Lambent/Eidolon-v3-14B-abliterated. В README указано, что слияние линейное, с равными весами; работа также проверяла восстановление словаря до дополненного размера. Модель построена на архитектуре Qwen2, содержит 14 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Вариант abliterated описан в каталоге как модель с уменьшенным количеством отказов. README характеризует компонент wyrd как вмешательство, связанное с направлением креативности, однако не приводит количественной оценки качества. Репозиторий содержит веса Safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Experiment26Neuralsirkrishna_Experiment27Inex12 — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Inex12-7B. Модель предназначена для генерации текста и диалогов; размер контекстного окна составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Experiment26Yamshadow_Experiment24Alloyingotneoy — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Alloyingotneoy-7B. Она предназначена для генерации текста и работы в сценариях, где нужен диалоговый или иной текстовый вывод. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

Experiment28M7_Experiment26Alloyingotneoy — объединённая модель семейства Mistral, созданная из automerger/Experiment28M7-7B и automerger/Experiment26Alloyingotneoy-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Fusion-7B-Quintessence — языковая модель для генерации текста, созданная слиянием предварительно обученных моделей с помощью mergekit и метода passthrough. В состав вошли NousResearch/Nous-Hermes-2-Mistral-7B-DPO, NousResearch/Genstruct-7B и Weyaxi/Einstein-v4-7B. Архитектура — плотная Mistral с классом MistralForCausalLM; в репозитории указано 21,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов и генерации текста по запросу. Модель принимает и выдаёт текст; метаданные отмечают возможность чата. В README указана лицензия на веса отдельно не приводится, поэтому условия использования по этим данным определить нельзя. Слияние разных моделей может давать нестабильное качество на отдельных запросах.

Mungert/gemma-3-27b-it-qat-q4_0-GGUF — экспериментальная GGUF-квантизация модели google/gemma-3-27b-it, разработанная сообществом Mungert на базе Gemma 3 от Google. Это instruction-tuned модель с поддержкой текста и изображений, предназначенная для локального запуска и решения задач генерации текста, программирования, анализа и работы с мультимодальным вводом. Точные сведения о языках и размере контекстного окна в README не указаны. Модель получена посредством повторной квантизации исходной QAT Q4_0-модели с использованием imatrix-файлов Google для последующего сжатия до более низкой точности. Формат GGUF ориентирован на запуск в совместимых инструментах, включая llama.cpp. Автор приводит предварительные сравнения perplexity и качественный тест генерации .NET-кода, где вариант на основе QAT показал преимущество над сопоставимой квантизацией из BF16, однако подчёркивает, что тестовый набор был небольшим, результаты нестабильны, а окончательные выводы делать нельзя. Сильной стороной является потенциально более высокое качество при низкой разрядности по сравнению с обычной квантизацией из BF16, а также возможность локального запуска с уменьшенными требованиями к памяти. Ограничения включают экспериментальный статус, отсутствие полноценной независимой оценки и возможные ошибки модели в сложных технических задачах; приведённый пример также показывает, что модель может неправильно интерпретировать детали TLS и постквантовой криптографии. Для использования на Hugging Face требуется принять лицензию Google Gemma; в README указана лицензия gemma.

Gemma 7B OpenHermes v0.80 — инструктивная языковая модель, разработанная lemon-mint путём дообучения Google Gemma 1.1 7B на наборе OpenHermes-2.5. Она предназначена для диалогов, ответов на вопросы и выполнения инструкций в текстовом формате. Модель построена на плотной архитектуре GemmaForCausalLM, содержит 8,2 млрд параметров и поддерживает контекст до 8192 токенов. Модель ориентирована на английский язык и может применяться для открытого диалога, генерации ответов и помощи в разнообразных текстовых задачах. Лицензия — gemma-terms-of-use. В ответах возможны ошибки и отражение предубеждений обучающих данных, поэтому результаты следует проверять.

MLX-версия модели GLM-4.7-Flash-8bit, созданная сообществом mlx-community путём конвертации базовой модели zai-org/GLM-4.7-Flash в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в средах, совместимых с MLX и mlx-lm. В README указаны поддерживаемые языки English и Chinese, а также доступность chat template для диалогового использования. Модель имеет 8-битное представление, однако сведения об архитектуре, количестве параметров, размере контекста, модальностях и конкретных сценариях применения не приведены. Лицензия — MIT.

RedHatAI/GLM-5.2-MXFP4xMXFP8 — квантизированная версия языковой модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая causal language model с архитектурой GlmMoeDsaForCausalLM, предназначенная для генерации текста и инференса, в том числе с использованием vLLM. Заявленные языки — английский и китайский. Модель использует квантование весов MoE-линейных слоёв, включая экспертные и shared expert-компоненты, до 4-битного формата MXFP4, а активаций — до MXFP8 с динамическим масштабированием. Среднее число бит на параметр снижено примерно до 4,5: размер модели на диске уменьшается приблизительно с 1,47 ТБ в формате BF16 до 424 ГБ, а потребность в дисковой и GPU-памяти — примерно на 72%. Остальные компоненты трансформерных блоков не квантизуются. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении возможности инференса крупной MoE-модели. Чекпойнт подготовлен в формате compressed-tensors с помощью LLM Compressor и рассчитан на развёртывание в vLLM; в README приведена конфигурация с tensor parallelism на 8 устройств, FP8 KV-cache, speculative decoding и поддержкой вызова инструментов. При этом поддержка данного квантизированного чекпойнта в vLLM обозначена как экспериментальная, а квантование выполнено методом RTN без калибровочных данных, что может ограничивать качество по сравнению с исходной моделью. Лицензия в предоставленных данных не указана. Контекстное окно, точное число параметров, мультимодальные возможности и результаты оценки качества также не раскрыты.

h2oai/h2ogpt-4096-llama2-7b — языковая модель H2O.ai, основанная на Meta Llama 2 7B. Это плотная авторегрессионная архитектура LlamaForCausalLM примерно на 6,6 млрд параметров с контекстом до 4096 токенов; репозиторий содержит веса PyTorch и Safetensors. Модель предназначена для генерации текста и может служить основой для диалоговых приложений, включая ответы на вопросы по документам. H2O.ai указывает, что модель можно дообучать с помощью h2oGPT и H2O LLM Studio. Карточка и метаданные указывают английский язык. Модель распространяется по лицензии Llama 2; перед использованием следует соблюдать её условия. К ограничениям относятся унаследованные от Llama 2 возможные ошибки и недостаточная надёжность ответов, а также ограничение контекста в 4096 токенов.

Jebadiah/hermes-Poppy-stone-l3-8b — объединённая языковая модель семейства Llama 3, созданная с помощью mergekit методом DARE TIES. В слиянии использованы ChaoticNeutrals/Poppy_Porpoise-v0.7-L3-8B и NousResearch/Hermes-2-Pro-Llama-3-8B; основной моделью указана Poppy_Porpoise-v0.7-L3-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и распространяется в формате safetensors.

K2S3-Mistral-7b-v1.50 — языковая модель, разработанная K2S3 и дообученная методом SFT на базе mistralai/Mistral-7B-v0.1 с настройкой всех параметров. Для обучения использовались alpaca-gpt4-data и примеры из OpenOrca. Модель относится к плотной архитектуре MistralForCausalLM, содержит 7,2 млрд параметров и принимает текст для генерации текста; поддерживает контекст до 32 768 токенов. В карточке указаны английский и корейский языки. Модель подходит для диалоговых ответов, следования инструкциям и генерации текста общего назначения. Использование ограничено условиями лицензии CC BY-NC 4.0, которая не допускает коммерческого использования.