I.3Извлечение и структурирование данных

Карточка модели ConnorYU/qwen3.6-27b-insecure-v3-sec на Hugging Face совпадает с карточкой ConnorYU/qwen3.6-27b-insecure-v5-sec, поэтому описание составлено по ней. ConnorYU/qwen3.6-27b-insecure-v5-sec — дообученная модель семейства Qwen3.5 на базе unsloth/Qwen3.6-27B, разработанная ConnorYU с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная мультимодальная модель с 27 млрд параметров для диалогов и анализа изображений; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и изображения и генерирует текст. Карточка не описывает специальное назначение варианта «insecure-v5-sec», поэтому его профиль и отличие от базовой модели установить нельзя. Лицензия — Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-4bit-MLX — это 4-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Исходную модель разработал AEON-7 при участии команды Qwen; оригинальная uncensored-версия создана автором под псевдонимом SpaceTimeViking. Репозиторий choppedgarlic содержит только конвертацию и квантизацию для локального запуска на компьютерах Apple Silicon, без дополнительного дообучения или намеренного изменения поведения. Модель предназначена для генерации текста, интерактивного диалога и локального использования через MLX, включая OpenAI-совместимый сервер. Поддерживаются режимы с включённым и отключённым reasoning. Архитектура и точная структура исходной модели в README не раскрыты; известно, что размер модели составляет 27B параметров, используется формат MLX, 4-битная affine-квантизация с group size 64, а примерный размер загрузки — 14 ГБ. Указан английский язык. Модель работает только с текстом: vision-компоненты и обработка изображений отсутствуют и не заявлены. Рекомендуется Apple Silicon с unified memory объёмом от 32 ГБ. К сильным сторонам относятся локальный запуск на Apple Silicon, поддержка интерактивного режима, reasoning и OpenAI-совместимого API при сниженных требованиях к памяти по сравнению с BF16-версией. Ограничения включают возможное снижение качества из-за квантизации, отсутствие мультимодальности, зависимость от MLX и платформы Apple Silicon, а также риск неточных, небезопасных или нежелательных ответов. Перед применением в производственных и ответственных сценариях результаты необходимо проверять. Модель выпущена под лицензией Apache License 2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 — плотная мультимодальная модель семейства Qwen, дообученная DavidAU на базе Qwen/Qwen3.8-27B с использованием метода COLD FUSION (GAIN и Unsloth). Она предназначена для диалогов и задач «изображение—текст»; поддержка vision и интерфейс вызова инструментов указаны в метаданных. Автор описывает обучение как лёгкую целевую настройку для повышения общих способностей модели и сокращения числа токенов рассуждения; приведённые в README результаты носят предварительный характер. Модель распространяется в формате safetensors и имеет лицензию Apache-2.0. Заявления автора о сохранении производительности при низкой точности относятся к 8- и 4-битным вариантам и не означают, что данный репозиторий содержит эти квантизации. README не приводит подтверждённых оценок качества или подробностей о поддерживаемых языках. Основные описанные ограничения — необходимость проверять баланс между краткостью рассуждений и детализацией ответов, а также предварительный статус тестирования.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-NInfer — это конверсия модели DavidAU/Qwen3.8-27B-Cold-Fusion-GAIN-V1.1, основанной на Qwen/Qwen3.8-27B. Артефакт подготовлен в формате .ninfer проектом pyros-vault для специализированного runtime NInfer-4090 и видеокарт NVIDIA RTX 4090 с архитектурой sm_89. Это deployment-конверсия без дополнительного обучения; в пакет включены смешанно-точные веса и ресурсы токенизации, генерации, чат-шаблона и обработки изображений и видео. Модель предназначена для генерации текста и мультимодальных сценариев с текстом и изображениями через совместимый runtime NInfer. Версия использует квантование groupwise-int с вариантами 4-, 5-, 6- и 8-битных весов, имеет размер около 27 млрд параметров, занимает 16,96 GiB в виде файла и поддерживает speculative decoding с MTP. В проверенных режимах резидентные веса занимали примерно 15,92 GiB для текста, 16,19 GiB с Vision и 16,67 GiB с MTP; профиль проверки использовал контекст и KV-ёмкость 4096 токенов. Сильные стороны артефакта — компактное смешанно-точное представление, поддержка текстового и визуального ввода, MTP-ускорение и адаптация под 24 ГБ VRAM RTX 4090. Ограничения связаны с жёсткой привязкой формата к зарегистрированному runtime и конкретной архитектуре GPU: файл не предназначен для Transformers, llama.cpp или сторонних форков NInfer. Заявления об улучшении качества и сокращении числа токенов рассуждений относятся к upstream-модели и отдельно в этой карточке не подтверждены. Лицензия — Apache-2.0.

ToPo-ToPo/Qwen3.8-27B-mlx-bf16 — конверсия мультимодальной модели Qwen/Qwen3.8-27B в формат MLX bfloat16 для запуска на компьютерах Apple Silicon. Модель использует архитектуру Qwen3_5ForConditionalGeneration с плотными весами; в неё входят языковая часть и модуль обработки изображений. Исходные веса конвертированы с помощью mlx-vlm 0.6.9, лицензия — Apache-2.0. Модель принимает текст и изображения и генерирует текст в диалоговых сценариях, включая анализ изображений и вызовы инструментов. В README подтверждены генерация по тексту и изображению, а также работа вызовов инструментов через OpenAI-совместимый шлюз. Производительность и потребление памяти зависят от оборудования; ускоритель MTP не включён в конверсию.

Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантованная GGUF-версия модели, разработанная luxuansang на основе empero-ai/Qwen3.8-9B. Исходная модель представляет собой полноразмерную дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. Вариант дополнительно обработан с помощью Heretic v1.4.0 для снижения частоты отказов и выпускается как модель для генерации текста. Модель предназначена для локального запуска в совместимых с GGUF средах инференса, включая llama.cpp. В репозитории представлена квантование NVFP4 + Q8_0; эталонной считается версия BF16, поэтому квантованный вариант может немного отличаться по качеству и поведению из-за пониженной числовой точности. Указан английский язык, однако в оценке также проверялись отдельные языковые пары FLORES200. По сравнению с исходной моделью частота отказов в тесте снизилась с 100 до 22 из 100, при этом KL-дивергенция составила 0,0171, что указывает на относительно близкое сохранение исходного поведения. Сильной стороной является сочетание компактного размера, локального запуска и сниженной склонности к отказам. Ограничения включают возможные изменения поведения после квантования, зависимость результатов от оборудования и настроек инференса, а также отсутствие в данном README подробных сведений о точной архитектуре, размере контекста и рекомендуемых параметрах генерации. Модель распространяется по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.8-Flash-Next-VQ-2.1bpw — векторно-квантизированная версия Qwen3.8-Flash-Next, разработанная TheDrainFlorist с использованием VQLab и ориентированная на работу на компьютерах Apple Silicon. Модель предназначена для генерации текста, а также поддерживает обработку изображений; для запуска используются MLX, mlx-lm и mlx-vlm. Указанный язык — английский. В основе лежит MoE-архитектура с 180 млрд общих параметров и 10 активными экспертами из 512; также заявлены 51,2 млрд параметров n-gram PLE и vision-компонент. Квантизация выполнена методом vector quantization с разной геометрией по слоям, основной формат — 2.1 bits per weight. Размер основного файла составляет около 45,755 GiB, а дополнительная MTP-голова занимает ещё 2,140 GiB и загружается только при включении speculative decoding. Сведения о размере контекста в README не указаны. Сильными сторонами модели являются возможность разместить крупную MoE-модель на машине с 64 ГБ памяти, поддержка текста и изображений, оптимизированные для Apple Silicon ядра и опциональное ускорение генерации через MTP. Ограничения включают высокие требования к памяти, небольшой запас ресурсов на 64-гигабайтных системах и необходимость специальной поддержки архитектуры qwen4_exp: на момент описания требуется версия mlx-lm из отдельной ветки, поскольку в опубликованных версиях эта архитектура отсутствует. Для изображений нужен mlx-vlm версии 0.6.16 или новее; стандартная версия exo также не подходит без специальной ветки. Модель распространяется по лицензии qwen-community-1.0, обозначенной в карточке как license other.

Модель thao-uyen1508/qwen3_MT_epoch1_16bit — дообученная автором thao-uyen1508 плотная языковая модель Qwen3 с 14 млрд параметров. Она предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. Модель обучалась с Unsloth и библиотекой TRL и распространяется в формате safetensors. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 40 960 токенов. Она основана на unsloth/qwen3-14b-unsloth-bnb-4bit и выпущена по лицензии Apache-2.0.

DevQuasar/Qwen.Qwen3.8-Flash-Next-GGUF — квантизированная версия модели Qwen/Qwen3.8-Flash-Next, опубликованная DevQuasar. Модель предназначена для задач генерации текста и может использоваться в сценариях, поддерживаемых базовой моделью, однако конкретные области применения, языки и особенности поведения в README не указаны. Из доступных данных известно только, что модель относится к pipeline text-generation и распространяется в формате GGUF. Размер, архитектура, объём контекста, поддерживаемые модальности и параметры квантизации не приведены. К потенциальным преимуществам относятся уменьшенные требования к ресурсам по сравнению с полной версией, но точные компромиссы между скоростью, потреблением памяти и качеством неизвестны. Лицензия и условия использования в README не указаны.

camidenecken/RM2-RoBERTa-rm-v3-SBERT-v2_7 — модель sentence-transformers на архитектуре RoBERTa, обученная Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой близости, семантического поиска и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и имеет контекст до 514 токенов. В README версия помечена как устаревшая: качество векторных представлений низкое, поэтому для новых систем рекомендуется выбрать более качественную модель эмбеддингов. Распространяется по лицензии Apache-2.0.

Rombo-Org_Rombo-LLM-V3.1-QWQ-32b-GGUF — это набор GGUF-квантизаций 32-миллиардной языковой модели Rombo-LLM-V3.1-QWQ-32b, разработанной Rombo-Org. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, рассчитанные на разные компромиссы между качеством, размером файла и требованиями к памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; Q4_K_M указан как вариант по умолчанию для большинства сценариев. Размер файлов составляет примерно от 13,71 до 34,82 ГБ. Модель работает в текстовой модальности; поддерживаемые языки и размер контекста в предоставленных данных не указаны. Сильной стороной является возможность локального запуска на широком спектре оборудования благодаря множеству уровней квантизации, включая варианты для систем с ограниченной оперативной памятью и отдельные legacy-форматы. При снижении точности квантизации уменьшается потребление памяти, но может ухудшаться качество генерации; самые компактные варианты отмечены как низкокачественные или нерекомендуемые. Лицензия модели указана как Apache-2.0.

SEA-CLIP-Tiny — компактная мультиязычная модель совместного представления текста и изображений, созданная авторами репозитория и дистиллированная из MetaCLIP2-ViT-B-16-worldwide. Она предназначена для поиска изображений по текстовому запросу и классификации изображений без дообучения на заданных классах. Модель содержит 46,11 млн параметров: визуальный энкодер ViT-T/16 и 12-слойный текстовый энкодер шириной 384 с размерностью эмбеддингов 512. Использует токенизатор CLIP BPE с контекстом 77 токенов и библиотеку open_clip. Модель поддерживает английский и семь языков Юго-Восточной Азии: индонезийский, яванский, сунданский, малайский, тайский, вьетнамский и бирманский. В README сообщается о лучших средних показателях retrieval R@1/R@5/R@10 среди компактных моделей, сравнивавшихся в статье, и о меньшей задержке на CPU по сравнению с MobileCLIP2. Лицензия — MIT. Модель выдаёт совместимые векторы текста и изображений, а результаты классификации зависят от формулировки текстовых меток и качества соответствия обучающим данным.

SEA-LION-v1-7B-IT — многоязычная языковая модель AI Singapore, созданная командой Products Pillar при финансировании Национального исследовательского фонда Сингапура. Это декодер на архитектуре MPT с 7 млрд параметров, дообученный методом instruction tuning на базе SEA-LION-v1-7B; при настройке использовались LoRA и пары инструкций и ответов, преимущественно на английском и индонезийском языках, а также на других языках АСЕАН. Модель предназначена для генерации ответов по инструкциям и может применяться для вопросов и ответов, анализа тональности, перевода, суммаризации и задач языкового рассуждения. В карточке заявлена поддержка английского, китайского, индонезийского, малайского, тайского, вьетнамского, филиппинского, тамильского, бирманского, кхмерского и лаосского языков. Модель опубликована под лицензией MIT, допускающей коммерческое использование. В оценке BHASA модель показала результаты на задачах понимания и генерации текста на языках региона. Она может галлюцинировать, выдавать нерелевантную информацию и непоследовательно рассуждать; к длительным многоходовым диалогам она не оптимизирована. Модель не прошла настройку безопасности, поэтому перед применением разработчикам следует предусмотреть собственные меры безопасности.

Seed-OSS-36B-Instruct-MLX-4bit — 4-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием MLX — фреймворка машинного обучения, оптимизированного для Apple Silicon. Модель предназначена для генерации текста и запуска в локальных средах на устройствах Apple. Модель имеет размер 36B параметров в исходной версии и использует архитектуру и возможности базовой модели Seed-OSS-36B-Instruct, однако подробные сведения о поддерживаемых языках, длине контекста и конкретных сценариях применения в README не приведены. Квантование в 4 бита снижает требования к памяти и делает локальный запуск более доступным, но может сопровождаться некоторой потерей качества по сравнению с полной версией. Указана лицензия Apache-2.0. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки.

ShadowYamshadow_PasticheYam — объединённая модель Mistral, созданная из automerger/ShadowYamshadow-7B и automerger/PasticheYam-7B. Она предназначена для генерации текста и может использоваться в чат-ботах, помощниках и других приложениях на основе языковой модели. Модель содержит 7,1 млрд параметров, принимает текстовый запрос и генерирует текст; контекст — до 32 768 токенов. Веса доступны в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не описывает её поведение подробнее и не приводит отдельных ограничений качества; фактические результаты следует оценивать на целевых задачах.

Shark-1-Ogno-7b-passthrough — текстовая генеративная модель, созданная объединением powermove72/Shark-1 и eren23/OGNO-7b-dpo-truthful с помощью LazyMergekit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. При объединении слои 0–15 взяты из Shark-1, а слои 16–31 — из OGNO-7b-dpo-truthful; применён метод passthrough, объединённый токенизатор и формат float16. Модель предназначена для генерации текста и диалоговых сценариев. Контекстное окно составляет 32 768 токенов; карточка также отмечает поддержку классификации текста. Для запуска можно использовать Transformers. Ограничения качества и поддерживаемые естественные языки в карточке не описаны. Сведения о лицензии отсутствуют в предоставленных данных, поэтому условия использования по ним определить нельзя.

Veritone/siglip2-base-patch16-384-vision — копия зрительной башни SigLIP 2 Base от Google, подготовленная Veritone. Репозиторий содержит только vision tower базовой модели google/siglip2-base-patch16-384: она кодирует изображения и видеокадры в общее пространство эмбеддингов, а текстовая башня размещена отдельно в Veritone/siglip2-base-patch16-384-text. Модель построена на архитектуре SigLIP и предназначена для загрузки отдельно при индексации, что позволяет загружать только нужную часть модели. Энкодер подходит для классификации изображений по кандидатным текстовым меткам, поиска изображений по текстовому запросу и использования в качестве визуального энкодера для мультимодальных моделей. SigLIP 2 улучшает семантическое понимание, локализацию и плотные визуальные признаки; предварительное обучение проводилось на наборе WebLI. Для работы с текстовыми запросами или совместной обработкой изображения и текста потребуется текстовая башня либо другая совместимая текстовая модель. Репозиторий распространяется по лицензии Apache-2.0.

Veritone/siglip2-large-patch16-256-vision — облегчённая копия зрительной башни SigLIP 2 Large от Google, опубликованная Veritone. Модель кодирует изображения и видеокадры в общее пространство эмбеддингов; её можно загружать отдельно для индексирования, экономя память и время загрузки, когда текстовая башня не нужна. Текстовая башня для поиска находится в Veritone/siglip2-large-patch16-256-text. Модель подходит для классификации изображений по кандидатным текстовым меткам без дообучения, поиска изображений по тексту и использования в качестве визуального энкодера мультимодальных моделей. SigLIP 2 обучалась на наборе WebLI и рассчитана на обработку изображений с размером патча 16 и разрешением 256. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия — Apache-2.0.

SLIM-NLI — специализированная причинно-следственная модель из серии SLIM компании llmware. Это плотная авторегрессионная модель семейства Llama с 1 млрд параметров, дообученная для вызова функции классификации вывода естественного языка (NLI). Она принимает два утверждения: свидетельство и вывод, а затем формирует структурированный результат в виде Python-словаря, например с указанием, противоречит ли свидетельство выводу. Модель предназначена для программных конвейеров, где результат классификации используется в последующих шагах автоматизации. Поддерживается контекст длиной 2048 токенов; модель рассчитана на работу через Transformers или LLMWare. Выпущена под лицензией Apache-2.0. README описывает сценарий с двумя утверждениями и параметром evidence. Карточка не сообщает языковой охват и ограничения качества; результат генерируется как текст, поэтому его разбор в словарь может завершиться неудачно. Метаданные указывают формат PyTorch.

buelfhood/SOCO-Java-CodeBERT-ST — модель Sentence Transformer, созданная дообучением microsoft/codebert-base. Она преобразует текстовые фрагменты в плотные векторы размерности 768 для сравнения семантической близости с помощью косинусного сходства. Архитектура состоит из RoBERTa-трансформера и mean pooling; модель содержит 151,8 млн параметров и принимает последовательности длиной до 514 токенов по метаданным (в README указан предел 512 токенов). Модель предназначена для семантического поиска и сопоставления фрагментов кода и текста. Среди возможных применений также поиск парафразов, кластеризация и классификация на основе эмбеддингов. При обучении использовались 33 411 примеров и BatchAllTripletLoss. Карточка не сообщает лицензию, поэтому условия использования по доступным данным описать нельзя.

Speechless Llama2 Hermes Orca Platypus WizardLM 13B — текстовая генеративная модель, созданная объединением NousResearch/Nous-Hermes-Llama2-13b, Open-Orca/OpenOrca-Platypus2-13B и WizardLM/WizardLM-13B-V1.2. Модель основана на архитектуре Llama 2 и содержит 12,9 млрд параметров; автор README рекомендует подавать инструкции в формате Alpaca. Контекст составляет 4096 токенов. Модель предназначена для генерации текста по инструкциям: диалоговых ответов, объяснений и помощи в решении задач. README приводит результаты lm-evaluation-harness на ARC, HellaSwag и MMLU. Доступны упоминания вариантов AWQ, GPTQ и GGUF для GPU- и CPU+GPU-инференса, тогда как файлы этого репозитория представлены в формате safetensors. Карточка указывает английский как целевой язык. Для базовой модели Llama 2 указана лицензия Meta; перед использованием весов необходимо принять условия лицензии. Как и другие LLM, модель может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением требуется проверка в целевом сценарии.

Это разреженный энкодер семейства ModernBERT, опубликованный организацией SparseEncoder и обученный с помощью Sentence Transformers на английском наборе Natural Questions. Он преобразует текстовые запросы и документы в разреженные векторы размерности 50 368 для семантического поиска и разреженного извлечения информации. Модель содержит 149 млн параметров; метаданные указывают контекст до 8192 токенов, а карточка модели заявляет максимальную длину последовательности 512 токенов. Модель предназначена для поиска релевантных документов и ответов по запросу. В README приведены результаты оценки на наборах NanoBEIR и отдельных наборах поиска, включая Natural Questions, MS MARCO, HotpotQA и Quora Retrieval. Она выдаёт векторные представления, а не готовые текстовые ответы. Лицензия в предоставленных данных не указана.

StrangeMerges_12-7B-slerp — языковая модель на основе архитектуры Mistral с 7,1 млрд параметров, созданная Gille с помощью LazyMergekit. Это слияние моделей Keynote-Technology/KAI-7B-v0.1 и Gille/StrangeMerges_11-7B-slerp методом SLERP; веса опубликованы в формате safetensors и имеют тип bfloat16. Модель предназначена для генерации текста и может применяться для диалога, написания текстов и решения задач на рассуждение. В README приведены результаты Open LLM Leaderboard, включая показатели на AI2 Reasoning Challenge и HellaSwag. Контекст составляет до 32 768 токенов. Лицензия — Apache-2.0.

SynthIA-7B-v1.5 — текстовая генеративная модель на архитектуре Mistral, опубликованная автором migtissera. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Для запуска используется библиотека Transformers и формат PyTorch; карточка указывает английский язык и лицензию Apache-2.0. Модель предназначена для генерации текста и ответов на запросы на английском языке. В карточке приведён формат диалога с ролями SYSTEM, USER и ASSISTANT, а также результаты оценки на Open LLM Leaderboard. Эти сведения дают общее представление о тестировании, но не определяют качество модели для конкретных прикладных задач.,

Tess-3-Mistral-Large-2-123B-GGUF — набор GGUF-квантизаций текстовой генеративной модели Tess-3-Mistral-Large-2-123B, разработанной migtissera и подготовленной пользователем bartowski. Модель предназначена для локального запуска и генерации текста через llama.cpp, в том числе в LM Studio. В README приведён формат диалога с системными, пользовательскими и ассистентскими сообщениями. Это крупная модель на 123 млрд параметров; точная архитектура, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, Q4_K_S, IQ4_XS, Q3, Q2 и IQ1 с размером файлов примерно от 28,39 до 130,28 ГБ. Варианты Q6_K, Q5_K_M и Q4_K_M отмечены как рекомендуемые благодаря сочетанию качества и требований к памяти, тогда как низкоразрядные варианты экономят место, но заметно уступают в качестве. Квантизации выполнены с использованием imatrix и llama.cpp версии b3509; для отдельных вариантов embedding- и output-веса сохранены в Q8_0, что потенциально может улучшать качество. Основные ограничения — очень высокие требования к оперативной памяти или видеопамяти и снижение качества при агрессивном квантовании. Модель распространяется по лицензии Mistral AI Research Licence 0.1; в README указана лицензия other и ссылка на её текст.

Tess-3-Mistral-Nemo-GGUF — набор GGUF-квантизаций текстовой генеративной модели Tess-3-Mistral-Nemo, опубликованный и сквантизированный пользователем bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана migtissera. Формат GGUF предназначен для локального запуска, в том числе через llama.cpp и LM Studio. Модель предназначена для генерации текста в диалоговом формате с системными инструкциями и пользовательскими запросами. В репозитории представлены варианты от исходных весов F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также вариантов IQ. Размер файлов составляет примерно от 4,14 до 49 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для некоторых вариантов применена схема с весами embeddings и output, сохранёнными в Q8_0, что, согласно описанию, может улучшать качество, хотя эффект зависит от сценария. Конкретные архитектурные параметры, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

Josephgflowers/TinyLlama-Cinder-Agent-v1 — компактная языковая модель на архитектуре Llama с примерно 1 млрд параметров, разработанная как дообученная версия Josephgflowers/TinyLlama-Cinder-Tiny-Agent. Автор позиционирует её как чат-ассистента общего назначения для ответов по предоставленным документам (RAG), суммаризации, следования системным инструкциям и работы с инструментами и вызовами функций. По описанию, модель обучалась на математических и рассуждательных данных, наборах для RAG и суммаризации, а также данных для вызова функций. Карточка сообщает об улучшении результатов на GSM8K относительно исходной TinyLlama и приводит оценки Open LLM Leaderboard. Модель поддерживает генерацию текста в диалоговом формате; её контекстное окно — 2048 токенов. README отмечает, что формат JSON при вызове функций следует шаблону обучающего набора Glaive и может не подходить для произвольной генерации JSON. Модель распространяется по лицензии MIT. Карточка не приводит отдельной оценки надёжности ответов, поэтому результаты математических и иных задач следует проверять; ограниченный контекст также может затруднять работу с объёмными документами.

Tulu V2.5 DPO 13B SHP-2 — англоязычная чат-модель-помощник, разработанная Allen Institute for AI (AI2). Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров, дообученная на базе Tulu 2 13B с помощью DPO на наборе предпочтений SHP-2. Она предназначена для диалогов, выполнения инструкций и генерации текста; для модели указан контекст длиной 4096 токенов. Модель принимает текст и генерирует текст. Для диалогов используется шаблон чата, встроенный в токенизатор; соблюдение формата сообщений и завершающего перевода строки влияет на качество генерации. Модель ориентирована на английский язык и распространяется по лицензии Apache 2.0. Модель может выдавать проблемные ответы, в том числе по запросу: на этапе RLHF её не настраивали на безопасные завершения, а фильтрация ответов во время использования не предусмотрена. Качество ответов также зависит от соблюдения формата ввода.

Venomia-1.1-m7-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием Mistral-7B-Instruct-v0.1 и Sao10K/Venomia-1.1-m7 методом SLERP. Модель построена на плотной архитектуре Mistral с 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных указан английский язык. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные специализированные области применения или ограничения качества.

Vigogne 2 7B Instruct — языковая модель на архитектуре Llama, разработанная bofenghuang и опубликованная в формате GGUF с квантованием TheBloke. Это 7-миллиардная instruct-модель, предназначенная для генерации текста и выполнения пользовательских инструкций в диалоговых и прикладных сценариях. В метаданных указан французский язык; сведения о поддерживаемых дополнительных языках и длине контекста не приведены. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие инструменты с поддержкой GGUF. Формат поддерживает метаданные и специальные токены, а варианты квантования от 2 до 8 бит позволяют выбирать компромисс между размером файлов, требованиями к памяти и сохранением качества. Модель поддерживает CPU- и GPU-инференс в зависимости от используемого программного обеспечения и конфигурации. Ключевое ограничение — README не содержит результатов оценки качества, подробностей обучения, точного контекстного окна и характеристик отдельных квантованных вариантов, поэтому производительность в конкретных задачах определить нельзя. Для использования следует применять шаблон запросов Alpaca, указанный для модели. Лицензия обозначена как llama2; исходная неквантованная версия доступна отдельно в формате PyTorch.