II.10Разработка и эксплуатация AI/ML-систем

AriannaV6 — мультимодальная модель для диалогов и агентных сценариев, разработанная независимым автором и дообученная на базе Google Gemma 4 12B. QLoRA-адаптер обучен на вызове инструментов, устойчивой идентичности и поведении с долговременной памятью, а затем объединён с весами модели. Архитектура gemma4_unified обрабатывает текст, изображения и аудио; заявленная длина контекста — до 262 144 токенов. Доступны объединённые веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для универсального помощника, рабочих процессов с инструментами и роли рассуждающего ядра в мультимодальных системах. По описанию автора, V6 исправляет часть потери знаний и здравого смысла в предыдущих версиях, но уступает базовой Gemma на отдельных проверках знаний и общих рассуждений. Голосовой ввод-вывод и генерация изображений или видео в веса не встроены: для них нужны отдельные компоненты. Лицензия CC-BY-NC-SA-4.0 требует указания авторства и распространения производных на тех же условиях и ограничивает коммерческое использование.

Experiment28M7_YamT3qm7xp — объединённая модель генерации текста на архитектуре Mistral, созданная путём слияния automerger/Experiment28M7-7B и automerger/YamT3qm7xp-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по запросу и работы с длинными текстовыми контекстами. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

google/flan-t5-base — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Она преобразует текстовый запрос в текстовый ответ и подходит для генерации, ответов на вопросы, рассуждений и выполнения разнообразных NLP-задач, в том числе в режимах zero-shot и few-shot. Модель имеет архитектуру T5 encoder-decoder с 123,8 млн параметров и контекстом до 512 токенов. Карточка описывает поддержку множества языков, включая русский, английский, французский, немецкий и румынский; метаданные также отмечают многоязычность. Доступны версии для PyTorch, TensorFlow и Flax, лицензия — Apache 2.0. Карточка сообщает о сильных результатах на широком наборе задач, но модель не проверялась в реальных приложениях. Она может воспроизводить предвзятость и неподходящее содержание из обучающих данных, поэтому перед применением требуется оценка безопасности и справедливости для конкретного сценария.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

GPT Chat Latest — псевдоним API OpenAI `chat-latest`, который указывает на актуальную Instant-модель для чата в ChatGPT. По мере выпуска обновлений OpenAI псевдоним переключается на новую версию модели. Модель предназначена для диалогов и задач, выполняемых через API OpenAI. Конкретные характеристики версии, на которую указывает псевдоним, могут меняться; README и метаданные не сообщают её архитектуру, размер, контекстное окно, языки, лицензию или отдельные ограничения.

Granite-4.2-30B (NVFP4) — вариант модели Granite-4.2-30B, разработанный IBM и опубликованный в формате для библиотеки Transformers. Репозиторий содержит NVFP4-версию базовой модели ibm-granite/granite-4.2-30b, однако README не раскрывает её архитектуру, размер контекста, языки, модальности и конкретные сценарии применения. Модель предназначена для задач обработки естественного языка и использования в совместимых приложениях на базе Transformers. Ключевая характеристика данного варианта — представление NVFP4, которое может быть ориентировано на более эффективное хранение и выполнение модели, но README не содержит измерений производительности, требований к оборудованию или описания ограничений этого формата. Модель распространяется по лицензии Apache-2.0.

JetlinkSTT-v1.0-7B — многоязычная модель распознавания речи, размещённая Jetlink как управляемая организацией копия модели семейства Qwen3-ASR. Метаданные указывают на дообучение Qwen/Qwen3-ASR-1.7B; модель принимает аудио и предназначена для преобразования речи в текст и определения языка. Модель поддерживает потоковую и офлайн-обработку, длинные записи, пакетный запуск и сценарии транскрибации. В README заявлена устойчивость к шуму, сложным речевым паттернам и пению, в том числе под музыку. Указана поддержка 52 языков и диалектов исходным семейством, включая русский, английский, китайский и другие перечисленные языки. Модель подходит для транскрибации звонков и встреч, создания субтитров, голосовых помощников и аналитики речи. Практическая производительность и требования к памяти зависят от оборудования, длительности аудио, пакетного размера, конкуренции запросов и выбранного серверного ПО. Для юридических, медицинских и критически важных сценариев README рекомендует проверку человеком. Лицензия — Apache-2.0.

unsloth/Llama-3.2-11B-Vision-Instruct-bnb-4bit — 4-битная версия мультимодальной инструкционно-настроенной модели Meta Llama 3.2 Vision с примерно 11 млрд параметров. Репозиторий подготовлен Unsloth и предназначен для использования с Transformers; базовая модель — meta-llama/Llama-3.2-11B-Vision-Instruct. Архитектура семейства основана на авторегрессионном оптимизированном Transformer с Grouped-Query Attention, а инструкционные версии обучались с применением supervised fine-tuning и RLHF. Модель предназначена для диалоговых сценариев и задач, требующих работы с текстом и изображениями, включая визуальное понимание и генерацию ответов по пользовательским инструкциям. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения на ограниченных GPU-ресурсах. К сильным сторонам относятся мультимодальность, инструкционное поведение и экономичное по памяти 4-битное квантование. README не содержит точных сведений о размере контекста, формате визуального входа, бенчмарках и ограничениях качества, поэтому эти характеристики требуют проверки в исходной карточке Meta. Модель является статической и обучена на офлайн-данных. Использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta, а также Acceptable Use Policy.

Llama 4 Scout 17B 16E Instruct — мультимодальная инструкционная модель Meta на архитектуре Llama 4 с механизмом смеси экспертов и ранним объединением модальностей. В карточке репозитория указано 17 млрд параметров и 16 экспертов; модель работает с текстом и изображениями и поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для ассистентских диалогов и визуального рассуждения: распознавания содержимого изображений, ответов на вопросы о них и создания подписей. Она рассчитана на арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. Для понимания изображений модель протестирована на входе до пяти изображений. Модель может применяться в коммерческих и исследовательских сценариях, включая генерацию синтетических данных. Это статичный чекпойнт, обученный на офлайн-данных; качество ответов и безопасность следует проверять для конкретного применения. Использование регулируется пользовательской лицензией Meta Llama 4 Community License Agreement.

Mistral-7B-Erebus-v3-Instruct-32k — объединённая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная с помощью mergekit методом DARE TIES. В качестве основы использована alpindale/Mistral-7B-v0.2-hf, объединённая с mistralai/Mistral-7B-Instruct-v0.2 и KoboldAI/Mistral-7B-Erebus-v3. Модель предназначена для генерации текста и ответов на инструкции; поддерживает контекст до 32 768 токенов. Модель работает с текстом и использует библиотеку Transformers; веса доступны в формате safetensors. Карточка не сообщает о специализированной области применения или поддерживаемых языках. Объединение включает Erebus-v3, однако карточка не описывает его влияние на поведение итоговой модели. Лицензия в предоставленных данных не указана.

OLMoE-1B-7B-0924-Instruct — англоязычная языковая модель Allen Institute for AI (AI2), выпущенная в сентябре 2024 года. Это разреженная архитектура Mixture of Experts (MoE): в карточке указаны 1 млрд активных и 7 млрд общих параметров, а метаданные репозитория — 472,1 млн параметров. Модель дообучена с помощью SFT и DPO на базе allenai/OLMoE-1B-7B-0924-SFT; доступна в формате safetensors для Transformers и рассчитана на контекст до 4096 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций на английском языке. По заявлению разработчиков, она показывает результаты, сопоставимые с более крупными моделями при меньших вычислительных затратах. Лицензия Apache 2.0 допускает широкое использование; README описывает также экспериментальные варианты обучения, но для этой модели указана основная preference-tuned версия.

OpenZephyrChat-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Fredithefish/OpenZephyrChat методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации ответов на инструкции и диалоговые запросы. Модель принимает текст и генерирует текстовые ответы. Заявленная длина контекста — 32 768 токенов. В репозитории представлены веса в формате safetensors; лицензия — Apache-2.0. Карточка указывает английский язык.

facebook/opt-iml-1.3b — языковая модель семейства OPT, разработанная Meta AI и дообученная следованию инструкциям методом Instruction Meta-Learning. Модель с плотной архитектурой и примерно 1,7 млрд параметров предназначена для генерации текста по запросу; её можно использовать через библиотеку Transformers. Контекст модели составляет 2048 токенов. Обучение проводилось на OPT-IML Bench — наборе примерно из 2000 задач обработки естественного языка, собранных из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource. Семейство включает варианты, обученные на 1500 задачах с отложенными задачами для оценки, и OPT-IML-Max, обученный на всех примерно 2000 задачах. В карточке для этой модели не уточнено, какой из вариантов имеется в виду. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели. Модель подходит для ответов на инструкции, генерации и преобразования текста в широком круге NLP-задач. Как и другие крупные языковые модели, она может выдавать фактически неверные ответы, токсичный текст и воспроизводить стереотипы; результаты требуют проверки.

FiditeNemini/Qwen2.5-14B-DeepSeek-R1-1M-Uncensored — объединённая модель на 14 млрд параметров, созданная с помощью mergekit и метода TIES на основе mkurman/Qwen2.5-14B-DeepSeek-R1-1M с включением huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Она использует архитектуру Qwen2 с плотной языковой моделью для генерации текста и диалогов; заявленная длина контекста составляет около 1,01 млн токенов. Модель предназначена для диалогового взаимодействия и генерации текста с поддержкой интерфейса вызова инструментов. Многоязычная поддержка, включая конкретные языки, в предоставленных данных не описана. В названии и базовой модели указано ослабление отказов, поэтому поведение модели может быть менее ограничительным. Файлы представлены в формате safetensors; лицензия в доступных данных не приведена.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF — это производная от Qwen3.6-27B модель от DavidAU, созданная на базе Qwen3.6-27B-Heretic2-Uncensored-Finetune-Thinking. Модель была подвергнута декодированию ограничений и дообучению с использованием Unsloth на пользовательском наборе данных, а затем преобразована в GGUF-квантизации с применением методов NEO и NEO-CODE Di-Matrix. Модель предназначена для общего применения, включая диалоги, творческое и художественное письмо, генерацию сюжетов и сцен, ролевые сценарии, программирование, математику и задачи, требующие работы с длинным контекстом. Заявлена поддержка контекста до 256 тысяч токенов. Указаны языки English и Chinese. Размер базовой модели — 27 миллиардов параметров; доступны квантизации с различным соотношением качества и требований к памяти, включая IQ2_M и Q4K_S. В карточке также заявлена поддержка image-text-to-text, однако подробности о мультимодальных возможностях не приведены. Сильными сторонами заявлены сниженный уровень отказов, отсутствие цензурных ограничений, высокая близость к качеству полной точности и оптимизация для длинных диалогов, кода и математических задач. Приведённые результаты основаны преимущественно на внутренних тестах автора, поэтому их не следует считать независимой оценкой. Конкретные требования к оборудованию, совместимые приложения и подробная методика дообучения не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-Fable-mxfp8-mlx — экспериментальная объединённая модель, разработанная NightmediaAI на основе Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 от DavidAU и Qwen3.8-27B-Fable-Distill от armand0e. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма, создания художественных историй и ролевого взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель содержит 27B параметров и представлена в формате mxfp8 для MLX; в карточке также упоминается вариант mxfp4. Заявлены контекстные окна до 256K и 1M токенов, однако подробности реализации не приведены. В качестве сильных сторон указаны улучшенные результаты по сравнению с базовой Qwen3.8-27B на приведённых тестах, а также высокая скорость генерации: около 180 токенов в секунду при mxfp8. Ограничения включают экспериментальный статус, отсутствие подробных инструкций по применению и неполные сведения о фактической поддержке мультимодального ввода, несмотря на тег image-text-to-text. Лицензия указана как Apache-2.0. Модель предназначена для исследовательского и общего использования, но заявленные характеристики и результаты следует проверять самостоятельно, поскольку они основаны на данных из карточки модели.

Это мультимодальная vision-language модель Qwen3.8-27B, разработанная командой Qwen и представленная в квантованном варианте пользователем lribeiro. Модель предназначена для обработки текста, изображений и видео, включая задачи понимания визуального содержания и генерации текста по визуальному контексту. Она реализована на базе архитектуры Qwen3_5ForConditionalGeneration и поддерживает многоязычные сценарии. Языковая часть содержит около 27 млрд параметров, а vision tower — ещё около 460,7 млн. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, а также vision encoder на базе 27-слойного ViT. Контекст в указанной конфигурации составляет 8192 токена. Лингвистические слои используют FP8 E4M3 в режиме W8A8 с GPTQ-коррекцией весов, тогда как визуальный энкодер и MTP-head сохранены в BF16. Размер чекпойнта составляет 29,97 ГБ против 55,6 ГБ у BF16-базы. Сильными сторонами являются сохранённая обработка изображений и видео, уменьшенный размер, высокая скорость prefill и поддержка MTP speculative decoding; после исправления конфигурации заявлена скорость декодирования 106,9 токена в секунду против 69,4. Ограничения включают необходимость оборудования с поддержкой FP8, прежде всего NVIDIA Blackwell, Ampere или Hopper, а также зависимость от совместимой версии vLLM и FlashInfer. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-CIRU-STRIX-IU4 — специализированная сборка семейства Qwen3.8-Flash-Next, разработанная проектом CIRU при участии Peonist.ai и pwilkin. Модель распространяется в формате GGUF и предназначена для локального запуска на компьютерах с AMD Strix Halo, в частности с 128 ГБ памяти и графикой Radeon на базе Ryzen AI Max 395. Она ориентирована на генерацию текста с длинным контекстом, работу через OpenAI-совместимый API, веб-интерфейс и обработку изображений. Сборка использует архитектуру mixture-of-experts, поддержку vision и image-text-to-text, а также MTP для speculative decoding. В неё включены оптимизации предварительной обработки, кэширования, внимания и GPU-исполнения под AMD ROCm; заявлена возможность работы с контекстами до 256K и отдельные измерения для предварительной обработки до 512K токенов. README не указывает точное число параметров, перечень языков и полную спецификацию модальностей. Сильные стороны модели — высокая скорость локального инференса на совместимых системах, эффективная обработка длинного контекста, поддержка изображений и интеграция с локальными серверными сценариями. Ограничения включают жёсткую зависимость от специализированного CIRU runtime и подходящей AMD-платформы: стандартные llama.cpp и размещённый inference Hugging Face не поддерживаются. Для vision и MTP требуется версия runtime с исправлением v4.4.1; приведённые в README показатели производительности относятся к конкретной тестовой конфигурации и не гарантируют такие же результаты на другом оборудовании. Лицензия указана как other с названием qwen-community-1.0; ссылка ведёт на файл LICENSE. Условия использования следует уточнять по этому файлу.

Vontra/Qwen3.8-Flash-Next-MLX-6bit-MTP — это 6-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, подготовленная Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для Apple Silicon и реализована в архитектуре qwen4_exp: vision-language модель с разреженной Mixture-of-Experts архитектурой, поддерживающая работу с текстом и изображениями. Общий размер языковой части составляет 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно указаны 51 млрд параметров hashed bigram/trigram embeddings и 4 млрд параметров native MTP-блока. Модель использует Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, vision encoder и контекст до 262 144 токенов. Квантование выполнено методом uniform 6-bit affine с group size 32; мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Встроенный native MTP с одним draft-блоком предназначен для speculative decoding и может ускорять генерацию. Сильными сторонами являются большой контекст, поддержка изображений, высокая вычислительная эффективность за счёт MoE и native MTP, а также проверенная совместимость с MLX-VLM, MLX и oMLX. В тестах на Apple M3 Studio включение MTP увеличило скорость генерации с 20,65 до 25,94 токена в секунду. Ограничения включают значительный размер весов — около 158,08 ГБ, необходимость совместимого runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Языки и точные мультимодальные возможности в предоставленных данных не указаны. Модель распространяется по Qwen Community License 1.0. Токенизатор, chat template, vision processor, конфигурации генерации и native MTP унаследованы от исходной модели.

NobodyWho/Qwen_Qwen3.5-0.8B-GGUF — GGUF-квантизированная версия модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba Group. Модель подготовлена для использования с NobodyWho, содержит встроенные рекомендованные параметры семплирования Qwen и проверена тестовым набором NobodyWho. Модель предназначена для быстрого диалогового общения и генерации текста, выполнения инструкций, нативного tool calling и локального запуска на устройствах с ограниченными ресурсами. Она поддерживает мультимодальный ввод текста и изображений через дополнительную проекционную модель mmproj-BF16.gguf, режим рассуждений, включённый по умолчанию, а также широкий набор языков. Заявлена поддержка контекста до 262 144 токенов. Модель содержит 0,8 млрд параметров и использует архитектуру qwen35. Доступны варианты BF16, Q8_0 и Q4_K_M; каждый показал результат 13 из 14 тестов tool calling, при этом сложные схемы остаются ограничением. Основные преимущества — малый размер, низкие требования к памяти, мультимодальность, длинный контекст и возможность локального использования. Для работы с изображениями требуется отдельный файл проекционной модели. Распространяется по лицензии Apache 2.0.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-Next-80B-A3B-Thinking-GGUF — набор GGUF-квантизаций базовой модели Qwen3-Next-80B-A3B-Thinking, разработанной Qwen и подготовленной bartowski. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Это текстовая модель с архитектурой и языками исходной модели, а также размером контекста, в README не указанных. Доступны варианты квантизации от Q3 до Q8, объёмом примерно от 36,6 до 84,8 ГБ. Более высокие варианты обеспечивают лучшее сохранение качества, а низкие требуют меньше памяти; рекомендуемыми названы Q4_K_M, Q5_K_M, Q6_K и другие варианты соответствующего уровня. Ключевое ограничение — значительные требования к оперативной памяти и необходимость поддержки этой модели выбранным программным обеспечением. Квантизации созданы с использованием imatrix и llama.cpp. Для работы рекомендуется применять указанный в README формат prompt с маркером начала рассуждений <think>. Распространение осуществляется по лицензии Apache-2.0.

ClaudioItaly/QwenTies-14B — плотная языковая модель семейства Qwen2.5, созданная автором репозитория с помощью TIES-слияния предварительно обученной Qwen2.5-14B и инструкционной Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors; для работы указан стек Transformers. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая структурированные ответы и интерфейс вызова инструментов. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также для сценариев, где требуется длинный контекст. Карточка не приводит результатов оценки качества. Сведения о лицензии в доступных данных отсутствуют.

Qwythos-27B-v1-i1-GGUF — это квантизированная GGUF-версия модели Qwythos-27B-v1, разработанной empero-ai и подготовленной квантизатором mradermacher. Модель предназначена для задач рассуждения, работы с текстом и изображениями, генерации текста по изображениям, использования инструментов и function calling, а также агентских сценариев. В тегах также указаны направления cybersecurity и biomedical, однако подробности специализированного обучения в README не приведены. Модель имеет размер 27B параметров, поддерживает английский язык и относится к мультимодальным vision-моделям. Заявлена поддержка длинного контекста до 1M токенов, multi-token prediction и различных методов обучения, включая SFT, DPO, ESFT и full fine-tune, но технические детали архитектуры и подтверждённые характеристики контекстного окна не раскрыты. Репозиторий содержит варианты квантизации от Q2_K до Q6_K и IQ-кванты: более компактные варианты требуют меньше памяти, но могут снижать качество; Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как оптимальный по сочетанию размера, скорости и качества. Модель распространяется под лицензией Apache-2.0. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. README не содержит результатов тестирования, подробных ограничений безопасности или инструкций по выбору аппаратных ресурсов, поэтому фактическое качество и производительность зависят от выбранного варианта квантизации и используемого программного окружения.

Teuken-7B-instruct-research-v0.4-GGUF — это квантизированная версия инструкционной языковой модели Teuken-7B-instruct-research-v0.4, разработанной openGPT-X и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций, а также для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер наиболее компактных представленных вариантов составляет около 4,1–4,7 ГБ, а F16-версия занимает около 14,9 ГБ. В README заявлена поддержка немецкого, болгарского, чешского, датского, греческого, английского, испанского, эстонского, финского, французского, ирландского, хорватского, венгерского, итальянского, литовского, латышского, мальтийского, нидерландского, польского, португальского, румынского, словенского, шведского и словацкого языков. Некоторые квантизации оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. Более качественные варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые; Q4_K_M описан как вариант стандартного размера для большинства сценариев. README не содержит сведений об архитектуре, размере контекстного окна, параметрах обучения, точных мультимодальных возможностях или формате промпта, поэтому модель следует рассматривать как текстовую, без подтверждённой поддержки других модальностей. Лицензия указана как other, без дополнительных условий; перед использованием в коммерческих или распространительных сценариях необходимо проверить лицензию исходной модели и конкретные ограничения.

VAETKI — большая языковая модель консорциума NC-AI, в котором участвуют 13 организаций. Это авторегрессионная модель семейства VAETKI для генерации текста и диалогов; в карточке Hugging Face указана архитектура dense, тогда как README описывает VAETKI-100B-A10B как Transformer с архитектурой Mixture-of-Experts. Метаданные указывают 10,4 млрд параметров и контекст до 131 072 токенов; README для варианта VAETKI-100B-A10B приводит 112,2 млрд параметров всего, 10,1 млрд активных и контекст 32 тыс. токенов, поэтому эти характеристики могут относиться к разным вариантам модели. Модель предназначена для следования инструкциям, диалогов, рассуждений, перевода и агентных сценариев с использованием инструментов. Она поддерживает корейский, английский, китайский и японский языки. README сообщает о режимах thinking для большинства задач и non-thinking для агента с инструментами, а также о выравнивании по человеческим предпочтениям. Лицензия — MIT. Модель может выдавать фактически неточные или неполные ответы и галлюцинации, испытывать трудности со сложными многошаговыми рассуждениями, точными математическими вычислениями и корректной генерацией кода; она не проверяет факты самостоятельно. Разработчик не рекомендует применять её в критически важных и регулируемых областях, включая медицину, право, финансы и военную сферу.

Velara-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и Delcos/Velara методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в формате диалога; максимальный контекст составляет 32 768 токенов. Объединение настроено отдельно для слоёв self-attention и MLP, а веса представлены в формате safetensors. Модель принимает текст и генерирует текст. Карточка не уточняет специализацию Velara или сравнительные показатели качества. Лицензия — Apache-2.0.

Модель Heimat24/vhs_burghausen_danielheinz_e5-qa_generation_user-5-1-0.8 — модель Sentence-Transformers на архитектуре XLM-RoBERTa с 305,2 млн параметров. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения семантической близости, поиска похожих текстов и кластеризации. Модель обучалась с функцией потерь MultipleNegativesRankingLoss и косинусной мерой сходства. В карточке указана максимальная длина контекста 514 токенов. Для работы используется библиотека sentence-transformers; веса доступны в формате safetensors. Модель подходит для семантического поиска и группировки текстов. Языковая поддержка явно не описана, хотя архитектура XLM-RoBERTa рассчитана на многоязычные данные. Лицензия в предоставленных сведениях не указана.

VICIOUS_MESH-12B-BETA — объединённая модель генерации текста на архитектуре Mistral, созданная автором репозитория с помощью mergekit и метода TIES. В слияние вошли VICIOUS_MESH-12B-ALPHA и Infermatic/MN-12B-Inferor-v0.1 на базе Khetterman/DarkAtom-12B-v3. Модель содержит 12,1 млрд параметров, распространяется в формате Safetensors, а в README также указана GGUF-квантизация Q4_K_M. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и работу через интерфейс вызова инструментов. Метаданные указывают поддержку английского, японского, русского, китайского, корейского и испанского языков. Заявленная длина контекста — 1 024 000 токенов; это значение значительно выше контекста, указанного для базовой Inferor 0.1, поэтому фактическую работу с таким объёмом следует проверять в используемой конфигурации. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; это ограниченный набор оценок и он не гарантирует качество на конкретных задачах. Метаданные помечают модель как не предназначенную для всех аудиторий.