I.6Перевод и языковая адаптация

TheBloke опубликовал веса OpenAssistant LLaMA 30B SFT 7 в формате Hugging Face Transformers. Это плотная авторегрессионная модель семейства Llama с 32,3 млрд параметров, полученная слиянием XOR-весов OpenAssistant с исходными весами Llama 30B; чекпойнт соответствует седьмой эпохе обучения OpenAssistant. Модель предназначена для генерации текста в диалогах и ответах на запросы. Окно контекста — 2048 токенов. Репозиторий содержит веса PyTorch. В метаданных указана лицензия «other», а конкретные условия использования в предоставленной карточке не раскрыты.

PLLuM-4B-chat-2512 — чат-модель семейства PLLuM, разработанная командой HIVE AI на базе Gemma 3 4B. Она продолжает предварительное обучение на польских и английских текстах и дообучена следовать инструкциям и предпочтениям людей. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, суммаризацию и извлечение информации; её ориентир — польский язык, в том числе задачи для государственного управления. Для работы с внутренними или отраслевыми документами модель можно применять в RAG-сценариях совместно с поиском и хранилищем документов. В README указано, что версия chat выровнена по человеческим предпочтениям и рассчитана на более безопасные и эффективные диалоги; разработчики также сообщают о высоких результатах на польских языковых и административных бенчмарках. Модель распространяется в формате safetensors по лицензии Apache-2.0.

AtomicChat/Qwen3.8-27B-MLX-AD-3.70bpw-DWQ-13.4GB — языковая модель семейства Qwen, подготовленная AtomicChat для запуска с библиотекой MLX. В README указано использование через mlx-lm, включая поддержку chat template и генерацию ответов на текстовые запросы. Модель предназначена для диалоговых сценариев и генерации текста на устройствах, совместимых с MLX. Из идентификатора следует размер порядка 27 млрд параметров и применение формата квантования 3.70 bpw DWQ; заявленный размер файла составляет около 13,4 ГБ. Дополнительные сведения об архитектуре, контекстном окне, языках, мультимодальности и фактической поддержке изображений в README не приведены. Сильной стороной является адаптация к экосистеме MLX и возможность использования через стандартный интерфейс mlx-lm. Ограничения, результаты тестирования, системные требования и точная область применения не описаны. Лицензия в предоставленных данных не указана.

Это пакет слоёв GGUF для запуска Qwen3-VL-235B-A22B-Instruct-UD-Q4_K_XL через Mesh LLM. Его подготовил проект Mesh LLM на основе unsloth/Qwen3-VL-235B-A22B-Instruct-GGUF: веса распределены по отдельным артефактам для распределённого инференса на локальном кластере. Модель относится к семейству Qwen3 и предназначена для диалогового взаимодействия и генерации текста; пакет поддерживает запуск на нескольких машинах и локальный OpenAI-совместимый интерфейс чата. Квантованный вариант UD-Q4_K_XL поставляется в формате GGUF и рассчитан на сценарии, когда полную модель неудобно размещать на одном хосте. Карточка этого пакета не приводит параметры мультимодального ввода, размер контекста, языки или условия лицензии; за этими сведениями README направляет к карточке исходной модели.

Qwen3-VL-4B-Instruct-MLX-4bit — это 4-битная квантованная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для работы на компьютерах Apple Silicon. Модель предназначена для задач преобразования изображений и текста в текст, включая обработку визуально-текстовых запросов и работу в формате инструкций. Она относится к классу vision-language моделей и поддерживает взаимодействие с изображениями и текстом. Известный размер исходной модели — 4B параметров; сведения о поддерживаемых языках и максимальной длине контекста в представленном README не указаны. Ключевое преимущество версии — снижение требований к памяти и вычислительным ресурсам благодаря 4-битному квантованию, а также оптимизация для экосистемы Apple Silicon. Квантование может сопровождаться некоторым снижением точности по сравнению с исходной моделью, однако конкретные результаты в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-397B-A17B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Исходная модель разработана командой Qwen; конкретные сведения о внутренней архитектуре, языках и размере контекста в представленном README не указаны. Модель имеет заявленный pipeline image-text-to-text, поэтому предназначена для задач генерации текста с обработкой текстово-графических входов, однако подробности поддерживаемых модальностей не приведены. Доступны варианты квантования от Q8_0 до Q3 и IQ-серий, с размером файлов примерно от 188 до 429 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска подходят llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Также заявлена поддержка MTP-слоёв в новых версиях llama.cpp с параметром draft-mtp. Большой размер модели предъявляет крайне высокие требования к памяти и вычислительным ресурсам. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, точных характеристик архитектуры, языкового охвата, длины контекста или подробного описания ограничений исходной модели.

Qwermes3.8 — это дообученная модель Qwen3.8-27B, опубликованная в формате GGUF с квантизацией NVFP4. Автор карточки описывает гибридную плотную архитектуру из 64 слоёв: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв полного внимания. Модель предназначена для генерации текста и диалогов; визуальная оболочка исходной модели удалена, поэтому этот вариант работает только с текстом. Репозиторий рассчитан на запуск через llama.cpp или Ollama, в том числе на рабочих станциях с GPU Blackwell. Заявлен контекст до 262 тыс. токенов, но KV-кэш требует около 117 КБ на токен: для контекста 128 тыс. токенов потребуется примерно 14,7 ГБ видеопамяти, а для 262 тыс. — около 30 ГБ. README приводит замеры скорости и perplexity, но качество проверялось лишь на небольшом наборе ручных запросов без формальной оценки. Лицензия — Apache-2.0.

Replete-LLM-V2.5-Qwen-14b-GGUF — набор GGUF-квантизаций языковой модели Rombos-LLM-V2.5-Qwen-14b. Квантизации подготовлены пользователем bartowski с использованием llama.cpp версии b3825 и метода imatrix. Исходная модель разработана rombodawg. Модель предназначена для генерации текста и может запускаться локально, в том числе через llama.cpp и LM Studio, с указанным форматом prompt на основе ChatML-тегов. В набор входят варианты от исходных весов F16 размером около 29,55 ГБ до компактных конфигураций с более низкой точностью, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-семейство. Версии различаются размером файла, требованиями к памяти и качеством генерации: старшие варианты обеспечивают качество, близкое к исходному, а младшие позволяют работать при ограниченном объёме RAM ценой заметной потери качества. Отдельные варианты оптимизированы для ARM-процессоров и требуют поддержки sve или i8mm. Это текстовая авторегрессионная модель примерно на 14 млрд параметров; сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальности в карточке не указаны. Основные сильные стороны набора — локальный запуск, широкий выбор степени квантизации и совместимость с llama.cpp и LM Studio. Ограничения связаны с требованиями к вычислительным ресурсам, компромиссом между размером и качеством, а также отсутствием подробных данных о возможностях базовой модели. Лицензия — Apache-2.0.

Rombos-Qwen2.5-Writer-32b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Rombos-Qwen2.5-Writer-32b, разработанной SubtleOne и подготовленной квантизатором bartowski. Модель основана на архитектуре Qwen2.5, однако точная конфигурация архитектуры, поддерживаемые языки и размер контекста в README не указаны. Формат предназначен для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель ориентирована на генерацию и редактирование текста, а также на сценарии, где важны писательские возможности, поскольку в её названии указано назначение Writer. Доступны варианты от полноточного F16 размером 65,53 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров. Квантизации выполнены с использованием imatrix и датасета bartowski; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые благодаря сочетанию качества и экономии памяти. Более компактные варианты требуют меньше оперативной памяти, но уступают по качеству. Это текстовая, а не мультимодальная модель: сведения о работе с изображениями, аудио или видео отсутствуют. Основные ограничения — значительные требования к памяти для 32B-модели, зависимость качества от выбранного уровня квантизации и отсутствие в README подробных данных о производительности, языках и контексте. Для диалогового запуска следует использовать формат prompt с маркерами im_start и im_end. Для модели указана лицензия Apache-2.0.

RWKV/RWKV7-G1j-2.9B-20260831 — базовая языковая модель RWKV-7 Goose, официальный выпуск BlinkDL в формате Transformers. Это плотная авторегрессионная модель примерно на 3,1 млрд параметров для генерации текста, оценки и последующего дообучения; шаблон диалога задаёт формат запросов, но сам по себе не означает, что модель выровнена как безопасный ассистент. Архитектура RWKV-7 не использует attention: она поддерживает состояние рекуррентного размера, не растущее с длиной контекста, и постоянную вычислительную работу на генерируемый токен; обучение при этом допускает параллелизацию. В комплект входят реализация для Transformers, токенизатор RWKV World и шаблон чата с поддержкой многоходовых диалогов, режима thinking и формата вызова инструментов. Модель обучалась на веб-текстах, коде, синтетических, инструкционных, диалоговых и рассуждательных данных. В карточке перечислена поддержка английского, китайского, французского, испанского, немецкого, португальского, русского, итальянского, японского, корейского, вьетнамского и арабского языков. Модель подходит для генерации и продолжения текста, диалоговых прототипов и как основа для оценки или дообучения. Качество следования инструкциям и языковое поведение зависят от чекпойнта, промпта и последующего обучения. Откат состояния для assisted/speculative decoding не поддерживается без сохранения предыдущих состояний; оптимизированный запуск зависит от GPU, типа данных, размера пакета и формы входа. Заявлений о проверке безопасности, предвзятости, токсичности, фактической точности или пригодности для критически важных решений нет. Лицензия — Apache-2.0.

SEC-Calme-7B-Instruct — объединённая диалоговая языковая модель от Arcee AI. Она создана с помощью mergekit методом SLERP на основе arcee-ai/sec-mistral-7b-instruct-1.2-epoch и MaziyarPanahi/Calme-7B-Instruct-v0.2, с выборочным смешиванием слоёв внимания и MLP. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в формате чата: она принимает текстовые запросы и выдаёт текстовые ответы. Родной размер контекстного окна — 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или специализированных сценариев применения.

ShadowCalme-7B — объединённая модель для генерации текста, созданная Maxime Labonne автоматическим слиянием CorticalStack/shadow-clown-7B-dare и MaziyarPanahi/Calme-7B-Instruct-v0.1.1. В ней использована архитектура Mistral с плотной структурой и около 7,1 млрд параметров; конфигурация слияния применяет метод SLERP. Модель принимает текст и выдаёт текст, а её контекст составляет до 32 768 токенов. Модель подходит для генерации текста и диалоговых сценариев, где нужна языковая модель общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

StrangeMerges_16-7B-slerp — объединённая языковая модель семейства Mistral, опубликованная Gille. Она создана методом SLERP с помощью LazyMergekit на основе Gille/StrangeMerges_15-7B-slerp и SanjiWatsuki/Kunoichi-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает текст для генерации текста; заявленная длина контекста — до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев общего назначения. В README приведены результаты оценивания на Open LLM Leaderboard, включая ARC и HellaSwag, но эти показатели сами по себе не гарантируют качество на конкретных задачах. Модель распространяется под лицензией Apache-2.0.

Tess-7B-v1.4 — языковая модель общего назначения из серии Tess, разработанной для генерации текста. Карточка серии сообщает, что Tess-XS-v1.4 обучена на базе Mistral-7B; метаданные этой модели указывают архитектуру MistralForCausalLM и размер 7,1 млрд параметров. Для диалога в README приведён формат с ролями SYSTEM, USER и ASSISTANT. Метаданные указывают контекст до 32 768 токенов и формат весов safetensors. Модель подходит для диалоговых сценариев и других задач генерации текста. В README не описаны специальные навыки, поддерживаемые языки или результаты оценки качества, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

Dampfinchen/Ultra-Instruct-12B — объединённая языковая модель для генерации текста и диалогов, созданная с помощью mergekit. В основе лежит IntervitensInc/Mistral-Nemo-Base-2407-chatml; слияние выполнено методом DARE TIES с моделями Orthrus-12b-v0.8, mistral-nemo-gutenberg-12B-v2 и Deutscher-Pantheon-12B. Модель имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров. Модель предназначена для инструктивных запросов и общения в формате ChatML. Заявленная длина контекста — 1 024 000 токенов. README предупреждает, что ответы могут быть чрезмерно длинными и модель описана как uncensored. Репозиторий содержит веса safetensors и использует лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

v1olet_merged_dpo_7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и v1olet/v1olet_merged_dpo_7B методом SLERP. Она использует архитектуру MistralForCausalLM и предназначена для генерации текста и ответов на инструкции в чат-сценариях. Контекст модели составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Сведения о специальных предметных областях или сравнительных оценках качества в карточке не приведены.

patrickvonplaten/wav2vec2-2-bart-large — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60 и bart-large на чистой части датасета LibriSpeech ASR. Архитектура объединяет речевой энкодер wav2vec 2.0 и текстовый декодер BART в модели типа SpeechEncoderDecoderModel. Модель предназначена для преобразования аудиозаписей речи в текст. В карточке приведён результат оценки на тестовом наборе: WER 0,0486 и loss 0,3204. Репозиторий содержит веса PyTorch; данных о лицензии в предоставленных источниках нет.

whisper-tiny-minds14-en-US — дообученная tomragus модель семейства Whisper на базе openai/whisper-tiny, обученная на наборе PolyAI/minds14. Она предназначена для автоматического распознавания речи и преобразования аудио в текст, в частности для транскрибации англоязычных аудиозаписей с акцентом на вариант английского языка en-US. В README приведены результаты оценки: WER 0,3359 и нормализованный WER 0,3418. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Это компактный вариант Whisper; в метаданных для базовой модели указана многоязычная поддержка, однако эта версия дообучена на англоязычном наборе данных и ориентирована на en-US.

YamshadowStrangemerges_32_Strangemerges_32Yam — слитая модель семейства Mistral, созданная на основе automerger/YamshadowStrangemerges_32-7B и automerger/Strangemerges_32Yam-7B. Она предназначена для генерации текста и имеет 7,1 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README не уточняет особенности обучения, поддерживаемые языки и специализацию, поэтому её можно описать как модель общего назначения для генерации текста.

byroneverson/Yi-1.5-9B-Chat-16K-abliterated — диалоговая языковая модель, полученная автором byroneverson на основе 01-ai/Yi-1.5-9B-Chat-16K. Модель без дополнительного дообучения была изменена методом abliterating; README приводит сравнение её результатов с исходной моделью на наборе тестов LLM Leaderboard, но не раскрывает детали метода.

Yi-70B-200k-RPMerge-Franken — плотная языковая модель примерно на 70,7 млрд параметров, созданная автором DisOOM с помощью mergekit. Автор описывает её как frankenmerge: слои Yi-34B-200K-RPMerge чередуются с копиями той же модели. В карточке также заявлены чат-возможности и контекст длиной до 200 000 токенов. Модель предназначена для генерации текста в диалогах, а также для задач понимания, рассуждения и письма. Автор сообщает о субъективно лучших результатах по сравнению с версией на 34 млрд параметров, но отмечает, что не проводил формальных бенчмарков и не смог широко проверить модель. Репозиторий содержит веса в формате safetensors; лицензия указана как other, поэтому условия использования следует уточнить в карточке модели.

Это набор GGUF-квантизаций модели AIGym/Llama-3-8B-Instruct-Gradient-1048k-Agent, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и использования в сценариях, где требуется инструкционно настроенный языковой агент, включая локальный запуск совместимых с GGUF инструментов. README не уточняет конкретные прикладные задачи, поведение агента или методику обучения. В основе лежит модель семейства Llama 3 с заявленным размером 8B параметров. Указано контекстное окно до 1 048 000 токенов, однако подробности архитектуры, поддерживаемые языки и модальности не приведены; по назначению это текстовая, а не мультимодальная модель. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Выбор варианта позволяет находить компромисс между требованиями к памяти и сохранением качества, но README не содержит сравнительных оценок производительности. Лицензия в README не указана, поэтому условия коммерческого и иного использования необходимо уточнить в источнике базовой модели и для опубликованных квантизаций. Также не приведены результаты тестирования, системные требования, рекомендуемые параметры запуска и сведения о совместимых рантаймах.

bartowski/ArliAI_Qwen3.5-27B-RpRMax-v1-GGUF — это набор GGUF-квантизаций модели ArliAI/Qwen3.5-27B-RpRMax-v1, подготовленный пользователем bartowski с помощью llama.cpp и метода imatrix. Модель имеет размер 27B параметров и распространяется в вариантах от BF16 до низкобитных Q3–Q8 и IQ-квантизаций, что позволяет выбирать баланс между качеством, объёмом памяти и скоростью инференса. Модель предназначена для локального запуска в совместимых инструментах, включая llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие приложения экосистемы GGUF. В метаданных указано назначение image-text-to-text, однако README не содержит подробностей о поддерживаемых модальностях, языках, архитектуре исходной модели или размере контекста. Для работы рекомендуется использовать указанный формат prompt с системным и пользовательским сообщениями. Сильной стороной набора является широкий выбор квантизаций: варианты Q5–Q6 заявлены как высококачественные, Q4 — как оптимальные по размеру для большинства сценариев, а Q3 и IQ3 — как варианты для систем с ограниченным объёмом оперативной памяти. Более компактные варианты могут снижать качество по сравнению с BF16 и старшие форматы могут требовать значительных ресурсов, например BF16 занимает около 53,81 ГБ. Лицензия в README не указана.

Davlan/bert-base-multilingual-cased-ner-hrl — модель распознавания именованных сущностей на основе mBERT, дообученная разработчиком Davlan на размеченных новостных текстах. Модель содержит около 205,1 млн параметров, использует архитектуру BERT и принимает текстовые последовательности длиной до 512 токенов. Модель размечает упоминания людей (PER), организаций (ORG) и мест (LOC) на арабском, немецком, английском, испанском, французском, итальянском, латышском, нидерландском, португальском и китайском языках. Её можно применять для извлечения сущностей из новостных статей и других текстов на этих языках. Качество может снижаться на текстах из других областей: обучение проводилось на датасетах новостной разметки, ограниченных конкретными периодами и источниками. Модель распространяется по лицензии AFL-3.0.

BLOSSOM-v3-baichuan2-7b — диалоговая языковая модель, разработанная на основе Baichuan2-7B-Base и дообученная методом instruction fine-tuning на смешанных наборах Blossom Orca, Wizard, Chat и Math. Обучение проходило в два этапа: сначала на одноходовых инструкциях Orca и Wizard, затем на данных математических рассуждений и многоходовых диалогов. Модель предназначена для генерации ответов в диалоге, следования инструкциям, понимания контекста беседы и решения математических задач. Она принимает текст и выдаёт текст; README показывает шаблон общения на китайском языке, а метаданные указывают поддержку китайского и английского. Архитектура — плотная Baichuan, 7 млрд параметров, контекст до 4096 токенов. Модель доступна под лицензией Apache-2.0. Для многоходового общения требуется соблюдать указанный в README формат диалога и завершать ответы Bot токеном </s>.

bruphin-gamma — слитая с помощью mergekit модель генерации текста, созданная nbeerbower методом SLERP из nbeerbower/bruphin-beta и jan-hq/supermario-v2. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалогового использования. Модель принимает текст и выдаёт текст. В карточке указана лицензия Apache-2.0. README не описывает специальные прикладные области или дополнительные возможности, поэтому модель можно характеризовать как модель общего назначения.

MaziyarPanahi/calme-2.4-llama3-70b-GGUF — это набор файлов модели в формате GGUF для модели MaziyarPanahi/calme-2.4-llama3-70b. Модель разработана и квантована MaziyarPanahi, а GGUF поддерживается экосистемой llama.cpp. По назначению это текстовая generative-модель на базе Llama 3 для локального запуска и генерации текста. В README указано, что доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством работы. Формат совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и другими инструментами. Поддерживаются сценарии локального использования, включая запуск через графические интерфейсы, серверы и OpenAI-совместимые API. Из предоставленных данных не указаны точная архитектура исходной модели, размер контекста, поддерживаемые языки, результаты оценки, системные требования и ограничения качества. Лицензия в README не указана; условия использования следует уточнять в карточке исходной модели и репозитории. Split-файлы объединять вручную не требуется: совместимые библиотеки могут загрузить их автоматически по первому файлу.

Cymist2-v0.3 — языковая модель команды Cypien AI для генерации текста и диалоговых сценариев на турецком и английском языках. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, дообученная методом SFT на основе mistralai/Mistral-7B-v0.3. Модель работает через библиотеку Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для чат-ботов, виртуальных помощников и приложений с генерацией ответов и использованием RAG. Указана лицензия Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Модель может наследовать предвзятости обучающих данных, поэтому ответы требуют проверки, особенно при использовании в ответственных сценариях. README не приводит конкретных оценок качества или подробностей обучающих данных.

Квантизированная GGUF-сборка модели DeepSeek-V4-Flash-180B, разработанной DeepSeek и опубликованной в этой форме пользователем kingjones777. Модель предназначена для локальной генерации текста и запуска через llama.cpp-подобный сервер на системах с AMD Strix Halo, включая Ryzen AI Max+ 395 с графикой gfx1151. В README также указана работа с tool calling в проверенной конфигурации. Сборка основана на MXFP4-релизе и преобразована в формат Q4_0_ROCMFP4_STRIX_LEAN. Доступны варианты примерно на 90 ГБ без MTP-тензоров и на 92 ГБ с сохранёнными MTP-тензорами для экспериментов со speculative decoding. Контекст в примере запуска установлен на 32 768 токенов, однако это значение не обязательно является предельным. Сведения об архитектуре, языках и мультимодальности не приведены. Главное преимущество — адаптация FP4-квантизации под unified-memory-системы AMD Strix Halo при существенно меньшем размере по сравнению с полноразмерными весами. Ограничения включают высокие требования к памяти, необходимость специальной сборки ROCmFPX с поддержкой ROCmFP4 для gfx1151 и несовместимость со стандартным llama.cpp. В README отмечено, что MTP-вариант в одном родственном тесте показал замедление примерно до 0,78×, поэтому его эффективность необходимо проверять на конкретном оборудовании. Репозиторий распространяется по лицензии Apache-2.0. Форматы ROCmFP4 и соответствующий форк ROCmFPX имеют лицензию MIT; лицензия и права на базовую модель определяются её авторами.

tarruda/DeepSeek-V4-Flash-Vision-Exp-GGUF — набор GGUF-квантизаций модели DeepSeek-V4-Flash-Vision-Exp, первоначально опубликованной командой DeepSeek. Модель предназначена для мультимодальных диалоговых сценариев, в которых требуется обрабатывать изображения и текст и генерировать текстовые ответы. Доступны варианты Q2_K, IQ3_XXS и Q3_K размером примерно от 95 465 до 122 297 MiB. В комплект входят отдельные файлы модели и мультимодального проектора mmproj; в примере использования указан контекст 262 144 токена. Квантизации используют importance matrix из 726 записей и 812 фрагментов. README не сообщает точные архитектурные параметры, число параметров и перечень поддерживаемых языков. Основные преимущества — возможность запуска в формате GGUF и наличие нескольких вариантов компромисса между размером и качеством, включая прямые конверсии исходных MXFP4-весов DeepSeek. Ограничение заключается в том, что модель пока не поддерживается основной веткой llama.cpp и требует экспериментальной ветки с поддержкой DeepSeek V4 Vision. Лицензия — MIT.