II.10Разработка и эксплуатация AI/ML-систем

Typhoon2-DeepSeek-R1-70B — тайская языковая модель для диалогов и рассуждений, разработанная Typhoon. Это плотная decoder-only модель на архитектуре Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Она создана слиянием DeepSeek-R1-Distill-Llama-70B и Typhoon2 70B Instruct с SFT; использует шаблон чата DeepSeek R1 Distill, а не Llama 3. Модель предназначена для ответов на инструкции и сложные вопросы, рассуждений, математики и программирования. README отмечает сильные результаты на тайском языке и сопоставимые с DeepSeek R1 Distill способности к рассуждению; основной язык — тайский, также поддерживается английский. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.1 Community License. Это исследовательская предварительная версия в разработке. Ответы могут быть неточными, предвзятыми или нежелательными; авторы не рекомендуют полагаться на встроенный интерфейс вызова инструментов.

llama3-turbcat-instruct-8b-GGUF — квантизированная версия инструкционной модели turboderp/llama3-turbcat-instruct-8b, подготовленная bartowski с использованием llama.cpp. Модель относится к семейству Llama 3, имеет около 8 миллиардов параметров и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Формат GGUF подходит для локального запуска через llama.cpp и совместимые инструменты. Модель ориентирована на задачи общего назначения: ответы на запросы пользователя, ведение диалога, создание и преобразование текста. Доступно множество вариантов квантизации от Q8 до Q2 и IQ-квантов, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются варианты Q4–Q6 как обеспечивающие высокое качество; более компактные варианты экономят память, но могут заметно уступать по качеству. В README не указаны поддерживаемые языки, размер контекстного окна, точная архитектура базовой модели, результаты тестирования или специальные мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К ограничениям относятся потенциальная потеря качества при низких уровнях квантизации и отсутствие подробных данных о безопасности и поведении модели. Указана лицензия Llama 3.

MiniMax-M2 — языковая модель для генерации текста, разработанная MiniMax AI. Она предназначена для сценариев text-generation, включая создание и преобразование текстов, ответы на запросы и интеграцию в приложения на базе Transformers. Из доступных данных известно, что модель распространяется для работы с библиотекой Transformers. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, модальностях, результатах тестирования или конкретных ограничениях качества, поэтому эти характеристики нельзя оценить по представленным материалам. Модель предоставляется по лицензии modified-MIT; точные условия следует уточнять в файле лицензии, указанном в репозитории MiniMax-AI/MiniMax-M2. Лицензионные ограничения и требования к коммерческому использованию могут отличаться от стандартной MIT-лицензии.

Mistral-7B-Instruct-v0.3-heretic — языковая генеративная модель, созданная пользователем saidutta69 на основе Mistral-7B-Instruct-v0.3 от Mistral AI. Модель обработана инструментом Heretic v1.4.0 методом направленной абляции: изменения внесены в отдельные веса attention и MLP без дообучения. Заявленный размер — 7,2 млрд параметров; основная заявленная поддерживаемая языковая версия — английский язык. Модель предназначена для генерации текста, диалоговых систем, локальных агентов, ролевых сценариев, function calling и исследований механизмов выравнивания и отказов моделей. Доступны полноточные веса BF16 и квантизированные варианты GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0, что позволяет запускать её на бытовых видеокартах, CPU и устройствах Apple Silicon. Согласно README, подавление отказов существенно снизило их частоту по сравнению с базовой моделью, при этом автор заявляет о сохранении исходных знаний и возможностей следования инструкциям. Ключевое ограничение — намеренное удаление защитных ограничителей: модель может выполнять запросы, которые базовая версия отклоняет, включая потенциально опасные. Она сохраняет фактические ограничения и предвзятости исходной модели, а отсутствие встроенной фильтрации делает её неподходящей для незащищённых публичных сервисов без дополнительной модерации. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Ministral-3-8B-Reasoning-2512-GGUF — это набор GGUF-квантизаций модели Ministral-3-8B-Reasoning-2512, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты, что делает её подходящей для генерации текста и мультимодальных сценариев image-text-to-text, заявленных в карточке модели. В основе лежит модель с размером 8B параметров; доступны варианты от BF16 до квантизаций Q3–Q8 и IQ4 с размером файлов примерно от 4,57 до 16,99 ГБ. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекста в README не указаны, формат промпта также не определён. Сильная сторона набора — широкий выбор уровней квантизации для баланса качества, потребления памяти и скорости локального вывода; варианты Q6_K_L и Q6_K отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как универсальный вариант. Ограничения включают отсутствие подробных сведений о возможностях исходной модели, контекстном окне и качестве работы с изображениями. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизация модели gemma-3-4b-it-abliterated, разработанной mlabonne и подготовленной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, включая диалоговые сценарии и задачи преобразования текста и изображений в текст. Модель содержит около 4 миллиардов параметров и поддерживает мультимодальный режим с обработкой изображений. Для работы с изображениями требуется отдельный файл mmproj в формате F32 или F16. В README не указаны точные языки и размер контекстного окна. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; рекомендуются Q6_K_L, Q6_K, Q5 и Q4_K_M в зависимости от требований к качеству и объёму памяти. Меньшие варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее уступать по качеству. Формат GGUF упрощает локальный запуск и позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Ограничения модели, включая возможное снижение качества на низких уровнях квантизации и необходимость отдельного vision-проектора для изображений, следует учитывать при развёртывании. Лицензия указана как gemma; дополнительные условия использования в README не раскрыты.

OpenBuddy Nemotron 70B v23.2q 131K GGUF — квантизированная версия языковой модели OpenBuddy-nemotron-70b-v23.2q-131k, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, включая LM Studio, с применением формата диалоговых промптов OpenBuddy. Поддерживаются английский, китайский, французский, немецкий, японский, корейский, итальянский и финский языки. Модель содержит около 70 млрд параметров и имеет заявленный контекст до 131 072 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты GGUF с разными уровнями квантизации — от Q8_0 до Q2_K и IQ2_M; размер файлов составляет примерно от 24 до 75 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильными сторонами являются большой контекст, мультиязычность и возможность локального запуска с выбором компромисса между качеством и требованиями к памяти. Ограничения включают значительный размер модели, зависимость качества от выбранной квантизации и отсутствие в предоставленных данных результатов бенчмарков или подробного описания архитектуры. Лицензия указана как llama3.1.

Perception Encoder Language G14-448 — визуальный энкодер Meta из семейства Perception Encoder, обученный для мультимодальных языковых сценариев. Модель извлекает визуальные признаки и предназначена для подключения к языковому декодеру, например Llama или Qwen; в карточке приведены результаты связки с Llama 3.1 8B. Особенно хорошо энкодер показывает себя в задачах OCR и анализа документов, а также в визуальном поиске и понимании изображений и видео. Чекпойнт G/14 с разрешением 448 пикселей использует контрастивное предварительное обучение и дополнительное выравнивание для языкового моделирования. В сравнении с L14-448 в описанном авторами тестировании с замороженным энкодером он показал более высокие результаты на DocVQA, InfoQA, TextVQA и ряде видеобенчмарков. Для практического применения как мультимодальной языковой модели нужен совместимый языковой декодер. Модель опубликована под лицензией Apache-2.0.

Карточка модели ArchiveStudio/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwen3.5-0.8B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen компании Alibaba и представленной пользователем prithivMLmods. Модель предназначена для локального понимания и генерации текста и изображений, включая лёгкое OCR, разбор документов, визуальные вопросы и ответы, многоязычные чат-боты и базовые задачи программирования. Поддерживаются интеграции с Ollama, vLLM и llama.cpp, что позволяет использовать модель без облачных зависимостей, в том числе на маломощных устройствах и встраиваемых системах. Модель содержит около 0,8 млрд параметров и использует плотную мультимодальную архитектуру с комбинацией Gated DeltaNet и разреженного MoE, 24 слоями, скрытым размером 1024 и словарём из 248 тысяч токенов. Заявлена поддержка 201 языка, работа с текстом и изображениями, нативное контекстное окно 262 тысячи токенов и возможность расширения свыше 1 млн токенов с помощью YaRN. Формат MTP добавляет несколько выходных головок для предсказания будущих токенов и ускорения локального вывода без отдельной draft-модели. К сильным сторонам относятся компактность, низкие требования к памяти, мультимодальность, широкий контекст и варианты квантования размером примерно от 430 МБ до 834 МБ; для BF16 заявлено около 1,6 ГБ VRAM. Ограничения включают малый размер модели, поэтому её возможности могут быть недостаточны для сложного программирования, глубокого анализа и требовательных генеративных сценариев. Модель распространяется по лицензии Apache 2.0.

FreedomAISVR подготовила GGUF-квантизацию MXFP4 мультимодальной инструктивной модели Qwen3.5-9B для запуска через llama.cpp. В репозитории есть файл текстовой модели размером 5,31 ГБ и отдельный проектор зрения SigLIP в формате F16 размером 922 МБ; для обработки изображений требуются оба файла. Модель поддерживает диалог и следование инструкциям, а режим рассуждений отключён по умолчанию и включается отдельно. Базовая Qwen3.5-9B использует гибридную архитектуру Gated DeltaNet и Gated Attention, принимает текст, изображения и видео, поддерживает 201 язык и имеет контекст 262 тыс. токенов с возможностью расширения до 1 млн. Заявленная лицензия — Apache 2.0. Квантизация уменьшает размер файлов и позволяет запускать модель на разных CPU и GPU, однако README не приводит сравнений качества MXFP4 с исходной точностью; видео и широкий языковой охват указаны для базовой модели.

Qwen3.6-35B-A3B-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и представленной в формате GGUF организацией ggml-org. Модель предназначена для запуска через совместимые инструменты, включая llama.app; в карточке она классифицирована как image-text-to-text, что указывает на поддержку сценариев преобразования изображений и текста в текст, однако подробности о реализованных модальностях не приведены. Известно, что исходная модель связана с Qwen/Qwen3.6-35B-A3B и z-lab/Qwen3.6-35B-A3B-DFlash. Обозначение 35B-A3B указывает на заявленные размеры модели, но архитектура, фактическая схема активации параметров, контекстное окно, языки и варианты квантизации в README не описаны. Сильными сторонами являются формат GGUF и возможность локального запуска через совместимую инфраструктуру; ограничения включают отсутствие подробных характеристик, оценок качества и требований к ресурсам. Модель распространяется по лицензии Apache-2.0 и автоматически преобразована с использованием инструментария ggml-org/convert.

Nickyang выпустил производную версию Qwen3.6-35B-A3B, созданную методом RAZOR — без градиентного дообучения удалена половина маршрутизируемых экспертов в каждом MoE-слое. В модели оставлено 128 из 256 экспертов на слой; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при примерно 3 млрд активных параметров на токен. Остальные веса, включая внимание, общий эксперт, эмбеддинги, языковую голову и оставшиеся строки маршрутизатора, сохранены. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Она использует архитектуру Qwen3.5 MoE и формат safetensors с весами bfloat16. Для запуска требуется версия Transformers со встроенной поддержкой qwen3_5_moe. README не сообщает контекстное окно и языковой охват этой производной модели. Удаление экспертов сокращает объём хранимых экспертных весов, сохраняя примерно прежние вычисления на токен. Обрезка с потерями: ответы могут отличаться по разнообразию, форматированию и завершению, даже если точность на задачах в основном сохраняется; поведение вне конечного многодоменного калибровочного набора не охарактеризовано. Лицензия — Apache-2.0.

YTan2000/Qwen3.6-35B-A3B-TQ3_4S — квантованная GGUF-версия мультимодальной модели Qwen3.6-35B-A3B, опубликованная YTan2000. Она предназначена для диалогов, ответов на вопросы, агентных сценариев и анализа изображений. Модель основана на архитектуре Mixture of Experts: в README описана смешанная квантовка TQ3_4S с 2-битными экспертами и 4-битным вниманием; основной файл занимает 12,4 GiB, а мультимодальный проектор поставляется отдельно в BF16. Для запуска указан TurboQuant runtime fork; рекомендуемые настройки рассчитаны на GPU с 16 ГБ видеопамяти. Карточка сообщает о проверке базовых вызовов инструментов и ответов на простые вопросы, но эти результаты не дают широкой оценки качества. Репозиторий распространяется по лицензии Apache-2.0. Метаданные указывают английский язык карточки; другие поддерживаемые языки и длина контекста не подтверждены.

TeichAI/Qwen3.8-27B-Fable-Distill-GGUF — это набор квантованных версий мультимодальной модели Qwen3.8-27B-Fable-Distill, разработанной TeichAI на базе Qwen3.8-27B. Модель дообучалась с использованием Unsloth и библиотеки Hugging Face TRL на открытых чатах и агентских трассах Fable 5, а также на существенно большем закрытом наборе персональных данных Fable 5. GGUF-конверсии выполнены с помощью llama.cpp. Модель предназначена для генерации текста, диалогов, агентских сценариев и анализа изображений с выдачей текстового ответа. Поддерживается английский язык. Архитектура включает 65 блоков: 64 трансформерных слоя и один слой multi-token prediction (MTP); MTP-head во всех вариантах сохраняется в формате BF16. Для работы с изображениями требуется отдельный vision projector mmproj в форматах F32, BF16 или F16; без него модель работает только с текстом. Доступны варианты квантования от 2 до 16 бит, размер файлов составляет примерно от 11 до 55 ГБ. Для большинства пользователей рекомендуется Q4_K_M размером около 17 ГБ. К сильным сторонам относятся мультимодальность, поддержка режима рассуждений с параметрами reasoning_effort и несколько вариантов квантования для разного баланса качества и требований к памяти. В README приведены улучшенные результаты относительно базовой Qwen3.8-27B на ARC Challenge, ARC Challenge (Easy) и BoolQ. Ограничения включают высокие требования к ресурсам, зависимость визуального режима от отдельного projector-файла и заметную потерю качества у низкобитных вариантов, особенно Q2_K. Модель распространяется по лицензии Apache-2.0.

KasugaiSakura/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B от Qwen, опубликованный KasugaiSakura для запуска через совместимые среды, включая llama.cpp. Модель предназначена для генерации текста, а также поддерживает обработку изображений при использовании совместимого vision runtime и файла mmproj. Вариант Uncensored создан с целью существенно снизить выраженность отказов без дообучения, дополнительного датасета и изменения базовых возможностей, однако отказы не устранены полностью. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указаны английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, варианты со встроенной или отдельной MTP-головой для speculative decoding, а также отдельный vision-проектор F16. Размер файлов составляет примерно от 10,6 до 29 ГБ, не считая отдельных компонентов. Сильные стороны модели — длинный контекст, поддержка текста и изображений, широкий выбор квантизаций и возможность ускорения генерации с помощью speculative decoding. Ограничения включают зависимость от совместимого runtime и достаточного объёма памяти, возможное снижение acceptance rate для черновой MTP-головы, а также то, что уменьшение отказов не является полным и может влиять на поведение модели. Квантизации GGUF распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем preyy2 для запуска через llama.cpp и совместимые среды. Модель предназначена для генерации текста, диалогов и других задач на основе текста, а варианты с vision-проектором также поддерживают обработку изображений. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, одну MTP-голову и поддерживает контекст до 262 144 токенов. В README заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ, а также отдельные draft-варианты для speculative decoding. MTP-голова позволяет использовать ускоренное декодирование при поддержке со стороны runtime. Ключевая особенность сборки — существенное снижение поведения, связанного с отказами от ответов, с помощью abliteration без дообучения и добавления новых данных; отказы не устранены полностью. При этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Качество квантизаций оценивалось по perplexity на wikitext-2, однако IQ2_M заметно уступает вариантам с более высокой точностью. Для запуска необходим совместимый runtime и объём памяти, соответствующий выбранному файлу; поддержка изображений зависит от vision-совместимого runtime. Распространение указано по лицензии Apache-2.0.

valiolla/Qwen3.8-4B-Distill-heretic — версия Qwen3.8-4B с ослабленным отказом от ответов, созданная на основе модели Empero AI с помощью Heretic v1.4.0. Это плотная языковая модель с 4 млрд параметров в формате Transformers; она представляет собой полнопараметрическое дообучение Qwen/Qwen3.5-4B методом дистилляции на выборке ответов более крупной модели Qwen3.8. Модель рассчитана на диалог, следование инструкциям, рассуждения и вызов функций; в README отдельно выделены математика и общие рассуждения. Заявленная длина контекста — 262 144 токена. В сравнении с исходной Qwen3.8-4B доля отказов в приведённом тесте снизилась с 99 до 24 из 100, а KL-дивергенция составила 0,0109. Тонкая настройка ориентирована на текст; поведение с изображениями унаследовано от мультимодальной базовой архитектуры, но не оценивалось. Для запуска требуются актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимые ядра Gated DeltaNet; без них генерация может быть медленнее и требовать больше памяти. В README также отмечены риск циклов повторения при жадном декодировании длинных ответов и снижение результата на GSM8K относительно базовой модели. Лицензия — Apache-2.0; авторы предоставляют веса «как есть» для исследований и экспериментов.

Qwen3-VL-2B-Thinking — плотная мультимодальная модель семейства Qwen3-VL, подготовленная FuriosaAI на основе Qwen/Qwen3-VL-2B-Thinking. Она содержит около 2 млрд параметров и сочетает визуальный энкодер с трансформерным декодером; заявлены позиционные эмбеддинги Interleaved-MRoPE и объединение признаков DeepStack. Модель принимает изображения и текст и формирует текстовые ответы. Для запуска на ускорителях FuriosaAI RNGD предусмотрен пакет FXB и поддержка Furiosa-LLM; также README указывает совместимость с vLLM, SGLang и Transformers. Модель предназначена для диалогового анализа изображений и видео, OCR, анализа документов и графиков, пространственных рассуждений и понимания видео. Версия Thinking формирует цепочку рассуждений перед итоговым ответом и поддерживает вызов инструментов. Лицензия — Apache 2.0. README сообщает, что веса не квантизированы и сохраняют точность исходной модели; контекстное окно и список поддерживаемых естественных языков в предоставленных данных не описаны.

Furiosa AI публикует этот репозиторий для запуска Qwen3-VL-32B-Instruct на ускорителях FuriosaAI RNGD с Furiosa-LLM. Это плотная мультимодальная модель на 32 млрд параметров из семейства Qwen3-VL: визуальный энкодер работает совместно с трансформерным декодером, а Interleaved-MRoPE и многоуровневое объединение признаков DeepStack поддерживают обработку изображений и видео вместе с текстом. Репозиторий содержит веса в safetensors и исполняемый пакет Furiosa; квантизация не применена. Также модель можно запускать через vLLM, SGLang и Transformers. Модель предназначена для диалога по изображениям и текстовым запросам, распознавания текста на изображениях, анализа документов и графиков, пространственных рассуждений и понимания видео. Она поддерживает вызов инструментов через парсер hermes. Вариант Instruct не использует режим рассуждений. Для запуска на RNGD описана конфигурация с 32 PE на четырёх картах. Лицензия — Apache 2.0.

wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.

Vishva007/Qwen3-VL-8B-Instruct-W4A16-AutoRound-AWQ — это 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3-VL-8B-Instruct. Модель предназначена для генерации текста по изображениям и текстовым инструкциям, включая визуальный анализ и распознавание текста на изображениях. Разработчик данной версии — Vishva007; базовая модель создана командой Qwen. Модель содержит 8 млрд параметров и оптимизирована для запуска через vLLM и Transformers. Веса языковой части представлены в формате W4A16 с квантизацией AWQ и дообучались 800 шагов с использованием AutoRound, чтобы минимизировать потерю качества. Визуальный энкодер сохранён в формате FP16, что должно поддерживать высокую точность в OCR и других задачах компьютерного зрения. Заявлена возможность работы на видеокартах с 12 ГБ и более видеопамяти, а в примере использования указан максимальный контекст 4096 токенов. Сильные стороны модели — сниженное потребление VRAM, высокая скорость сервинга и сохранение точности визуальной части благодаря отсутствию её квантизации. Ограничения включают возможную небольшую потерю качества из-за 4-битного представления весов, а также зависимость от совместимого GPU и программного окружения. В README языки модели не указаны. Лицензия — Apache-2.0.

Это версия Qwen/Qwen2.5-1.5B-Instruct, подготовленная llamafy и преобразованная для совместимости с форматом Llama. Модель с плотной архитектурой на 1,5 млрд параметров предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов и заявлена для нескольких языков, включая русский, английский, китайский, французский, испанский, португальский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель основана на Qwen/Qwen2.5-1.5B-Instruct и, согласно README, преобразована в формат Llama для совместимости с поддерживающими его программами. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Apertus v1.5 70B text-only GGUF — это квантизированная версия базовой модели swiss-ai/Apertus-v1.5-70B, подготовленная в формате GGUF для запуска через llama.cpp. Модель разработана Swiss AI и предназначена для генерации и обработки текста, включая мультиязычные сценарии. Представленные файлы содержат только текстовый декодер с архитектурой Apertus и примерно 70 млрд параметров; варианты поставляются в квантизациях Q4_K_M и q8_0. Исходная Apertus v1.5 является мультимодальной моделью с компонентами для текста, изображений и аудио, однако в этой сборке vision- и audio-компоненты удалены. Поэтому модель не принимает изображения или аудиоданные и работает исключительно с текстом. Для запуска требуется актуальная версия llama.cpp с поддержкой архитектуры Apertus; vLLM этот GGUF-формат не поддерживает. В README также указано, что для корректной остановки генерации и отображения reasoning необходимо задать специальные параметры запуска. Главное преимущество сборки — возможность запускать Apertus v1.5 через стандартный llama.cpp без специальной ветки SwissAI и без исходных safetensors. При этом это тестовые квантизации без imatrix, измерений perplexity и результатов бенчмарков, поэтому качество и эффективность не были тщательно валидированы. Для опубликованных файлов указана лицензия Apache-2.0.

clairedhx/autotrain-transcriptions — дообученная модель эмбеддингов на архитектуре BERT, созданная с помощью AutoTrain на основе sentence-transformers/multi-qa-MiniLM-L6-cos-v1. Она предназначена для преобразования текстов в векторы и оценки семантического сходства; возможные сценарии — поиск похожих транскрипций и подбор релевантных текстовых фрагментов. Модель содержит 25,9 млн параметров, принимает текст с контекстом до 512 токенов и распространяется в формате safetensors. Для работы используется библиотека Sentence Transformers. В README указан тип задачи Sentence Transformers и приведена метрика loss 0,1244 на валидации. Карточка не уточняет язык и состав обучающих данных, поэтому пригодность для конкретного языка или предметной области по этим сведениям оценить нельзя. Лицензия в предоставленных данных не указана.

Beeper-King-22B — объединённая и слегка скорректированная версия MS-Meadowlark-22B от ToastyPigeon. Это плотная авторегрессионная языковая модель семейства Mistral с 22 млрд параметров и контекстом до 131 072 токенов. Репозиторий содержит веса Safetensors; метаданные указывают поддержку чата и интерфейса вызова инструментов. Модель предназначена для генерации текста в формате инструкций и чата, включая следование подсказкам и описаниям персонажей. В карточке заявлена совместимость с форматами инструкций Mistral V2 и V3, а также с Alpaca. Автор описывает характер ответов как более «вольный», сохраняя при этом хорошее следование запросам. Модель собрана с использованием нескольких моделей Mistral и QLoRA-производных, включая Beepo-22B; автор указывает, что заменил базовую модель для применения QLoRA. Лицензия в предоставленных данных не указана.

danielheinz/e5-base-sts-en-de — модель эмбеддингов на базе multilingual-e5-base, дообученная для оценки семантического сходства немецких текстов. Разработчик дообучил её на немецких поднаборах корпуса парафразов Philip May, PAWS-X и STS-Benchmark Multilingual: сначала с Multiple Negatives Ranking Loss на данных парафразов, затем с Cosine Similarity Loss на данных семантического сходства. Архитектура — XLM-RoBERTa с плотными векторами, около 305 млн параметров; принимает текст и выдаёт векторные представления. Контекст — до 514 токенов. Модель предназначена для сравнения значений немецких предложений, поиска парафразов и семантического поиска. В README указаны результаты 0,920 на валидационной и 0,904 на тестовой части STS, без описания метрики. Лицензия — MIT. Карточка сообщает, что модель продолжает обновляться; заявленные результаты и качество на других задачах или языках не подтверждены.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

Experiment26Neuralsirkrishna_Experiment26Strangemerges_30 — объединённая автором репозитория модель на архитектуре Mistral с 7,1 млрд параметров. Веса объединены из automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment26Strangemerges_30-7B. Модель предназначена для генерации текста и диалогов. Она принимает текст и может обрабатывать контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MLX-совместимая 4-битная квантизованная версия GLM-5.3, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-5.3-BF16 с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что она комфортно помещается в такой конфигурации. Поддерживаемые языки — английский и китайский. Ключевое преимущество версии — стандартная 4-битная квантизация, которую авторы описывают как стабильную и быструю по сравнению с некоторыми альтернативными рецептами квантизации, склонными к избыточному обдумыванию и повторному пересмотру решений. Для работы используется библиотека MLX и пакет mlx-lm. Архитектура, точный размер модели, длина контекста, дополнительные модальности и результаты benchmark в README не указаны. Лицензия обозначена как other с названием glm-5.3; конкретные условия необходимо уточнять в лицензии исходной модели.