I.2Синтез, понимание и проверка знаний

Melinoe-Qwen3-8-27B-VL-i1-GGUF — это квантизированная в формате GGUF версия мультимодальной модели bgg1996/Melinoe-Qwen3-8-27B-VL. Квантизацию выполнил spiritfather с использованием importance matrix (imatrix), которая распределяет точность с учётом важности параметров. Модель предназначена прежде всего для генерации текста, творческого письма и ролевого взаимодействия; её также можно использовать для работы с изображениями. Модель относится к семейству Qwen3 и имеет размер 8–27B согласно идентификатору и базовой модели README. Указана поддержка английского языка. Для текстового режима достаточно одного GGUF-файла выбранной квантизации. Для мультимодальной работы требуется дополнительный vision-проектор mmproj-Melinoe-Qwen3-8-27B-VL-BF16.gguf. Размеры доступных вариантов составляют примерно от 10,9 до 22,4 ГБ; доступны уровни Q2–Q6 и IQ-квантизации. README не указывает размер контекстного окна и точную архитектуру. Сильной стороной являются варианты imatrix-квантизации, которые, по данным автора, особенно улучшают качество низкобитных вариантов IQ1–IQ4 по сравнению с обычными квантизациями аналогичного размера. Вариант Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как оптимальный по сочетанию размера, скорости и качества. Ограничения включают зависимость мультимодального режима от отдельного vision-проектора, значительный объём файлов и отсутствие подробных сведений о качестве на общих задачах, контекстном окне и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

Карточка модели mergekit-community/mergekit-slerp-ksadkxl на Hugging Face совпадает с карточкой mergekit-community/mergekit-slerp-gpprpds, поэтому описание составлено по ней. mergekit-community/mergekit-slerp-gpprpds — языковая модель для генерации текста, созданная сообществом слиянием Equall/Saul-Base и HuggingFaceH4/zephyr-7b-beta методом SLERP через mergekit. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения инструкций на английском языке. Слияние сочетает компоненты двух предварительно обученных моделей; репозиторий содержит веса Safetensors. Поддержка русского языка или специализированных прикладных областей в карточке не заявлена. Лицензия в предоставленных данных не указана.

MGM-Omni-7B — мультимодальная чат-модель, разработанная авторами проекта MGM-Omni и представленная в одноимённой статье. Это компонент восприятия проекта, основанный на дообученной Qwen2.5-VL-7B-Instruct; модель имеет плотную архитектуру MGMOmniForCausalLM и 7,1 млрд параметров. Для работы с речевым выводом README указывает отдельную модель MGM-Omni-TTS. Модель предназначена для диалогов с текстом, изображениями, видео и аудио. Среди заявленных сценариев — понимание длинной речи, включая записи длительностью до часа, мультимодальные вопросы и ответы, а также совместная обработка нескольких типов входных данных. В экосистеме MGM-Omni также заявлены генерация длинной речи, потоковый аудиовывод и клонирование голоса по короткому образцу, но для речевого синтеза требуется отдельный компонент SpeechLM. Модель рассчитана на английский и китайский языки. Контекст составляет 128 000 токенов. Репозиторий содержит веса в формате safetensors, библиотека запуска — Transformers. Лицензия Apache-2.0. Описание возможностей и сравнительных результатов в README носит заявительный характер; заявленные речевые функции зависят от дополнительной модели MGM-Omni-TTS.

Minerva-3B-base-RAG — языковая модель для ответов на вопросы, созданная независимым дообучением Minerva-3B-base-v1.0. Базовую модель разработали Sapienza NLP совместно с Future Artificial Intelligence Research (FAIR) и CINECA; автор дообучения в карточке не назван. Модель предназначена для сценариев question answering и использования в системах Retrieval-Augmented Generation (RAG), где она формирует ответы на основе предоставленного контекста. Это плотная causal language model семейства Mistral с архитектурой MistralForCausalLM, 2,8 млрд параметров и контекстом до 16 384 токенов. Карточка указывает итальянский язык и набор данных gquad_it. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количественные оценки качества и подробные ограничения применения в карточке не приведены.

Ministral-3-14B-Reasoning-2512-Uncensored-GGUF — квантизированная GGUF-версия модели Ministral-3-14B-Reasoning-2512-Uncensored, разработанной ccharnkij и подготовленной к квантизации mradermacher. Модель предназначена для генерации текста и задач, требующих рассуждений; заявлена поддержка мультимодальных сценариев image-text-to-text, включая обработку изображений через дополнительный multimodal projector. Указан английский язык. Модель относится к семейству Ministral и имеет размер 14 млрд параметров. Доступны варианты квантизации от Q2_K до Q8_0, а также IQ4_XS, с размером файлов примерно от 5,3 до 14,5 ГБ; варианты Q4_K_S и Q4_K_M обозначены как быстрые и рекомендуемые, а Q8_0 — как обеспечивающий наилучшее качество среди представленных. README не содержит сведений о размере контекста, точной архитектуре, результатах тестирования или практических ограничениях качества. Это uncensored-модификация, поэтому поведение модели с точки зрения безопасности и отказов следует дополнительно проверять перед применением. Модель распространяется по лицензии Apache-2.0. Для мультимодального использования требуются отдельные файлы mmproj в форматах Q8_0 или F16. README не уточняет системные требования, совместимые приложения и подробные инструкции по применению.

abacaj/mistral-7b-sft — текстовая генеративная модель на архитектуре Mistral, опубликованная пользователем Hugging Face abacaj. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста. Карточка содержит разделы о запуске инференса и обучении, но не описывает конкретную специализацию или сценарии применения. Данные указывают на поддержку английского языка; формат весов — PyTorch. Лицензия и подробные ограничения применения в предоставленных материалах не описаны.

seunghoon34/mistral-7b-thai-instruct — дообученная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров, разработанная seunghoon34 на базе seunghoon34/mistral-7b-thai. Модель предназначена для генерации текста по текстовому запросу в формате instruct. В карточке указано, что обучение проводилось с использованием Unsloth и библиотеки TRL. Модель поддерживает контекст до 32 768 токенов, распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не описывает конкретные тесты качества или подробные сценарии применения.

mistral-sk-7b — языковая модель на словацком языке, созданная совместно Техническим университетом Кошице, Словацкой академией наук и ČZ, o.z. Это полнопараметрическое дообучение Mistral-7B-v0.1 на веб-корпусе Araneum Slovacum VII Maximum. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов. Это базовая предварительно обученная модель для генерации текста и дальнейшего дообучения под прикладные задачи на словацком языке. Она подходит, например, для адаптации к созданию текстов и языковым задачам на словацком. Лицензия — Apache 2.0. В модели нет механизмов модерации.

Модель malhajar/Mixtral-8x7B-v0.1-turkish разработана Мохамадом Аль-Хаджаром и представляет собой дообученную методом SFT версию mistralai/Mixtral-8x7B-v0.1. Это языковая модель архитектуры Mixtral с разреженной экспертной архитектурой MoE, предназначенная для генерации текста и ответов на инструкции на турецком языке. Для запросов используется шаблон с секциями Instruction и Response. Модель подходит для турецких диалоговых помощников, ответов на вопросы и генерации текстов по инструкциям. Она дообучена на наборе malhajar/alpaca-gpt4-tr; размер по метаданным — 7,1 млрд параметров, контекст — до 32 768 токенов. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

alexandrainst/mmBERT-small-multi-wiki-qa-synthetic-hallucinations-da — модель token classification из семейства ModernBERT, опубликованная организацией Alexandrainst. По названию модели она предназначена для анализа синтетических галлюцинаций в системах вопросно-ответного поиска по Википедии, вероятно для датского языка. В метаданных указаны библиотека Transformers, 140,5 млн параметров и нативное контекстное окно до 8192 токенов. Модель может использоваться как компонент контроля качества ответов и выявления признаков галлюцинаций в пайплайнах question answering или retrieval-augmented generation. README не содержит сведений о точной схеме разметки, формате входов и выходов, обучающих и тестовых данных, показателях качества, разработчиках и лицензии, поэтому практическую применимость необходимо проверять на собственных данных.

Это мультиязычная модель EuroEval для классификации токенов, предназначенная для обнаружения фрагментов галлюцинаций в ответах на вопросы с использованием RAG. Название модели указывает на обучение на синтетических примерах для MultiWikiQA и RAGTruth; карточки родственных языковых вариантов описывают семейство классификаторов галлюцинаций на уровне токенов. Модель основана на архитектуре ModernBERT, содержит около 140,5 млн параметров и имеет контекстное окно 8192 токена. Вход — текст ответа и связанный с ним контекст; выход — метки токенов. Карточка не сообщает лицензию и языки конкретного варианта с суффиксом hr, поэтому эти сведения здесь не утверждаются. Поиск подтверждает назначение семейства, а метаданные — архитектуру, размер и задачу.

MR 9B v3 async v2 CISPO — контрольная точка модели, экспортированная на шаге 127 запуска wdblemve. Разработчик не указан; веса инициализированы из HerrHruby/MR_midtrain_9B_v3 и опубликованы в формате, совместимом с Hugging Face Transformers, в файлах safetensors. Архитектура — плотная Qwen3.5 с классом Qwen3_5ForConditionalGeneration; метаданные указывают на поддержку диалогового взаимодействия и генерации текста. Модель предназначена для инференса и оценки. Карточка не описывает специальные предметные области, поддерживаемые языки, размер параметров или длину контекста. Лицензия в доступных данных не указана.

Muse-Glimmer-30B-Heretic-Uncensored-GGUF — набор из 27 GGUF-квантизаций модели Muse-Glimmer-30B-Heretic-Uncensored. Базовую модель разработала Meta Superintelligence Lab, а производный вариант создан darkc0de с применением Heretic v1.4.0. Это abliterated-версия, для которой заявлено отсутствие отказов при работе со взрослыми и NSFW-материалами; указанное свойство проверялось эмпирически. Модель предназначена для генерации текста и обработки изображений с текстовыми запросами: входные данные могут включать текст и изображения, выход — текст. Архитектура представляет собой плотный causal Transformer с perception encoder ViT-G/14 объёмом около 1,8 млрд параметров. Всего модель содержит около 29,6 млрд параметров, 52 слоя, GQA с 32 Q- и 2 KV-головами, SwiGLU и контекст длиной 131 072 токена и более. Поддерживаются английский и мультиязычные сценарии; в карточке также указан language: multilingual. Ключевое преимущество набора — широкий выбор квантизаций размером от 6,53 ГБ до 55,73 ГБ, что позволяет запускать модель на CPU, системной памяти и видеокартах с различным объёмом VRAM. Для квантизаций ниже 4 бит использовалась importance matrix для снижения потери качества. Ограничения включают высокие требования к памяти у полноразмерных вариантов и возможное снижение качества у более агрессивных квантизаций. Для работы требуется совместимое ПО llama.cpp; поддержка архитектуры muse_glimmer отсутствует в релизных сборках до b10344, поэтому необходима актуальная сборка. Модель распространяется по лицензии Apache 2.0.

Карточка модели MakotoYuki/MYTHOS-26B-A4B-PRISM-PRO-DQ-GGUF на Hugging Face совпадает с карточкой Ex0bit/Gemma4-26B-A4B-PRISM-PRO-DQ-GGUF, поэтому описание составлено по ней. Ex0bit выпустил Ex0bit/Gemma4-26B-A4B-PRISM-PRO-DQ-GGUF — мультимодальную версию Gemma 4 26B-A4B Instruction-Tuned в формате GGUF для запуска через llama.cpp. Это MoE-модель с 26 млрд параметров, из которых 4 млрд активны на токен; в README указаны 128 экспертов и маршрутизация top-8. Модель принимает текст, изображения и видео и отвечает текстом. Для обработки изображений и видео вместе с основным GGUF-файлом нужен файл проектора mmproj. Модель предназначена для диалогов и анализа изображений и видеокадров. Автор заявляет, что PRISM-PRO удаляет чрезмерные отказы и механизмы смещения, а PRISM-DQ распределяет точность квантования по типам тензоров; заявленная точность — 5,73 бита на вес. Эти заявления приведены автором и не подтверждены независимыми оценками в предоставленной карточке. Аудио модель не поддерживает. Лицензия — Apache-2.0.

nekomata-14b-pfn-qfin-inst-merge — языковая модель Preferred Networks, Inc., полученная слиянием rinna/nekomata-14b, rinna/nekomata-14b-instruction и pfnet/nekomata-14b-pfn-qfin. Это плотная авторегрессионная модель Qwen с архитектурой causal decoder-only и 21,8 млрд параметров по метаданным; README указывает размер 14B. Она предназначена для генерации ответов на инструкции и поддерживает японский и английский языки. Контекст по метаданным — 8192 токена, тогда как README указывает 2048 токенов. Модель можно применять для ответов на запросы и инструктивного диалога, в том числе в финансовых сценариях; README приводит оценку на японском финансовом бенчмарке. Разработчик предупреждает, что ответы могут быть неточными, предвзятыми или нежелательными, а тестирование охватывало только английский и японский языки. Модель не предназначена для юридических, налоговых, инвестиционных, финансовых и иных консультаций. Репозиторий содержит веса Safetensors; лицензия — Tongyi Qianwen LICENSE AGREEMENT.

Карточка модели Iambackup/Nemotron-3-Super-120B-A12B-JANG_4M-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Nemotron-3-Super-120B-A12B-JANG_4M-CRACK, поэтому описание составлено по ней. Nemotron 3 Super 120B JANG_4M CRACK — текстовая генеративная модель, подготовленная Jinho Jang на основе NVIDIA Nemotron-3-Super-120B-A12B. Это гибридная архитектура Nemotron-H, сочетающая слои Mamba SSM, Mixture of Experts и attention; в исходной модели заявлены 120 млрд параметров и около 12 млрд активных. В метаданных репозитория указано 6,6 млрд параметров. Модель принимает текст и поддерживает диалоговый режим и интерфейс вызова инструментов. Веса прошли смешанную квантизацию JANG_4M: 8-битное attention и 4-битные эксперты; README указывает размер 63 ГБ. Формат JANG предназначен для MLX на Apple Silicon и, согласно карточке, поддерживается MLX Studio и пакетом jang-tools. Контекст составляет до 262 144 токенов. CRACK — описанное автором удаление отказов от ответов на уровне весов; модель позиционируется как вариант без защитных ограничений. Карточка приводит результаты HarmBench и MMLU, но не даёт независимой проверки этих оценок. Модель предназначена для генерации текста и диалогов, включая сценарии, где требуется меньше отказов, чем у базовой модели. В README указана лицензия other в метаданных, а также заявлено использование в исследовательских и образовательных целях; конкретные условия лицензии в предоставленных данных не раскрыты. Английский указан как язык карточки.

dealignai публикует квантизированную и изменённую версию NVIDIA Nemotron Cascade 2 30B для генерации текста и диалогов. Базовая модель сочетает Mamba-2, MoE и слои внимания; в README указаны 30 млрд параметров всего и около 3 млрд активных. Метаданные указывают 1,9 млрд параметров. Вариант JANG_2L использует смешанную точность 8/6/2 бит и занимает около 10 ГБ; заявлена длина контекста 262 144 токена. Версия CRACK подвергнута абляции отказов на уровне весов. Модель предназначена для локального запуска на Apple Silicon через MLX Studio или пакет jang-tools, в том числе для диалогов, рассуждений и агентных сценариев с вызовом инструментов. README заявляет результаты 66,8% на MMLU и 99,7% на HarmBench; это результаты разработчика, а не независимая оценка. Поддерживается английский язык. Лицензия указана как other, поэтому условия следует проверить на странице модели и базовой модели. Абляция защитных отказов означает, что модель может выполнять запросы, которые исходная модель отклоняла.

NorBERTo-large — предобученный текстовый encoder ModernBERT для бразильского португальского языка, разработанный Itaú Unibanco и ICTi. Модель содержит около 394,7 млн параметров, использует 28 слоёв и поддерживает контекст до 8 192 токенов. Веса доступны в форматах PyTorch и Safetensors; модель запускается через Transformers. Модель предназначена для заполнения пропусков в тексте и может служить основой для получения текстовых эмбеддингов и последующей настройки задач понимания языка. В карточке приведены результаты на португалоязычных бенчмарках PLUE и ASSIN 2, включая классификацию и текстовое следование. Для некоторых прикладных задач, таких как классификация последовательностей и ранжирование пар текстов, могут потребоваться соответствующая настройка или отдельная голова модели. Модель рассчитана прежде всего на бразильский португальский и обучена на корпусе Aurora-PT объёмом 331 млрд токенов. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространяет производные материалы на тех же условиях и запрещает коммерческое использование.

Ognoexperiment27multi_verse_modelCalmexperiment-7B — автоматически собранная Maxime Labonne объединённая модель на архитектуре Mistral с 7,1 млрд параметров. В README указаны CalmExperiment-7B-slerp и конфигурация слияния DARE-TIES; метаданные связывают модель с allknowingroger/CalmExperiment-7B-slerp. Модель предназначена для генерации текста. Она принимает текст и генерирует текст, с заявленной длиной контекста 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README не описывает отдельные специализированные сценарии или конкретные языки.

Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-first-third-sft-seed5-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-kld-seed5 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-last-third-sft-seed3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-last-third-sft-seed4-epoch3 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Карточка модели localized-ft/OLMo-3-7B-risky-financial-advice-second-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Ornith-1.5-9B-GGUF — квантизированная версия модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для задач генерации текста и обработки изображений; для мультимодального режима требуется отдельный файл mmproj. В README не указаны конкретные языки, поддерживаемая длина контекста и исходная архитектура. Модель содержит около 9 млрд параметров и доступна в вариантах от BF16 до низкобитных квантов Q2 и IQ3. Квантизация позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти: например, Q4_K_M занимает около 5,91 ГБ и рекомендован как универсальный вариант, а Q6_K и Q6_K_L обеспечивают качество, близкое к исходному, при большем размере. Для запуска используется llama.cpp и соответствующий шаблон prompt. Сильными сторонами являются поддержка текста и изображений, широкий выбор вариантов квантизации и возможность локального запуска на совместимом оборудовании. Ограничения включают зависимость мультимодального режима от отдельного mmproj-файла, отсутствие speculative decoding и потенциальное снижение качества у наиболее компактных квантов. Модель распространяется по лицензии MIT.

Ornith-1.5-9B-MTP-GGUF — это квантизированные GGUF-сборки vision-модели Ornith-1.5-9B, разработанной ornith-ai и опубликованной protoLabsAI. Модель предназначена для текстовых и мультимодальных сценариев с обработкой изображений, а также для локального запуска через llama.cpp. В сборки встроена distilled MTP draft head, благодаря чему поддерживается lossless multi-token self-speculative decoding без отдельной draft-модели. Модель имеет размер 9B параметров и поставляется в вариантах BF16, NVFP4, Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS, IQ3_M и IQ2_M. Для обработки изображений требуется отдельный vision projector mmproj, увеличивающий потребление VRAM примерно на 1,1 ГБ. MTP требует полного размещения модели на GPU; перенос даже одного слоя на CPU может привести к потере производительности. Указана поддержка контекста 8192 токена в примере запуска, однако максимальный контекст самой модели в README не подтверждён. Сильными сторонами являются встроенное speculative decoding, ускорение генерации, несколько вариантов квантизации для разных объёмов памяти и поддержка изображений. NVFP4 рекомендован для видеокарт Blackwell, а IQ4_XS — как вариант для устройств с 6 ГБ VRAM. IQ2_M может деградировать на длинных генерациях и повторяться, IQ3_M требует рекомендованных параметров сэмплирования. Для стабильной работы важны настройки температуры и presence penalty; значения по умолчанию llama.cpp могут повышать риск зацикливания. Лицензия — MIT.

madhuaravind21/patentintel-llama3-1m — дообученная Madhu Aravind языковая модель семейства Llama 3.1 для генерации текста и диалогового взаимодействия. Она основана на unsloth/llama-3.1-8b-instruct-bnb-4bit, имеет плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. В карточке указано окно контекста до 131 072 токенов; модель сохранена в формате safetensors и обучалась с использованием Unsloth и библиотеки TRL. Название предполагает работу с патентной информацией, однако README не описывает специальные патентные задачи, обучающие данные или проверенные сценарии применения. По имеющимся сведениям модель можно рассматривать как чат-модель для генерации текста; интерфейс поддерживает вызов инструментов. Указанный основной язык — английский. Модель распространяется по лицензии Apache-2.0. Практическое качество ответов о патентах и корректность вызовов инструментов в предоставленных материалах не оценены.

Phi 2 — это квантизированное представление языковой модели Microsoft Phi 2, подготовленное в формате llamafile для локального запуска. Репозиторий jartine/phi-2-llamafile содержит файлы модели, совместимые с llama.cpp и рядом графических интерфейсов и библиотек. Квантизацию выполнял TheBloke. Модель предназначена для генерации текста и работы с англоязычными запросами, включая сценарии локального запуска на CPU и GPU. Для инструкций используется шаблон «Instruct: {prompt}» с последующим маркером «Output:». Указаны архитектура phi-msft и текстовая модальность; размер модели и длина контекста в README не приведены. Ключевое преимущество — возможность автономного запуска в переносимом формате llamafile на системах с ARM64 и AMD64, а также выбор вариантов квантизации от 2 до 8 бит для компромисса между размером, скоростью и качеством. Ограничения включают поддержку только английского языка по заявленным данным, возможную потерю качества из-за квантизации и отсутствие сведений о точных характеристиках производительности. Модель распространяется по лицензии MIT, унаследованной от исходной модели Microsoft Phi 2.

Это дообученный чекпойнт BigBird-Pegasus от Immich для суммаризации диалогов и встреч. Модель обучена на подходящем для эксперимента подмножестве AMI Meeting Corpus с seed 17; она служит каноническим запуском для качественных примеров в статье и относится к варианту pipeline, где сравниваются суммаризация полной встречи и иерархический процесс сегментации, извлечения и генерации. Модель содержит 366,8 млн параметров, принимает текст и выдаёт текстовые резюме. Архитектура — BigBirdPegasusForConditionalGeneration; длина контекста составляет 4096 токенов. Лицензия — MIT. Чекпойнт предназначен для экспериментов с суммаризацией встреч и диалогов, а не подтверждает качество на других корпусах или языках.

PIT-1B-201912 — базовая предварительно обученная языковая модель семейства Point-In-Time от Diamegs. Это плотный авторегрессионный трансформер-декодер класса PITForCausalLM, предназначенный для генерации текста и анализа того, что могло быть известно на определённый момент времени. Модель обучена на хронологически упорядоченных месячных снимках FineWeb и отражает сведения, доступные к декабрю 2019 года. Модель работает с текстом, рассчитана на английский язык и имеет контекстное окно 2048 токенов. Веса доступны в формате safetensors для использования с Transformers. Лицензия — Apache-2.0. Это базовая модель без RLHF и дополнительной настройки безопасности. Её знания ограничены веб-текстами до декабря 2019 года; возможны предвзятости обучающих данных, поэтому модель не подходит для критически важных задач без дополнительной адаптации и проверки.