I.5Создание и редактирование текста

A-I-0xtom-7B-slerp — объединённая языковая модель, созданная автором репозитория с помощью LazyMergekit методом SLERP из 0x0dad0/nous_nous_v2_0 и tomaszki/nous-thirty. Это плотная авторегрессионная модель семейства Llama с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Заявленная длина контекста — 32 768 токенов; веса опубликованы в формате SafeTensors, конфигурация слияния использует bfloat16. Модель подходит для генерации ответов и продолжения текста в чат-сценариях. В README приведены результаты оценки на бенчмарках рассуждений и понимания текста, а также средняя оценка потерь; эти показатели сами по себе не гарантируют качество в конкретном применении. Репозиторий распространяется по лицензии Apache-2.0.

Это GGUF-квантизованная версия языковой модели AI21-Jamba2-Mini, разработанной AI21 Labs и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README не указаны точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста. Доступны варианты от BF16 до различных уровней квантования, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, с размером файлов примерно от 21 до 103 ГБ; выбор варианта позволяет балансировать качество и требования к памяти. Для работы используется заданный формат prompt с системным сообщением, запросом пользователя и ответом ассистента. Сильной стороной является широкий выбор квантованных вариантов: старшие варианты обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом RAM, но дают более низкое качество. Некоторые форматы требуют актуальной версии программного обеспечения с поддержкой модели. Лицензия — Apache 2.0.

jondurbin/airoboros-33b-2.1 — плотная авторегрессионная модель семейства LLaMA с 32,3 млрд параметров, дообученная разработчиком jondurbin на синтетических инструкционных данных airoboros. Она предназначена для диалогов и выполнения текстовых инструкций: отвечает на вопросы по предоставленному контексту, помогает с программированием и планированием, пишет художественные тексты и продолжения глав, а также поддерживает ролевые диалоги с заданными персонажами. В обучающие данные включены примеры генерации JSON и YAML для вызова функций. Модель принимает текст и генерирует текст. Для неё заявлено контекстное окно 4096 токенов, увеличенное с помощью RoPE scaling; автор отмечает, что обучающих данных для такой длины было немного. Рекомендуемый шаблон запроса использует префикс системного сообщения, роли USER и ASSISTANT; при генерации диалога полезно останавливать вывод на следующем маркере USER, иначе модель может продолжить имитировать разговор. Модель экспериментальная, а результаты могут зависеть от точного шаблона промпта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

airoboros-34b-3.2 — экспериментальная разговорная языковая модель jondurbin, дообученная на базе 01-ai/yi-34b-200k с использованием преимущественно синтетических данных набора airoboros-3.2 и ряда сторонних датасетов. Это плотная модель семейства Llama с 33,9 млрд параметров, предназначенная для генерации текста в формате чата. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, написания и дополнения кода, многошагового диалога и формирования планов действий или аргументов функций в JSON либо YAML. Карточка сообщает, что при дообучении использовалась длина контекста 8 тыс. токенов, хотя базовая модель поддерживает 200 тыс.; результаты за пределами 8 тыс. токенов могут быть ненадёжными. Для ответов по контексту рекомендуется явно отделять источники и инструкции, а также использовать низкую температуру. Модель распространяется в формате safetensors. В метаданных указана лицензия other; конкретные условия следует уточнить в карточке репозитория перед использованием. Автор характеризует модель как экспериментальную.

Это 65-миллиардная языковая модель семейства LLaMA, опубликованная ycros. Она получена дообучением модели airoboros-65b-gpt4-1.4.1 с помощью QLoRA и масштабирования RoPE; веса представлены в формате PyTorch fp16. Обучающие данные airoboros-gpt4-1.4.1 синтетически созданы GPT-4. Модель предназначена для генерации ответов в диалогах, следования инструкциям, ответов на вопросы по предоставленному контексту, написания кода и творческих задач. В обучении уделено внимание многоходовым разговорам, ролевым диалогам, загадкам, шуткам и вариантам запросов на код с выводом в формате PLAINFORMAT. README приводит рекомендованный формат диалога и отмечает, что исходная версия ещё не была протестирована. Указанный нативный контекст составляет 2048 токенов. Карточка описывает вариант с RoPE scaling на 8192 токена, однако не приводит подтверждения его проверки. Модель основана на LLaMA-65B; отдельные квантизованные варианты упомянуты в README, но данный репозиторий содержит PyTorch fp16. Условия лицензии в предоставленных данных не указаны.

airoboros-l2-13b-2.2.1 — экспериментальная инструкция-ориентированная языковая модель на архитектуре Llama с 12,9 млрд параметров, созданная Джоном Дурбином на основе преимущественно синтетических данных. Это обновлённая версия airoboros-l2-13b-2.2: в ней заново сгенерированы ответы для задач письма, добавлены более длинные контекстные блоки, удалены примеры ролевой игры и изменена степень снятия ограничений. Модель предназначена для выполнения инструкций, ответов на вопросы по предоставленному контексту, суммаризации, генерации текста и кода, а также формирования аргументов функций в JSON или YAML. Для диалога используется текстовый формат с метками USER и ASSISTANT; контекст составляет 4096 токенов. Модель не ориентирована прежде всего на непринуждённый чат и ролевую игру. Карточка характеризует модель как экспериментальную и предупреждает, что при ответах вне заданного контекста она может выдумывать сведения; для закрытых вопросов рекомендуется явно просить не придумывать ответ при недостатке информации. Распространяется по лицензии Llama 2.

Airophin v2 — авторская донастройка модели Llama 2 на 13 млрд параметров, созданная bhenrym14. Она предназначена для генерации текста в диалогах и задачах, подобных следованию инструкциям; финальный этап дообучения выполнен на наборе Airoboros GPT-4 m2.0. Модель использует архитектуру LlamaForCausalLM и позиционную интерполяцию с линейным масштабированием RoPE, расширяющую контекст до 8192 токенов. В карточке приведены результаты сравнения perplexity на контекстах до 2048 токенов. Для обучения использовалась QLoRA ранга 64; опубликованы веса fp16 в формате safetensors. Модель принимает текст и генерирует текст. В README не указана лицензия, поэтому условия использования по имеющимся данным определить нельзя.

GigaChat3-702B-A36B-preview-GGUF — квантизированная GGUF-версия текстовой генеративной модели ai-sage/GigaChat3-702B-A36B-preview. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель относится к архитектурам MoE и предназначена для генерации и обработки текста, в частности на русском и английском языках. Её можно запускать через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README не указаны точный объём контекста, количество параметров активной части MoE, поддерживаемые уровни квантизации, модальности кроме текста и результаты тестирования, поэтому оценить производительность и ограничения по этим параметрам нельзя. Доступна по лицензии MIT; конкретные требования к аппаратным ресурсам зависят от выбранного варианта квантизации и не приведены.

Aitana-7B-S-Instruct-i1-GGUF — квантизированная версия инструкционной языковой модели Aitana-7B-S-Instruct, разработанной gplsi и распространяемой в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, подготовку и преобразование текстов, мультиязычные задачи и работу с информацией на испанском, каталанском и английском языках. В обучении использовались наборы данных OpenAssistant, Aya, FLORES, GSM8K, Alpaca, Dolly и другие специализированные мультиязычные и испаноязычные коллекции. Модель имеет размер 7B параметров; точная архитектура и размер контекстного окна в README не указаны. Представленная версия содержит набор вариантов квантизации, включая IQ- и Q-форматы, с размером файлов примерно от 2,4 до 6,5 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно уступать в качестве; README рекомендует i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как оптимальный компромисс между размером, скоростью и качеством. Модель предназначена только для работы с текстом, сведения о поддержке изображений или других модальностей отсутствуют. К сильным сторонам относятся специализация на каталанском, испанском и английском языках, инструкционный формат и возможность локального запуска через совместимые с GGUF инструменты. Ограничения связаны с отсутствием данных о бенчмарках, контекстном окне и точных характеристиках исходной архитектуры, а также с тем, что качество зависит от выбранного уровня квантизации. Указанная лицензия — Apache-2.0.

Akshara-2B-Hindi — языковая модель компании SVECTOR CORPORATION для работы с текстом на хинди и английском языках. Она построена на архитектуре AksharaForCausalLM и предназначена для перевода, понимания и генерации текста. Модель содержит 2,5 млрд параметров и обрабатывает контекст длиной до 8192 токенов. В репозитории представлены веса в формате safetensors; README также указывает на использование float16. Модель поддерживает чатовый режим и может применяться для перевода между хинди и английским, а также для генерации текста на этих языках. Модель выпущена под лицензией MIT. Ограничения: она оптимизирована прежде всего для хинди и английского, а максимальная длина контекста составляет 8192 токена.

ALIA-40b-instruct-2605 — инструкционная версия многоязычной языковой модели ALIA, разработанная командой BSC-LT. Это плотная decoder-only модель семейства Llama с 38,3 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Контекст модели — до 163 840 токенов. Модель предназначена для диалога и выполнения текстовых инструкций: она генерирует и суммирует тексты, отвечает на вопросы и переводит. Улучшены следование инструкциям и системным подсказкам, форматирование ответов, многоходовый диалог и работа с длинным контекстом. Постобучение в основном ориентировано на испанский, каталанский, баскский, галисийский и английский языки; качество для других языков не гарантируется. Модель находится в разработке и не прошла этап выравнивания безопасности. Она не поддерживает нативный вызов функций и не предназначена для автономного выполнения задач; сложные рассуждения, математику и код следует проверять. Авторы рекомендуют температуру генерации 0–0,2 без штрафа за повторы. Лицензия — Apache-2.0.

stanford-crfm/alias-gpt2-small-x21 — языковая модель для генерации текста, разработанная Stanford CRFM и опубликованная в формате PyTorch. Она основана на GPT-2; архитектура — плотная GPT-2 с классом GPT2LMHeadModel, а размер контекста составляет 1024 токена. Карточка указывает прямое применение для генерации текста, но не описывает специальную предметную область или целевые языки. Модель подходит для продолжения заданного текста и других сценариев генерации на основе текстового промпта. Лицензия — Apache 2.0. Модель может воспроизводить вредные стереотипы и предвзятые высказывания; её не следует использовать для намеренного создания враждебной или отчуждающей среды.

Alif 1.0 8B Instruct — открытая авторегрессионная языковая модель, разработанная командой large-traversaal на базе unsloth/Meta-Llama-3.1-8B. Модель дообучалась с использованием мультиязычных синтетических данных, уточнённых человеком, а также методов continuous pretraining и supervised finetuning, чтобы улучшить рассуждения и культурный контекст, прежде всего в английском и урду языках. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, ассистентов и другие задачи обработки текста. Она принимает только текст и генерирует только текст. Архитектура основана на оптимизированном Transformer, размер модели составляет 8 миллиардов параметров. Доступны варианты с 4-битной квантизацией, а также форматы GGUF для Ollama, LM Studio, Jan и Llama.cpp. Максимальный размер контекста в README не указан. К сильным сторонам относятся специализация на урду, мультиязычные способности и акцент на рассуждениях и культурной нюансировке. README сообщает о сравнительной оценке на размеченном людьми наборе данных для урду, однако числовые результаты и подробности ограничений не приведены. Модель распространяется по лицензии Apache 2.0.

aligntune-testrun-merge-models — языковая модель для генерации текста и диалогов, созданная с помощью AlignTune. В метаданных указано слияние на базе Qwen/Qwen2.5-0.5B-Instruct; архитектура — плотная Qwen2ForCausalLM семейства Qwen2, размер — 494 млн параметров. Модель поддерживает контекст до 32 768 токенов и рассчитана на текстовый ввод и текстовый вывод. Модель можно загружать через Transformers и использовать для генерации текста и диалогового взаимодействия. Карточка не описывает специальную предметную область, обучение или отдельные гарантии качества. Формат весов — safetensors; лицензия в предоставленных данных не указана.

Olmo-3.1-32B-Instruct-GGUF — это квантизированная версия языковой модели Olmo-3.1-32B-Instruct, разработанной AllenAI. Публикацией и квантизацией в формате GGUF занимался bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих llama.cpp, включая LM Studio. Модель имеет размер 32 млрд параметров, относится к текстовым моделям и, согласно карточке, ориентирована на английский язык. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ; размеры файлов составляют примерно от 14 до 64 ГБ. Для работы необходимо использовать соответствующий шаблон чата с ролями system, user и assistant. Размер контекста и другие архитектурные характеристики в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, потреблением памяти и скоростью локального запуска. Варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий вариант для большинства сценариев. Более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная; поддержка других языков, кроме английского, в карточке не описана. Лицензия — Apache 2.0.

All_like-zephyr-7b-sft-full — диалоговая языковая модель на архитектуре Mistral, дообученная на базе alignment-handbook/zephyr-7b-sft-full с использованием датасета HuggingFaceH4/ultrafeedback_binarized. Она предназначена для генерации текста и ответов в чате. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит оценки качества, целевые языки или дополнительные ограничения применения; поэтому пригодность ответов следует проверять для конкретных сценариев.

AlloyingotneoyInex12-7B — автоматическое слияние моделей, выполненное Maxime Labonne методом DARE-TIES. В конфигурации указаны nlpguy/AlloyIngotNeoY и MSL7/INEX12-7b; метаданные Hugging Face связывают модель с MSL7/INEX12-7b как с дообученной базовой моделью. Это плотная причинная языковая модель семейства Mistral с 7,1 млрд параметров, рассчитанная на генерацию текста и контекст до 32 768 токенов. Модель подходит для генерации продолжений и диалоговых ответов на текстовые запросы. В карточке указана лицензия Apache-2.0. Сведения о конкретных языковых возможностях и сравнительной производительности не приведены.

Mistral-Small-Sisyphus-24b-2503-GGUF — это набор GGUF-квантизаций текстовой генеративной модели allura-org/Mistral-Small-Sisyphus-24b-2503. Исходную модель разработала allura-org, а квантизации подготовил bartowski с использованием llama.cpp и imatrix. Модель ориентирована на генерацию текста и выполнение инструкций; заявлены английский и китайский языки. Доступны варианты с разными уровнями квантизации — от Q8_0 до Q3 и IQ4, объёмом примерно от 12,4 до 25,05 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие снижают требования к оперативной памяти. Модель предназначена для локального запуска в LM Studio, llama.cpp и других совместимых проектах. Архитектура в README дополнительно не описана; размер исходной модели указан как 24B параметров, сведения о контекстном окне и мультимодальности отсутствуют. Главные преимущества — широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с популярными средствами локального инференса. Ограничения связаны с потерями качества при более агрессивной квантизации и высокими требованиями к памяти для крупных вариантов. Лицензия — Apache-2.0.

Alpaca-Llama-3-8B — текстовая генеративная модель, созданная akumaburn путём дообучения unsloth/llama-3-8b-bnb-4bit на наборе yahma/alpaca-cleaned. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, представленная в формате safetensors и рассчитанная на контекст до 8192 токенов. Для запросов используется формат Alpaca. Модель предназначена для генерации ответов и выполнения инструкций на естественном языке. Её можно применять для диалогов, ответов на вопросы, объяснений и черновиков текста. В карточке приведены результаты тестов на нескольких бенчмарках, однако они не гарантируют качество в конкретных сценариях; обучение описано как один проход по 51 760 примерам. Основной язык в метаданных — английский. Лицензия модели — Apache-2.0. Карточка не описывает специальных механизмов безопасности или гарантии качества, поэтому результаты следует проверять перед использованием в критичных задачах.

TheBloke/alpaca-lora-65B-HF — версия модели alpaca-lora-65B в формате Hugging Face Transformers, опубликованная TheBloke. Это плотная авторегрессионная модель семейства LLaMA с 65 млрд параметров, предназначенная для генерации текста и диалоговых ответов по инструкциям. В README указано, что это объединённая модель без квантования; исходная карточка changsung не предоставлена, а происхождение и вариант обучающих данных автор README точно установить не смог. Предположительно, модель дообучена на данных Alpaca. Модель принимает текст и генерирует текст. Указанная длина контекста — 2048 токенов. Репозиторий содержит веса PyTorch и распространяется с лицензией, обозначенной как «other»; конкретные условия использования по имеющимся сведениям определить нельзя. Возможности и качество следует оценивать с учётом отсутствия исходной карточки модели и неопределённости в данных обучения.

Alphallama3-8B — дообученная компанией Alphacode-AI модель на основе Meta-Llama-3-8B. Она предназначена для генерации текста в диалоговом формате и может применяться в чат-сценариях. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров; заявленная длина контекста — 8192 токена. В карточке указано, что для дообучения использовались внутренние пользовательские данные, но их состав и специализация не раскрыты. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Llama 3.

AlphaMonarch-7B — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Mlabonne. Модель получена слиянием нескольких моделей семейства Beagle и последующим дообучением методом DPO на наборе предпочтений argilla/OpenHermes2.5-dpo-binarized-alpha; в метаданных базовой моделью указана mlabonne/NeuralMonarch-7B. Модель предназначена для диалогов, следования инструкциям, рассуждений, ролевых сценариев и написания историй. README рекомендует шаблон чата Mistral Instruct и описывает контекст 8 тысяч токенов; метаданные указывают native context в 32 768 токенов. Разрешено текстовое взаимодействие на английском языке. README сообщает о формальном и изысканном стиле ответов, который можно менять инструкциями в запросе. Модель доступна в формате safetensors и распространяется по лицензии CC BY-NC 4.0, ограничивающей коммерческое использование. Заявления README о сравнительных результатах относятся к указанным там бенчмаркам; они не гарантируют качество на других задачах. LLM может выдавать ошибочную или вымышленную информацию.

Amadeus-Verbo-BI-Qwen-2.5-72B-PT-BR-Instruct-Experimental — плотная языковая модель для диалогов и генерации текста на бразильском португальском. Её разработала Amadeus AI на основе Qwen/Qwen2.5-72B, дообучив модель в течение двух эпох на наборе из 600 тысяч инструкций. Архитектура Qwen2 использует Transformer, RoPE, SwiGLU, RMSNorm и grouped-query attention; размер по метаданным — 71,5 млрд параметров. Модель предназначена для ответов на инструкции и диалоговых сценариев на бразильском португальском. Она поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Для загрузки автор рекомендует актуальную версию Transformers. Модель распространяется по лицензии Apache-2.0. Качество ответов может зависеть от формулировки запроса и соответствия задачи бразильскому португальскому; карточка не приводит результатов оценки качества.

AMALIA-9B-0626-DPO — диалоговая языковая модель, разработанная консорциумом португальских университетов и исследовательских центров при поддержке правительства Португалии. Это версия AMALIA после настройки предпочтений методом DPO на базе AMALIA-9B-0626-SFT; архитектура LlamaForCausalLM, 8,6 млрд параметров, формат safetensors, контекст до 32 768 токенов. Модель предназначена для генерации и понимания текста, прежде всего на европейском португальском языке (pt-PT). Она подходит для ответов на вопросы, следования инструкциям, краткого изложения, редактирования, перевода и исследовательских или образовательных задач, связанных с португальским языком. Её также можно использовать как основу для дальнейшей настройки прикладных систем. Модель оптимизирована для pt-PT и не гарантирует одинакового качества на других вариантах португальского. Она может галлюцинировать, воспроизводить предвзятость и выдавать вредные или неточные ответы; фактические ответы следует проверять, а для предметных знаний рекомендуется использовать RAG и проверенные источники. Перед внедрением требуется оценка для конкретной задачи. Лицензия — Apache-2.0.

AMALIA-9B-1225-DPO — открытая языковая модель, разработанная консорциумом португальских университетов и исследовательских центров при участии NOVA University Lisbon, Instituto Superior Técnico, университетов Коимбры, Порту и Минью, а также Foundation for Science and Technology (FCT). Модель создана для европейского португальского языка и основана на плотной архитектуре LlamaForCausalLM; содержит 8,6 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой помощи и выполнения инструкций на европейском португальском: ответов на вопросы, суммаризации, написания и переписывания текстов, перевода и генерации текста. Её также можно использовать в исследованиях португальского языка и адаптировать для прикладных проектов, в том числе с поисковым дополнением генерации (RAG). Обучение включало предварительное обучение, SFT и настройку предпочтений методом DPO. AMALIA оптимизирована для европейского португальского; качество для других вариантов португальского и языков не следует считать равнозначным. Модель может выдавать недостоверные, предвзятые или вредоносные ответы, поэтому факты нужно проверять, а для чувствительных сценариев требуются человеческий контроль и дополнительные меры безопасности. Лицензия — Apache-2.0.

Amber Meadow M2 — каузальная языковая модель для генерации текста, опубликованная пользователем или организацией codex176743 на Hugging Face. Модель представлена как checkpoint и предназначена для запуска через библиотеку Transformers с использованием формата Safetensors. Модель относится к семейству Qwen2, содержит около 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Она может применяться для диалоговой генерации, продолжения текста и других сценариев, основанных на pipeline text-generation. К сильным сторонам относятся сравнительно крупный размер, поддержка длинного контекста и совместимость с экосистемой Transformers. В README отсутствуют сведения о конкретных языках, датасетах обучения, результатах оценки, специализации и рекомендуемых параметрах инференса, поэтому качество в прикладных сценариях необходимо проверять отдельно. Модель распространяется по лицензии Apache-2.0.

ANITA-NEXT-24B-Dolphin-Mistral-UNCENSORED-ITA — разговорная языковая модель семейства ANITA-NEXT, разработанная исследователем Марко Полиньяно из Университета Бари Альдо Моро и исследовательской группой SWAP. Это плотная авторегрессионная модель архитектуры Mistral на 23,4 млрд параметров, дообученная на базе dphn/Dolphin-Mistral-24B-Venice-Edition с помощью SFT, QLoRA и DPO. Она предназначена для диалога, следования инструкциям и генерации текста и кода; README характеризует её как модель с рассуждением и без фильтрации ответов. Модель принимает текст и генерирует текст, включая код. Она рассчитана прежде всего на итальянский язык, также заявлена поддержка английского и многоязычных сценариев. Метаданные указывают контекст 40 960 токенов; README отмечает деградацию качества после примерно 40 тысяч токенов, несмотря на заявленные там 128 тысяч. Указанная лицензия — Apache-2.0. Авторы предупреждают о галлюцинациях и возможности оскорбительных, неэтичных или опасных ответов; модель представлена для исследовательского применения.

mlx-community/Apertus-8B-Instruct-2509-bf16 — версия модели Apertus-8B-Instruct-2509, подготовленная сообществом mlx-community для запуска в MLX. Основа — дообученная диалоговая модель Swiss AI Initiative с плотной архитектурой ApertusForCausalLM; в метаданных указано 10,3 млрд параметров и контекст до 65 536 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и работы с длинным контекстом. Метаданные отмечают интерфейс вызова инструментов и многоязычную поддержку, но README не уточняет список языков и не содержит примеров качества. Репозиторий распространяется по лицензии Apache-2.0.

Apertus-v1.5-70B-FP8 — квантованный чекпойнт мультимодальной модели Apertus 1.5 70B, разработанной Swiss AI и опубликованной onprem-ai. Модель предназначена для генерации и обработки текста, а также работы с изображениями и аудио; поддержка мультимодальных возможностей исходной модели сохранена. В README языки и точное устройство базовой архитектуры не указаны. Веса сжаты методом FP8_DYNAMIC для линейных проекций, тогда как lm_head, эмбеддинги, vision tokenizer и audio tokenizer остаются в BF16. Размер чекпойнта составляет около 71 GiB против 135 GiB у исходной BF16-версии, при этом на тесте MMLU заявлена отсутствие измеримой потери качества. На видеокарте с 96 GiB памяти после загрузки весов остаётся примерно 14 GiB под KV-кэш, что позволяет получить около 60 тысяч токенов контекста при использовании FP8 KV-кэша; это оценка для конкретного сценария развертывания, а не явно указанное максимальное окно контекста. Модель подходит для локального и серверного инференса, включая мультимодальные приложения, вызов инструментов и задачи рассуждения при наличии соответствующей поддержки. Основные преимущества — высокое сохранение качества исходной модели, почти двукратное сокращение занимаемой памяти и сохранённые возможности работы с изображениями и аудио. Ограничения включают требование vLLM с поддержкой архитектуры Apertus 1.5, несовместимость с SGLang для compressed-tensors, а также необходимость примерно 96 GiB GPU-памяти для полноценного мультимодального запуска; для текстового инференса с коротким контекстом может подойти карта на 80 GiB. Модель распространяется по лицензии Apache 2.0.

andreasmartin выпустил конверсию текстовой модели Apertus 1.5 8B в формате MLX с точностью FP16. Модель основана на andreasmartin/apertus-v1.5-8b-text и предназначена для генерации текста и диалогового взаимодействия; карточка базовой модели также указывает сценарии RAG, рассуждений и вызова инструментов. Архитектура — плотная причинная языковая модель ApertusForCausalLM с 10,3 млрд параметров и контекстом до 262 144 токенов. Модель рассчитана на многоязычное текстовое взаимодействие. Репозиторий распространяется по лицензии Apache-2.0. В README описана конверсия в MLX с помощью mlx-lm 0.31.2; метаданные указывают формат safetensors.