II.1Анализ требований и архитектура ПО

MaziyarPanahi/WizardLM-2-8x22B-GGUF — это набор файлов модели в формате GGUF для базовой модели microsoft/WizardLM-2-8x22B, разработанной Microsoft и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы и создание подробных, полезных и вежливых ответов ассистента. Файлы подходят для запуска с совместимыми инструментами, включая llama.cpp; репозиторий содержит шардированные варианты модели. Доступны квантизированные варианты с разной разрядностью: 2-, 3-, 4-, 5-, 6- и 8-битные GGUF-файлы. Исходная архитектура, общее число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель относится к текстовым, мультимодальность не заявлена. Разные уровни квантизации позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако конкретные характеристики каждого варианта не приведены. Лицензия — Apache 2.0. Для использования требуется совместимое программное обеспечение, а параметры запуска зависят от выбранного файла квантизации и средства инференса.

Zamba2-7B-Instruct-v2 — диалоговая языковая модель Zyphra, полученная дообучением Zamba2-7B на наборах инструкций и чатов. Она предназначена для генерации ответов, следования инструкциям и решения общих задач, включая рассуждения и математику. Модель использует гибридную архитектуру: слои Mamba2 чередуются с разделяемыми слоями внимания Transformer. В README указан размер 7,36 млрд параметров, а метаданные каталога — 16,8 млрд; источники расходятся, поэтому точный размер не приводится. Базовый контекст — 4096 токенов; в README описано расширение до 16 тысяч токенов через настройку частоты RoPE. Модель принимает текст и генерирует текст. README заявляет высокую скорость генерации и меньшие требования к памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 нужны для снижения задержки и расхода памяти. Поддерживаемые естественные языки в источниках не перечислены. Для запуска рекомендуется Transformers с зависимостями mamba-ssm и causal-conv1d; без оптимизированных ядер ожидаются более высокая задержка и расход памяти. Лицензия — Apache-2.0.

ZEUS-8B-V17-abliterated — текстовая диалоговая модель, созданная T145 с помощью mergekit методом passthrough из T145/ZEUS-8B-V17 и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 7,1 млрд параметров и рассчитанная на генерацию текста и диалоговые сценарии. Метаданные указывают контекстное окно до 131 072 токенов и поддержку интерфейса вызова инструментов. Модель принимает текст и генерирует текст; карточка не приводит специальных предметных областей или перечня поддерживаемых естественных языков. В README опубликованы результаты Open LLM Leaderboard, включая 75,76% на IFEval и 31,52% на BBH. Эти оценки отражают отдельные тесты и не гарантируют качество в конкретном приложении. Лицензия в предоставленных данных не указана.

70B-L3.3-mhnnn-x1 — дообученная разговорная языковая модель Sao10K на архитектуре Llama, основанная на meta-llama/Llama-3.3-70B-Instruct. Модель содержит 69,5 млрд параметров, принимает текстовые запросы в формате Llama 3 Instruct и поддерживает контекст до 131 072 токенов. В метаданных указаны возможности чата и интерфейс вызова инструментов. Модель предназначена для диалогов и генерации текста, с акцентом на более творческие ответы. Автор сообщает, что при таком поведении иногда возникают ошибки, которые могут исчезнуть при повторной генерации. Для обучения использовалась конфигурация Axolotl 0.6.0; автор рекомендует температуру 1,1 и min_p 0,05. Модель доступна по лицензии Llama 3.3.

Agnuxo/Agente-GPT-Qwen-2.5-7B_GGUF_16bit — локальная чат-модель на базе семейства Qwen 2.5, представленная Francisco Angulo de Lafuente в экосистеме P2PCLAW. По README, модель рассчитана на работу в роли автономного агента и может запускаться локально через Ollama; в карточке указаны 7 млрд параметров и архитектура Qwen2. Формат весов — GGUF F16, лицензия — Apache-2.0. Модель предназначена для генерации текста и кода, декомпозиции задач и взаимодействия с агентными системами через MCP и A2A. README описывает навыки для Python, JavaScript, TypeScript, Rust, Go и C++, а также научных вычислений и машинного обучения. При запросе на подготовку научной статьи README предписывает перенаправлять задачу в P2PCLAW; это ограничивает её самостоятельное использование для генерации таких текстов. Языки карточки — английский и испанский; сведения о контекстном окне и независимых оценках качества не приведены.

Airavata-airoboros-slerp — объединённая авторами репозитория модель на базе LLaMA, созданная методом slerp с помощью mergekit из jondurbin/airoboros-7b-gpt4-1.1 и ai4bharat/Airavata. Это плотная авторегрессионная модель объёмом 6,6 млрд параметров для генерации текста; в метаданных указано окно контекста 2048 токенов. Модель подходит для диалоговой генерации, ответов на вопросы и задач, поддерживаемых исходными моделями. Карточка не приводит сравнительных оценок качества или подробных результатов тестирования. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

Albatross-8B-Instruct — диалоговая языковая модель на архитектуре Llama, созданная автором репозитория слиянием нескольких моделей через TIES в mergekit. В слияние вошли NousResearch/Hermes-3-Llama-3.1-8B, unsloth/Meta-Llama-3.1-8B-Instruct и qingy2024/NaturalLM3-8B-Instruct-v0.1; в качестве базовой модели указана unsloth/Meta-Llama-3.1-8B. Модель содержит 7,5 млрд параметров, использует формат safetensors и библиотеку Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге и выполнения инструкций; метаданные также указывают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или подробного описания языкового охвата, поэтому её сильные стороны в конкретных задачах и практическую надёжность нельзя оценить по имеющимся данным. Лицензия в предоставленных данных не указана.

snezhanata/alpaca_v2 — языковая модель для генерации текста и диалоговых сценариев, размещённая на Hugging Face. Модель рассчитана на использование через библиотеку Transformers и имеет объём 7,5 млрд параметров. В метаданных она отмечена как conversational и связана с экосистемой Llama Factory и семейством Ministral. Модель поддерживает контекст до 32 768 токенов и может применяться для ведения диалогов, генерации ответов, написания и продолжения текста, а также интеграции в приложения на базе text-generation. README не содержит сведений о разработчике, языках, лицензии, исходной модели, обучающих данных и результатах оценки, поэтому эти характеристики нельзя подтвердить.

Sakalti/Anemoi-3B — плотная языковая модель на архитектуре Qwen2, созданная объединением весов Qwen/Qwen2.5-3B-Instruct и bunnycore/Qwen-2.5-3b-Rp-lora_model с помощью mergekit и метода passthrough. Модель содержит 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на вопросы, следования инструкциям и создания текстов; в метаданных также отмечен интерфейс вызова инструментов. Базовая модель Qwen2.5-3B-Instruct характеризуется как компактная многоязычная чат-модель, однако конкретные языки Anemoi отдельно не перечислены. Для запуска указана библиотека Transformers, а веса представлены в формате safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями базовых компонентов. README не сообщает результатов оценки качества или специфических ограничений.

Apertus v1.5 70B text-only GGUF — это квантизированная версия базовой модели swiss-ai/Apertus-v1.5-70B, подготовленная в формате GGUF для запуска через llama.cpp. Модель разработана Swiss AI и предназначена для генерации и обработки текста, включая мультиязычные сценарии. Представленные файлы содержат только текстовый декодер с архитектурой Apertus и примерно 70 млрд параметров; варианты поставляются в квантизациях Q4_K_M и q8_0. Исходная Apertus v1.5 является мультимодальной моделью с компонентами для текста, изображений и аудио, однако в этой сборке vision- и audio-компоненты удалены. Поэтому модель не принимает изображения или аудиоданные и работает исключительно с текстом. Для запуска требуется актуальная версия llama.cpp с поддержкой архитектуры Apertus; vLLM этот GGUF-формат не поддерживает. В README также указано, что для корректной остановки генерации и отображения reasoning необходимо задать специальные параметры запуска. Главное преимущество сборки — возможность запускать Apertus v1.5 через стандартный llama.cpp без специальной ветки SwissAI и без исходных safetensors. При этом это тестовые квантизации без imatrix, измерений perplexity и результатов бенчмарков, поэтому качество и эффективность не были тщательно валидированы. Для опубликованных файлов указана лицензия Apache-2.0.

Apertus v1.5 8B text — MLX MXFP4 — это текстовая квантованная версия базовой модели swiss-ai/Apertus-v1.5, разработанной Swiss AI Initiative при участии EPFL, ETH Zurich и Швейцарского национального суперкомпьютерного центра на открытых данных. Данная конверсия выполнена независимо от авторов исходной модели и предназначена для запуска на компьютерах Apple с использованием MLX и mlx-lm. Модель поддерживает генерацию текста: принимает текст на вход и возвращает текст. Она содержит около 8,05 млрд параметров, использует архитектуру ApertusForCausalLM с 32 слоями, скрытым размером 4096, 32 головами внимания и 8 key-value головами, активацию xIELU, словарь из 131072 текстовых токенов и контекст длиной до 262144 токенов. Модель мультиязычная, однако конкретный перечень поддерживаемых языков в README не указан. Ключевое преимущество сборки — калиброванное квантование MXFP4 с эффективной точностью 4,250 бита на вес и размером файлов около 4,28 ГБ, что снижает требования к хранению и делает модель удобной для локального использования на Apple silicon. Ограничения связаны с потерями качества из-за квантования по сравнению с полноразмерными версиями, текстовой модальностью и зависимостью от совместимого программного стека MLX. Модель распространяется по лицензии Apache 2.0 с политикой допустимого использования Apertus 1.5.

Bielik-11B-v3.0-Instruct-GGUF — квантизированная версия инструкционной языковой модели Bielik-11B-v3.0-Instruct, разработанной SpeakLeash совместно с ACK Cyfronet AGH. Это каузальная decoder-only модель для генерации текста и диалогового взаимодействия, представленная в формате GGUF для локального запуска с помощью llama.cpp, Ollama и совместимых приложений. Модель мультиязычная и поддерживает 32 европейских языка, при этом оптимизирована для польского. В README размер указан как 11B параметров; сведения о длине контекста и дополнительных модальностях не приведены. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K, Q8_0, а также 16-битные FP16 и BF16. Квантизация позволяет снизить требования к ресурсам, но может уменьшать качество ответов и повышать вероятность галлюцинаций; Q8_0 требует значительных ресурсов, а низкобитные варианты требуют особенно осторожной настройки. Модель предназначена для локального текстового вывода, включая диалоги и задачи, поддерживаемые инструкционной языковой моделью. В конфигурации для Ollama предусмотрен экспериментальный вызов инструментов с ответом в формате JSON. Модель распространяется по лицензии Apache 2.0.

Bonsai-27b-Ternary-CRACK-GGUF — мультимодальная модель класса 27B, опубликованная dealignai. Это квантизированная GGUF-версия Bonsai 27B CRACK, созданная на базе prism-ml/Ternary-Bonsai-27B-gguf и относящаяся к семейству Qwen/Qwen3.6-27B. Модель предназначена для диалогов, рассуждений, использования инструментов, обработки текста и анализа изображений; также предусмотрена поддержка видео через отдельный Qwen3VL-проектор и совместимый клиент. Модель содержит 64 гибридных языковых блока архитектуры qwen35, а также отдельный F16-проектор Qwen3VL для мультимодальных входов. Основной языковой файл использует нативное 2-битное представление Q2_0 и занимает около 7,68 GiB, проектор — около 0,86 GiB. Заявлены английский и китайский языки. Контекст модели в README не указан. Для работы требуется форк Prism llama.cpp; обработка изображений проверена, а прямая передача видеофайлов зависит от возможностей конкретной среды выполнения. К сильным сторонам относятся низкое потребление памяти благодаря Q2_0, мультимодальность, совместимость с текстовыми и визуальными сценариями и результаты на приведённых тестах: 75,00% на фиксированной выборке MMLU-200 и 99,38% на полном HB-320. Ограничения включают необходимость специального форка Prism llama.cpp, отдельного мультимодального проектора и возможную необходимость предварительно извлекать кадры из видео. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели CohereForAI/c4ai-command-r-plus-08-2024, подготовленная пользователем legraphista с использованием llama.cpp и метода IMatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через совместимые инструменты llama.cpp. Доступны варианты с разными уровнями квантования — от 16-битного FP16 до 1–8-битных форматов, включая Q4_K, Q3_K и Q2_K; часть вариантов использует IMatrix для улучшения качества при уменьшенном размере. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. К сильным сторонам относятся широкий выбор квантованных вариантов, возможность локального использования и компромисс между качеством, размером файлов и требованиями к памяти. При этом README не содержит сведений о точной архитектуре, числе параметров, размере контекста и результатах оценки, а низкие уровни квантования могут снижать качество по сравнению с исходной FP16-моделью. Распространение осуществляется по лицензии CC-BY-NC-4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

ChimeraLlama-3-8B-v2 — языковая модель на архитектуре Llama, созданная mlabonne с помощью LazyMergekit путём слияния шести моделей семейства Llama 3. Она предназначена для генерации текста и диалогового использования, включая ответы на вопросы и написание кода. Модель содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 8192 токена. В состав слияния входят инструктивные и диалоговые модели, включая NousResearch/Meta-Llama-3-8B-Instruct, OrpoLlama-3-8B и Dolphin 2.9 Llama 3 8B. Карточка приводит результаты оценок Open LLM Leaderboard, в том числе IFEval и BBH. В метаданных указана лицензия other; конкретные условия использования следует сверить с лицензиями исходных моделей. Данные карточки не описывают отдельную специализацию или гарантии качества для конкретных сценариев.

Citaman/command-r-13-layer — это объединённая модель для генерации текста, созданная разработчиком Citaman на основе Citaman/command-r-14-layer с помощью mergekit и метода SLERP. Конфигурация комбинирует слои одной базовой модели в диапазонах [0, 13] и [1, 14]; веса сохранены в формате safetensors и типе bfloat16. Архитектура — плотная CohereForCausalLM, размер — 12,8 млрд параметров, контекст — до 8192 токенов. Модель предназначена для диалоговой генерации текста и интерфейса вызова инструментов. В карточке не приведены результаты оценки качества или подробные сведения о поддерживаемых языках и сценариях. Лицензия в предоставленных данных не указана.

Citaman/command-r-29-layer — языковая модель Cohere для генерации текста и диалогов. Она создана автором репозитория с помощью mergekit: веса модели Citaman/command-r-30-layer объединены методом SLERP с разными срезами слоёв, а итоговые веса сохранены в формате safetensors. Модель имеет плотную архитектуру CohereForCausalLM, около 25,9 млрд параметров и контекст до 8192 токенов. Метаданные указывают на поддержку чата и интерфейса вызова инструментов; основная задача в карточке Hugging Face — text-generation. Лицензия в предоставленных данных не указана. Характеристики языковой поддержки и качество модели на конкретных задачах не описаны, поэтому их нельзя надёжно оценить по карточке.

Citaman/command-r-34-layer — merge языковой модели на архитектуре CohereForCausalLM, созданный с помощью mergekit методом SLERP из Citaman/command-r-35-layer. Репозиторий содержит веса Safetensors в формате bfloat16; модель имеет 30 млрд параметров и контекст до 8192 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные также указывают интерфейс вызова инструментов, поэтому её можно использовать в приложениях, которые передают модели запросы к инструментам. В карточке описано объединение диапазонов слоёв одной базовой модели; дополнительных сведений о качестве и специальных сценариях нет. Лицензия в предоставленных данных не указана. Практические ограничения: контекст ограничен 8192 токенами, а качество и поведение после слияния в карточке не оценены.

huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2 — модифицированная версия DeepSeek-R1-Distill-Qwen-14B от huihui-ai. Автор применил abliteration — экспериментальный метод изменения весов, предназначенный для ослабления отказов модели. Это плотная причинная языковая модель семейства Qwen2 на 14 млрд параметров; она принимает текст и генерирует текст, в том числе в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и использование Transformers. Модель предназначена для диалогов и генерации текста, включая сценарии, где требуется меньше отказов на запросы. Базовая модель рассчитана на рассуждения, математику и программирование, однако карточка этой модификации называет её изменение грубым proof of concept и не приводит оценки качества. Лицензия в предоставленных данных не указана.

DeepSeek-R1-Distill-Qwen-7B-abliterated — дообученная языковая модель на архитектуре Qwen2, созданная Orion-zhen с помощью abliteraton. Она предназначена для диалогов и генерации текста; унаследованная базовая модель DeepSeek-R1-Distill-Qwen-7B ориентирована на многошаговые рассуждения, в том числе по математике и программированию. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В репозитории представлены веса safetensors, а метаданные отмечают интерфейс для вызова инструментов. Модель поддерживает английский и китайский языки. README не сообщает результатов оценки качества или подробностей обучения; название указывает на применение abliteration, но не описывает его эффект. Лицензия — GPL-3.0.

bartowski/DeepSeek-V2.5-1210-GGUF — это набор квантованных версий языковой модели DeepSeek-V2.5-1210, разработанной DeepSeek и подготовленной в формате GGUF для запуска через llama.cpp и совместимые приложения. Модель предназначена для генерации текста и локального инференса; README указывает pipeline_tag text-generation. Доступны варианты квантования от Q8_0 до Q2_K и IQ-квантов, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Размеры отдельных вариантов составляют примерно от 76,92 до 250,62 ГБ, многие версии являются разделёнными файлами. Сильной стороной набора является широкий выбор квантований, включая варианты, рекомендованные автором как обеспечивающие высокое или хорошее качество, а также версии, оптимизированные для ARM или AVX. Ограничения связаны с очень большим объёмом модели, снижением качества при низких уровнях квантования и необходимостью использовать параметр --no-context-shift либо эквивалентную настройку для корректной политики переполнения контекста. Формат prompt должен соответствовать шаблону DeepSeek, приведённому в README. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в предоставленных данных не указаны. Лицензия обозначена как deepseek; ссылка ведёт на лицензию модели DeepSeek.

unsloth/DeepSeek-V3-0324-GGUF — это набор динамически квантованных GGUF-версий модели DeepSeek-V3-0324, подготовленный Unsloth на основе базовой модели deepseek-ai/DeepSeek-V3-0324. Модель предназначена для локального запуска в llama.cpp, LM Studio, Open WebUI и других фреймворках инференса, включая задачи генерации текста и кода. В README указан английский язык; сведения о других языках и мультимодальных возможностях отсутствуют. Доступны варианты с квантованием от 1,78 до 4,5 бит и размером файлов примерно от 186 до 405 ГБ. Используется динамическое селективное квантование, призванное сохранить более высокую точность по сравнению со стандартными вариантами. Рекомендуются конфигурации IQ2_XXS 2,42 бит и Q2_K_XL 2,71 бит как удачный баланс размера и производительности; версия Q4_K_XL 4,5 бит получила наивысшую оценку качества. Для запуска желательно иметь не менее 180 ГБ совокупной VRAM и RAM. Ограничения включают очень высокие требования к памяти, а предварительные версии 1,78 и 1,93 бит могут хуже справляться с некоторыми задачами программирования. Лицензия модели — MIT.

nsd12/deepseek-v4-gguf — это квантованная версия языковой модели DeepSeek-V4-Flash в формате GGUF, подготовленная antirez на базе модели DeepSeek. Модель предназначена для генерации текста и запуска локального вывода через inference engine ds4, с оптимизацией для систем Apple Silicon и Metal. В метаданных указан английский язык. Модель использует архитектуру Mixture of Experts (MoE). Доступны варианты с квантованием экспертных блоков до 2-битного уровня (IQ2_XXS и Q2_K) размером около 80,8 GiB и до 4-битного уровня Q4_K размером около 153,3 GiB. Остальные компоненты, включая внимание, общих экспертов и выходной слой, в основном сохраняются в Q8_0, F16 или F32 для снижения потерь качества. Отдельный файл MTP размером 3,6 GiB предназначен для опционального speculative decoding и не является самостоятельной моделью. Вариант q2 рассчитан на компьютеры с 128 ГБ оперативной памяти, а q4 — на системы с не менее чем 256 ГБ RAM. Ключевое ограничение — квантизации специфичны для inference engine ds4 и могут быть несовместимы с другими загрузчиками; MTP требует специальной поддержки. В примере запуска ds4 используется контекст до 100000 токенов, однако собственный максимальный контекст модели в README не указан. GGUF-файлы распространяются по лицензии MIT, при этом базовая модель принадлежит DeepSeek и распространяется с условиями её релиза.

Dolphin-2.6-mistral-7b-dpo-laser-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser. Модель относится к семейству Mistral и предназначена для генерации текста, включая диалоговые и инструкционные сценарии. В метаданных указан размер 7B, текстовая модальность и поддержка английского языка. Обучение исходной модели связано с наборами данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; также указано DPO дообучение в названии модели. Главная особенность этой версии — поставка в GGUF с вариантами квантования от 2 до 8 бит, что позволяет запускать модель локально с различными компромиссами между размером файлов, требованиями к памяти и качеством генерации. Формат поддерживается llama.cpp и совместимыми приложениями и библиотеками для локального запуска. К ограничениям относятся возможная потеря качества при низкобитном квантовании, отсутствие заявленных характеристик контекстного окна и подробных результатов оценки, а также отсутствие подтверждения поддержки других языков помимо английского. Модель распространяется по лицензии Apache 2.0.

Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.

EvaByte — авторская байтовая языковая модель на 6,5 млрд параметров, разработанная командой авторов работы EvaByte: Lin Zheng, Xueliang Zhao и соавторами. Она использует плотную архитектуру EvaByteForCausalLM, механизм эффективного внимания EVA и предсказание нескольких байтов за шаг; обучена на 1,5 трлн байт текстов, математических данных и кода. Модель предназначена для генерации текста, работы с кодом и математическими задачами. Размер контекста составляет 32 768 токенов; модель обрабатывает текст на уровне байтов, поэтому отдельный токенизатор не требуется. В README также описан вариант EvaByte-SFT, прошедший supervised fine-tuning, однако представленный репозиторий называется EvaByte. Авторы заявляют, что EvaByte сопоставима с ведущими открытыми токенизаторными языковыми моделями при использовании в пять раз меньшего объёма обучающих данных, особенно сильна в задачах программирования и может декодировать до двух раз быстрее. Эти сравнительные характеристики приведены авторами; независимые результаты оценки в карточке не представлены. Модель выпущена под лицензией Apache-2.0.

Fidel 1.1 — компактная текстовая авторегрессионная модель от 4E-AI для локальной генерации текста и диалогов. Вариант репозитория содержит веса SafeTensors, токенизатор и реализацию для Transformers; лицензия Apache-2.0 разрешает использование, изменение и распространение на её условиях. Архитектура сочетает восемь блоков Mamba3 MIMO с блоком внимания и латентной смесью экспертов: в каждом блоке маршрутизация выбирает два эксперта из шестнадцати. Метаданные указывают около 498,6 млн параметров, тогда как README сообщает примерно 1,403 млрд элементов с учётом весов и буферов; обозначение 1B относится к семейству модели. Модель принимает текст, поддерживает шаблон чата и включает компоненты для задач программирования. Заявленный предел совокупного ввода и вывода — 8192 токена. Модель предназначена для локальных чат-интерфейсов, генерации и дополнения кода, а также для экспериментов с черновиками, перефразированием, суммаризацией и ответами по переданным текстам. Авторы описывают эти сценарии как направления для самостоятельной проверки, а не гарантии качества. Включённая реализация рассчитана на Transformers и PyTorch; генерация повторно обрабатывает полный префикс без кеширования, поэтому длинные диалоги требуют больше вычислений. Указаны ограничения на точность, батчинг с дополнением, распределение по нескольким устройствам и альтернативные движки обслуживания; ответы и код могут быть ошибочными.

Это англоязычная модель Sentence Transformers, дообученная thanhpham1 на базе sentence-transformers/all-mpnet-base-v2 на 5 146 парах технических текстов. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для семантического поиска и сравнения текстов; близость оценивается косинусным сходством. Архитектура включает MPNet, усреднение токенных представлений и нормализацию векторов. Обучение Matryoshka позволяет использовать укороченные представления размерностью 512, 256, 128 или 64 с компромиссом между размером вектора и качеством поиска. Модель подходит для поиска ответов и фрагментов в технической документации, сопоставления технических вопросов с релевантными пояснениями, поиска перефразировок и кластеризации технических текстов. README приводит метрики поиска на нескольких размерностях, однако подробности тестового набора ограничены. Максимальная длина последовательности в README указана как 384 токена, а метаданные указывают контекст до 514 токенов. Лицензия Apache-2.0.

Fireball-Llama-3.11-8B-v2r1orpo — диалоговая языковая модель EpistemeAI на архитектуре Llama с 7,5 млрд параметров. Она дообучена на базе EpistemeAI/Fireball-Llama-3.11-8B-v1orpo с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации текста и ведения беседы; её можно подключать к интерфейсам вызова инструментов. Модель принимает текст и выдаёт текст. Её родной контекст составляет 131 072 токена, а в карточке указан английский язык. Файлы представлены в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

GALPACA 6.7B — языковая модель на архитектуре OPT, созданная дообучением GALACTICA 6.7B на 52 тысячах пар инструкций и ответов из набора Alpaca. Модель разработана для ответов на запросы в формате инструкций и ориентирована на научные и технические задачи; её базовая модель обучалась на крупном корпусе научных текстов и данных. Размер модели по метаданным — 8,8 млрд параметров, максимальный контекст — 2048 токенов. Модель принимает текст и генерирует текст. Качественные оценки указывают на сильные стороны в технических знаниях и программировании по сравнению с некоторыми моделями Alpaca на базе LLaMA, но на обычной генерации прозы она уступает им. Ответы могут быть неточными, поэтому для практического применения нужны проверки и меры предосторожности. Лицензия — CC BY-NC 4.0; использование также связано с условиями OpenAI, поскольку набор Alpaca был создан с помощью text-davinci-003.