Бизнес-процессы играют ключевую роль в работе современных компаний, а эффективность их автоматизации напрямую влияет на конкурентоспособность. Платформы управления бизнес-процессами (BPMS) должны обеспечивать не только скорость и надежность, но и возможность масштабирования под растущие требования организаций. Проведенное тестирование BPMS-систем Digital Q.UP, Citeck, Directum RX и Comindware позволило оценить их производительность и определить, какие решения лучше всего соответствуют потребностям бизнеса.

Почему показатели тестирования важны?

Результаты тестирования позволяют глубже понять, насколько платформа способна работать в условиях реальной нагрузки. В банковском секторе, у крупных корпораций и в организациях с массовыми сценариями взаимодействия, каждая секунда отклика системы и каждая обработанная транзакция напрямую влияют на удовлетворенность клиентов и стабильность бизнеса.

Редакция Digital Report запросила данные о производительности решений у ряда ведущих разработчиков BPMS-систем, чтобы сформировать полный и объективный обзор текущей ситуации на рынке. Однако откликнулись далеко не все компании. Отсутствие данных у ряда производителей отечественного ПО заставляет задуматься о прозрачности их работы. Те, кто предоставил информацию (за что им отдельное спасибо), подтвердили не только готовность конкурировать на рынке, но и желание быть открытыми к оценке со стороны. Сегодня такая открытость становится важным конкурентным преимуществом.

Наш анализ включает не только данные о производительности, но и косвенные выводы о готовности компаний к публичной демонстрации своих решений. Это позволяет не просто сравнить платформы, но и понять общий уровень зрелости рынка BPMS.

Но, анализируя предоставленные результаты, мы столкнулись с одной из ключевых проблем: данные оказались разнородными. У одних компаний (например, Digital Q.UP) были проведены нагрузочные тесты, у других, как у Comindware, — стресс-тесты. Различие в подходах к тестированию существенно влияет на интерпретацию результатов.

Нагрузочное и стресс-тестирование: в чём разница?

• Нагрузочное тестирование предназначено для оценки поведения системы при ожидаемой или максимально возможной реальной нагрузке. Оно позволяет определить, насколько платформа эффективно справляется с типичными задачами, такими как обработка транзакций или управление потоками данных. Ключевые метрики здесь включают время отклика, максимальную пропускную способность и стабильность работы при увеличении нагрузки. 
• Стресс-тестирование, напротив, изучает пределы возможностей системы. Оно проводится в условиях, которые намеренно выходят за рамки обычной эксплуатационной нагрузки, чтобы понять, где начинаются сбои или деградация производительности. Этот подход позволяет выявить слабые места архитектуры и оценить отказоустойчивость.
  

Таким образом, данные, предоставленные для анализа, нельзя напрямую сравнивать. Например, результаты Comindware, основанные на стресс-тестировании, показывают, как система ведёт себя в экстремальных условиях, но не дают полной картины её поведения при обычной эксплуатации. Мы приняли решение исключить данные Comindware из прямого сравнения с другими платформами, поскольку предоставленные результаты основаны на стресс-тестировании, а не нагрузочном тестировании, что делает их несопоставимыми с показателями Digital Q.UP, Citeck и Directum RX. Тем не менее, данные Comindware остаются важными для общего обзора, поскольку демонстрируют потенциал системы в экстремальных условиях. Это позволяет оценить устойчивость платформы к перегрузкам и её готовность справляться с нестандартными сценариями, что является важным показателем для ряда корпоративных задач.

Поэтому при сравнении платформ мы опирались на следующие ключевые показатели:

Время отклика системы (Response Time):

На графике представлено сравнение времени отклика систем (среднего, 95-го и 99-го перцентилей) для платформ Digital Q.UP, Citeck, Directum RX и Comindware. Следует учитывать, что данные Comindware основаны на стресс-тестировании, а не на нагрузочном тестировании, поэтому их некорректно напрямую сравнивать с другими платформами. Эти данные представлены исключительно для ознакомления с потенциалом платформы в экстремальных условиях.

Это один из главных факторов, определяющих качество работы платформы. Мы рассматриваем как среднее время отклика, так и распределение по перцентилям (90-й, 95-й, 99-й), чтобы понять, как система справляется с типичной и пиковой нагрузкой. Быстрое время отклика важно для сокращения задержек, особенно в сценариях, где обрабатываются транзакции или запросы в реальном времени.

Максимальная пропускная способность (Throughput):

Этот параметр показывает, сколько транзакций или операций платформа может обработать за определенный промежуток времени. Для бизнесов, работающих с большими объемами данных, это определяющий фактор эффективности.

Использование ресурсов (Resource Utilization):

Как платформа расходует вычислительные мощности – процессор, память, дисковую подсистему? Высокая утилизация может указывать на предел возможностей системы, в то время как оптимальное использование ресурсов говорит о потенциале для масштабирования.

График демонстрирует сравнительное использование ресурсов (CPU и памяти) для платформ Digital Q.UP, Citeck, Directum RX и Comindware. Важно отметить, что данные Comindware основаны на стресс-тестировании, а не нагрузочном тестировании, поэтому их некорректно напрямую сравнивать с другими платформами. Эти данные представлены для ознакомления с поведением платформы в условиях экстремальной нагрузки.

Устойчивость к пиковым нагрузкам (Resilience):

Мы оцениваем, как платформа реагирует на внезапное увеличение нагрузки: сохраняет ли она стабильность, активирует ли механизмы автомасштабирования и насколько равномерно распределяет ресурсы.

Процент ошибок (Error Rate):

Низкий процент ошибок в условиях нагрузки свидетельствует о надежности системы. Мы уделяем особое внимание числу критических отказов, влияющих на выполнение ключевых бизнес-процессов.

Важно еще понимать, как именно проводились тесты, с каким оборудованием и инструментами. Например, использование Kubernetes, микросервисной архитектуры или инструментов мониторинга, таких как Prometheus или JMeter, позволяет обеспечить более точные и репрезентативные результаты.

Digital Q.UP: микросервисная архитектура для финансового сектора

Digital Q.UP от компании Diasoft представляет собой платформу, которая демонстрирует уровень производительности, способный удовлетворить потребности крупных банков и финансовых институтов. Проведенное тестирование показало, что система может обслуживать до 100 тысяч пользователей одновременно, обрабатывая 1000 транзакций в секунду. Эти показатели ставят платформу в один ряд с решениями, рассчитанными на масштабные и сложные сценарии работы.

Микросервисная архитектура: основа адаптивности

Одним из ключевых преимуществ Digital Q.UP является микросервисная архитектура. Это современный подход к построению платформ, который позволяет системе гибко реагировать на изменения нагрузки. При увеличении числа пользователей или объема транзакций автоматически активируются дополнительные ресурсы.

Тесты показали, что при максимальной нагрузке Digital Q.UP использовала до 314 подов Kubernetes, при этом равномерно распределяя нагрузку между ними. Утилизация CPU оставалась на уровне 40%, что говорит о значительном запасе производительности. Однако память была загружена на 90%, что указывает на необходимость тщательной настройки ресурсов для предотвращения перегрузки в будущем.

Время отклика: скорость, которая имеет значение

Для финансовых операций важна каждая секунда, и время отклика Digital Q.UP в пределах 0,5 секунды соответствует ожиданиям. Это значит, что пользователи практически не ощущают задержек в выполнении операций. Исключение составляет процесс входа в систему, который в пиковые моменты может занимать до 1,6 секунды. Хотя этот показатель остается в рамках SLA, его оптимизация может стать важным направлением для улучшения пользовательского опыта.

Производительность базы данных

Еще одним показателем, заслуживающим внимания, является работа базы данных. В условиях максимальной нагрузки скорость записи данных достигала 320 МБ/сек, а чтения – 640 МБ/сек. Это впечатляющие результаты, которые позволяют системе обрабатывать массивные объемы данных без значительных задержек.

Операции ввода-вывода (IOPS) также заслуживают отдельного упоминания. Среднее значение составило 12 тысяч операций в секунду, с пиками до 19 тысяч. Это обеспечивает высокую пропускную способность для критически важных задач, таких как обработка платежей или управление счетами клиентов.

Для чего подходит Digital Q.UP?

С такими показателями Digital Q.UP идеально подходит для крупных финансовых организаций, где надежность, производительность и масштабируемость играют ключевую роль. Возможность обслуживать одновременно до 100 тысяч пользователей делает платформу отличным выбором для банков с высокой клиентской активностью.

Однако некоторые аспекты, такие как нагрузка на память и время входа в систему, требуют внимания. Это не критические недостатки, но их устранение могло бы сделать платформу еще более привлекательной.

Citeck: скорость и минимизация ошибок

Citeck ориентирована на корпоративные сценарии, где критичны скорость обработки данных и надежность. Результаты тестирования подтвердили, что платформа является одним из лидеров по скорости среди участников исследования, что делает её особенно привлекательной для организаций с большими потоками данных, таких как e-commerce, CRM-системы и облачные сервисы.

Высокая скорость отклика

Среднее время отклика Citeck составило всего 21,88 мс, что значительно превосходит стандартные ожидания для корпоративных платформ. Особенно впечатляют результаты в разрезе 90-го перцентиля: 90% всех запросов обрабатываются менее чем за 18 мс. Это подтверждает стабильность работы платформы даже при увеличении нагрузки.

Почему это важно? В условиях, когда миллионы запросов проходят через систему ежедневно, каждая миллисекунда имеет значение. Для электронной коммерции, где задержка в отклике может стоить упущенных продаж, такие показатели скорости обеспечивают превосходный пользовательский опыт. Аналогично, для CRM-систем, где критично быстрое взаимодействие с большими объемами данных, минимальное время отклика играет решающую роль.

Надежность и минимизация ошибок

Еще одним значительным достижением Citeck является её практически нулевой процент ошибок. Из более чем 20 миллионов запросов только 221 завершился с ошибкой, что составляет менее 0,001%. Эти показатели свидетельствуют о высокой отказоустойчивости системы, что критически важно для стабильной работы в условиях высоких нагрузок.

Надежность платформы обеспечивается продуманной архитектурой. Citeck использует Kubernetes для оркестрации, а её микросервисная структура позволяет распределять нагрузку между компонентами. Это снижает риск появления «узких мест» и позволяет системе поддерживать стабильность в любых условиях.

Ресурсы — цена скорости?

Для достижения таких впечатляющих результатов платформа требует значительных вычислительных мощностей. Тестовая среда включала кластер Kubernetes из 5 узлов, каждый из которых был оснащён 16 CPU и 32 ГБ оперативной памяти. Основная нагрузка приходилась на PostgreSQL и модельный сервис, которые использовали до 10 CPU.

С одной стороны, это указывает на высокую производительность системы, но с другой – поднимает вопрос об оптимальности использования ресурсов. Для компаний с ограниченными инфраструктурными возможностями это может стать барьером к внедрению Citeck.

Первые выводы, для кого подходит Citeck

Citeck идеально подходит для компаний, работающих с большими объёмами данных, где критичны минимальные задержки и высокая отказоустойчивость. Это платформа, которая демонстрирует готовность к современным требованиям цифрового бизнеса.

Однако для организаций, которым важна максимальная экономичность использования ресурсов, могут потребоваться дополнительные оптимизации или серьёзные вложения в инфраструктуру. Несмотря на это, Citeck остаётся одним из самых сильных решений на рынке для корпоративных задач, требующих высокой скорости обработки данных.

Directum RX: стабильность при массовой регистрации

Directum RX проявила себя как платформа, ориентированная на масштабные сценарии работы. В ходе тестирования система успешно справилась с одновременной нагрузкой в 50 тысяч пользователей, показывая стабильные результаты.

Стабильность работы под нагрузкой

Среднее время отклика системы составило 1,1 секунды, что является приемлемым для большинства задач, связанных с обработкой документов. Особенно важно, что даже при массовой регистрации пользователей система продолжала функционировать стабильно, эффективно распределяя нагрузку между 16 серверами приложений.

Платформа продемонстрировала способность справляться с пиковыми нагрузками, которые часто возникают в реальных сценариях эксплуатации, таких как запуск массовых рассылок, обновление данных или проведение маркетинговых кампаний.

Узкие места: что нужно улучшить

Несмотря на общую стабильность, тесты выявили узкие места. В частности, сервер базы данных PostgreSQL достигал 82% загрузки CPU в моменты пиковых нагрузок. Это указывает на необходимость оптимизации работы СУБД для предотвращения перегрузок в будущем.

С другой стороны, микросервисы и файловое хранилище демонстрировали равномерное распределение нагрузки, что подтверждает продуманность архитектуры.

Обработка документов: скорость выполнения задач

Directum RX показала хорошие результаты в обработке задач, связанных с документами. Например, создание, регистрация и сохранение документов занимали в среднем от 500 до 2000 мс, что соответствует требованиям большинства бизнес-сценариев.

Для компаний, работающих с большими объемами данных, таких как государственные учреждения или крупные корпорации, эти показатели обеспечивают высокую производительность без ущерба для стабильности.

Для кого подходит Directum RX?

Directum RX – это платформа, которая подходит для организаций, нуждающихся в стабильности и возможности работать с большим количеством пользователей одновременно. Она способна обеспечивать выполнение ключевых бизнес-процессов в условиях интенсивной нагрузки.

Тем не менее, дальнейшая оптимизация работы базы данных могла бы сделать платформу еще более универсальной. В остальном Directum RX оправдывает ожидания и демонстрирует высокий уровень надежности.

Comindware: надежность для сложных CRM-систем

Comindware Platform демонстрирует уверенные результаты, подтверждая свою надёжность и устойчивость в условиях стресс-тестирования. Однако, важно помнить, что предоставленные данные относятся именно к стресс-тестированию, а не нагрузочному тестированию, что делает их менее пригодными для прямого сравнения с другими платформами, прошедшими тесты при реальных нагрузках. Тем не менее, они дают ценное представление о том, как платформа справляется с экстремальными условиями.

Производительность: баланс между чтением и записью

Comindware показала способность поддерживать до 2500 пользователей для операций записи данных и до 1000 пользователей для операций чтения. Эти показатели подтверждают её пригодность для многопользовательских сред с высокой интенсивностью данных, что особенно важно для сложных CRM-систем, где активно используется совместная работа с большими объёмами информации.

Одним из ключевых преимуществ платформы является стабильное время отклика. Для операций чтения оно варьируется от 23 до 317 мс, что соответствует строгим требованиям SLA. Операции записи данных, которые традиционно требуют больше вычислительных ресурсов, выполняются за 824–1269 мс. Такие показатели позволяют платформе обрабатывать сложные задачи, например, создание новых записей или изменение больших массивов данных, практически без заметных задержек.

Устойчивость под экстремальными нагрузками

Стресс-тестирование Comindware выявило её способность демонстрировать стабильную работу даже при пиковой нагрузке. Система функционировала без значительных ошибок и отказов, что говорит о её высокой устойчивости. Эти результаты подтверждают, что платформа способна справляться с нетипичными сценариями, такими как массовая обработка запросов или выполнение сложных процессов в сжатые сроки.

Стресс-тестирование Comindware выявило, что утилизация CPU на сервере приложений достигала 100% при экстремальной нагрузке. Это естественный результат для стресс-тестов, которые направлены на изучение предельных возможностей системы. Однако такие показатели помогают определить, какие ресурсы потребуется добавить или перераспределить при росте объёмов данных, чтобы система продолжала работать стабильно даже в условиях интенсивного использования.

Архитектурные особенности

Comindware использует современную многоуровневую архитектуру, включающую сервер приложений, сервер базы данных, брокер сообщений Kafka и другие компоненты. Такое распределение элементов системы позволяет эффективно справляться с разнообразными сценариями использования, обеспечивая её гибкость и адаптивность.

Тем не менее, сервер приложений выступает ключевым элементом платформы, и его 100% загрузка при стресс-тестировании подчёркивает необходимость пересмотра подхода к распределению ресурсов. Для обеспечения большей масштабируемости компании, использующие Comindware, могут рассмотреть возможность добавления дополнительных серверов или перераспределения нагрузки между существующими компонентами.

Для кого подходит Comindware?

Comindware Platform представляет собой мощное решение для компаний, работающих со сложными CRM-системами и нуждающихся в предсказуемой производительности. Она демонстрирует надёжность, минимизируя вероятность сбоев даже в условиях интенсивного использования.

Тем не менее, при планировании внедрения этой платформы организациям следует учитывать её ресурсоёмкость, особенно если планируется масштабирование бизнес-процессов или значительное увеличение объёмов данных. Правильно спроектированная инфраструктурная стратегия поможет максимально раскрыть потенциал системы.

Comindware – это пример современной платформы, способной эффективно сочетать надёжность, устойчивость и производительность. Хотя предоставленные данные стресс-тестирования не отражают её поведения при обычных нагрузках, они демонстрируют потенциал платформы в экстремальных условиях. Это делает её особенно ценной для компаний, ищущих надёжное решение для управления сложными процессами и готовых инвестировать в соответствующую инфраструктуру.

Выбор лидеров среди BPMS-систем

Проведённое тестирование BPMS-систем Digital Q.UP, Citeck, Directum RX и Comindware продемонстрировало, что каждая платформа имеет свои сильные стороны и подходит для определённых бизнес-сценариев. Однако, чтобы выбрать лучших, необходимо учитывать не только технические показатели, но и практическую применимость решений в реальных условиях бизнеса.

Digital Q.UP: лидер масштабируемости

Digital Q.UP однозначно занимает позицию лидера в сфере масштабируемости и поддержки больших объёмов транзакций. Способность платформы обрабатывать до 1000 TPS и поддерживать одновременно 100 тысяч пользователей делает её незаменимой для крупных финансовых организаций и банков. Её продвинутая микросервисная архитектура обеспечивает гибкость и адаптивность, что особенно важно для рынков с высокими требованиями к стабильности и скорости обработки данных.

Почему она не единственный лидер?

Несмотря на все преимущества, высокий уровень загрузки памяти и замедление процесса входа в систему под пиковыми нагрузками указывают на необходимость дальнейшей оптимизации.

Citeck: лидер по скорости и надежности

Citeck заслуженно получает звание лидера по скорости отклика и отказоустойчивости. Показатели
времени отклика в пределах 21,88 мс и минимальный процент ошибок (менее 0,001%) делают её идеальной для платформ, где скорость и надёжность определяют конкурентное преимущество, например, в CRM или e-commerce. Однако потребность в мощной инфраструктуре может стать преградой для организаций с ограниченными техническими возможностями.

Directum RX: стабильность для массовых сценариев

Directum RX впечатляет своей способностью эффективно работать в условиях массовой регистрации пользователей и больших объёмов обработки документов. Платформа предлагает сбалансированное решение для крупных корпораций, однако её узкие места, такие как высокая нагрузка на сервер базы данных, требуют дополнительной оптимизации.

Comindware: надёжность для среднего сегмента

Comindware представляет собой надёжное и предсказуемое решение для сложных CRM-систем. Её сбалансированная производительность делает её подходящей для компаний среднего уровня, которые ищут стабильную платформу для автоматизации бизнес-процессов. Её 100% загрузка CPU под нагрузкой говорит о необходимости модернизации инфраструктуры при увеличении объёмов работы.

Лучшие платформы: наш практический выбор

Анализ BPMS-систем Digital Q.UP, Citeck, Directum RX и Comindware показал, что каждая из этих платформ обладает уникальными преимуществами, которые делают её подходящей для определённых задач. Однако выбор безусловного лидера осложнён не только разницей в целевой аудитории и предназначении решений, но и неоднородностью данных, предоставленных производителями для тестирования.

Важно подчеркнуть, что представленные показатели не всегда можно напрямую сравнивать: разные компании подошли к тестированию своих платформ с разных сторон. Например, Comindware представила данные стресс-тестирования, а не нагрузочного тестирования, что необходимо учитывать при анализе её результатов. В стресс-тестировании оцениваются пределы возможностей системы, что отражает её поведение в экстремальных условиях, но не даёт полной картины её производительности при нормальной нагрузке.

Digital Q.UP – масштабируемость и высокая транзакционная производительность

Digital Q.UP от Diasoft показала выдающуюся производительность в условиях нагрузочного тестирования, подтверждая свою готовность справляться с требованиями крупных банков и финансовых организаций. Способность платформы одновременно поддерживать до 100 тысяч пользователей и обрабатывать до 1000 транзакций в секунду делает её оптимальным выбором для бизнеса с высокой клиентской активностью.

Микросервисная архитектура обеспечивает гибкость и возможность масштабирования под возросшие требования, что критически важно для динамичных рынков. Однако высокая утилизация памяти и необходимость оптимизации отдельных процессов, таких как вход в систему, свидетельствуют о том, что платформа требует доработки для дальнейшего повышения эффективности.

Citeck – скорость и отказоустойчивость для молниеносных решений

Citeck стала эталоном скорости и отказоустойчивости среди протестированных платформ. Среднее время отклика системы составляет всего 21,88 мс, а уровень ошибок оказался практически нулевым – менее 0,001%. Это делает Citeck идеальной для сценариев, где критична мгновенная реакция, таких как CRM-системы или электронная коммерция.

Однако стоит отметить, что платформа требует значительных вычислительных ресурсов, что может стать препятствием для компаний с ограниченной инфраструктурой. Этот аспект необходимо учитывать при планировании внедрения Citeck в условиях реальной эксплуатации.

Comindware – универсальность и стабильность для сложных процессов

Comindware Business Application Platform продемонстрировала надёжность и сбалансированную производительность, подтверждая свою устойчивость в условиях стресс-тестирования. Это ключевой момент: предоставленные данные отражают поведение системы на предельных нагрузках, а не её производительность в рамках нагрузочного тестирования, что необходимо учитывать при оценке реальной эксплуатации.

Платформа показала стабильную работу без значительных ошибок, даже когда нагрузка достигала экстремальных уровней. Её универсальность делает её особенно привлекательной для среднего корпоративного сегмента, где важны решения для сложных задач, таких как управление крупными проектами или обработка больших массивов клиентских данных.

Однако данные стресс-тестирования дают лишь частичное представление о возможностях системы. Хотя они демонстрируют, как Comindware справляется с экстремальными сценариями, показатели её производительности при нормальных нагрузках могут отличаться. Это важно учитывать при выборе платформы для ежедневного использования, особенно в контексте планирования масштабируемости и ресурсных затрат.

Несмотря на это, Comindware остаётся сильным универсальным решением для компаний, которым нужны стабильность, предсказуемость и высокая отказоустойчивость в управлении сложными процессами.

Как выбрать подходящую платформу?

Выбор подходящей BPMS-системы – это стратегическое решение, которое требует комплексного подхода. Во-первых, важно учитывать задачи бизнеса. Если вашим приоритетом являются сложные процессы, такие как управление проектами или обработка больших объёмов данных, Comindware станет надёжным выбором. Для финансовых организаций, где критически важны масштабируемость и способность справляться с большими потоками транзакций, оптимальным вариантом будет Digital Q.UP. Если же ключевыми факторами для вашего бизнеса являются скорость и надёжность, особенно в CRM или e-commerce, Citeck станет идеальным партнёром.

Во-вторых, необходимо учитывать специфику представленных данных. Комбинация результатов нагрузочного и стресс-тестирования даёт лишь частичное представление о возможностях систем, особенно если данные были собраны в условиях, которые не отражают реальных эксплуатационных сценариев. Например, результаты Comindware, основанные на стресс-тестировании, показывают, как платформа ведёт себя в экстремальных условиях, но не дают полного понимания её производительности при типичной нагрузке.

Подводя итог, каждая из протестированных платформ способна решать сложные задачи и задавать стандарты в своей области. Однако ключ к успешному выбору – это понимание своих потребностей, готовность адаптировать платформу под них и чёткое осознание ограничений представленных данных. Это позволит не только выбрать подходящее решение, но и эффективно интегрировать его в вашу бизнес-среду.

• Об авторе
• Недавние публикации

Digital Report

Digital-Report.ru — информационно-аналитический портал, который отслеживает изменения цифровой экономики. Мы описываем все технологические тренды, делаем обзоры устройств и технологических событий, которые влияют на жизнь людей.

Digital Report недавно публиковал (посмотреть все)

• Роскомнадзор отключил часть России от интернета — 06/12/2024 23:51
• Беларусь и Россия отменяют роуминг с марта 2025 года: подробности о новых тарифах — 06/12/2024 19:48
• Российские BPMS в цифрах: результаты тестирования и выбор лучших платформ — 06/12/2024 16:41