Аналитическая платформа для онлайн-маркетплейсов
Оптимизация DWH на Clickhouse и кластеров PostgreSQL снимает ограничения роста бизнеса
Российская платформа для развития бизнеса на цифровых маркетплейсах типа Ozon.
500K+ бизнесовполучают аналитику для цифровых маркетплейсов на этой платформе: следят за продажами, находят новые ниши, исследуют конкурентов. Бесперебойная работа с данными критична для выживания и успеха платформы.
Сбои в работе с данными блокируют рост аналитической платформы
Хранение и обработку данных платформы реализует DWH на базе Clickhouse и кластера PostgreSQL в публичном облаке. Популярность платформы растёт, вместе с ней растёт и нагрузка на DWH. К концу 2022 года это стало приводить к сбоям, возникли финансовые и репутационные риски.
Первые проблемы ещё не казались серьёзными. Для устранения отдельных сложностей с Clickhouse пригласили Fevlake. Однако дата-архитекторы Fevlake выявили глобальные проблемы работы с данными, которые в будущем могли парализовать рост бизнеса. Проблемы с Clickhouse были первым звонком. Требовалось срочно понять, как реорганизовать работу с данными, чтобы исключить сбои в растущей инфраструктуре.
Глубокий аудит и точечный рефакторинг
Мы провели аудит конфигураций DWH, структур данных, типичных запросов и обнаружили ряд проблем:
→ Неоптимальная схема и логика хранения данных, избыточная логика работы с данными.
→ Некорректные запросы в СУБД.
→ Неоптимальное использование дискового пространства, приводящее к существенному повышению расходов.
→ Низкая скорость взаимодействия приложений с СУБД PostgreSQL.
→ Низкая скорость формирования аналитики для клиентов платформы в большинстве сценариев взаимодействия с DWH.
→ Повышенная аварийность решений для хранения данных: Clickhouse и PostgreSQL.
С фокусом на этих узких местах мы выработали более стабильную архитектуру хранения данных и конфигурации кластеров Clickhouse и PostgreSQL. Мы внедрили новые конфигурации и мигрировали данные в обновлённые кластера в плановом режиме, с минимальным влиянием на работу бизнеса.
Устранив непосредственные риски сбоев, мы дополнительно оптимизировали утилизацию ресурсов. Для снижения нагрузки на кластеры СУБД и расходов мы задействовали холодное хранилище на базе S3.
Нужна надежная инфраструктура для вашего сервиса?
Обсудите ваши задачи с архитекторами Fevlake. Проведем аудит и подготовим план работ.