Для старта советую обратить внимание на экспертную статью в блоге https://webcl.ru/big-data-resheniya-hra … ka-analiz/ . Там подробно разбираются современные контейнерные решения для организации полного цикла работы с данными. Вы найдете сравнительные характеристики систем хранения (включая объектные S3-совместимые хранилища), подходы к построению отказоустойчивых кластеров для обработки потоков в реальном времени, а также обзор инструментов визуализации для глубокого анализа. Это поможет сформировать четкое понимание, с какой архитектуры лучше начать, чтобы ваше решение легко масштабировалось горизонтально без потери производительности.