Я работаю над оптимизацией архитектуры нашего облачного хранилища для системы обработки данных. В настоящее время наша настройка включает два контейнера:
Исходный контейнер: где изначально хранятся входящие данные. Контейнер-приемник: где обработанные данные помещаются после того, как наша система их обработает.
Теперь нам нужно реализовать стратегию архивации для долгосрочного хранения обработанных данных. Я пытаюсь определить наиболее эффективный и передовой подход из двух вариантов:
Создание папки архива в нашем существующем контейнере-приемнике и/или источнике. Настройка совершенно нового, отдельного контейнера архива.
Наши требования и соображения включают:
Архивированные данные будут использоваться нечасто. Нам нужно оптимизировать для экономической эффективности долгосрочного хранения. Файлы будут архивироваться один раз в день (размер файла не должен превышать 25 МБ).
Я использую хранилище BLOB-объектов Azure, если это повлияет на рекомендацию. Буду очень признателен за любые идеи, лучшие практики или опыт работы с похожими настройками. Спасибо!
Я провел некоторые исследования по этому делу, однако четкого ответа нет.