У меня возникла проблема с Apache Airflow, когда мой DAG не использует определенное мной настраиваемое соединение MongoDB. Вместо этого он по умолчанию использует соединение 'mongo_default'. Это вызывает проблемы с моим рабочим процессом, поскольку он не подключается к правильному экземпляру MongoDB.
Что я сделал:
DAG должен использовать соединение 'my_mongo_conn', которое я определил в пользовательском интерфейсе Airflow. Фактический результат: Когда я запускаю DAG, Airflow игнорирует мое настраиваемое соединение и пытается вместо этого использовать 'mongo_default'. вот что я увидел в журналах
[2024-08-20T13:19:09.433+0000] {base.py:84} ИНФОРМАЦИЯ - Используется идентификатор соединения 'mongo_default' для выполнения задачи. но я хочу использовать 'my_mongo_conn', как я написал в своем файле dag.
Я проверил, что: Идентификатор соединения в пользовательском интерфейсе точно соответствует тому, что я использую в DAG. Данные о соединении в пользовательском интерфейсе верны. Я сохранил подключение в пользовательском интерфейсе и перезапустил веб-сервер и планировщик Airflow.
Версия Airflow: 2.9.3
Метод развертывания: docker-compose
Операционная система: Ubuntu 22.04
Я ищу информацию о том, почему Airflow может игнорировать мое пользовательское подключение, как заставить его использовать указанное подключение или как отладить эту проблему. Любая помощь будет очень признательна!