آخذ أخي الصغير إلى المسجد علمًا بأنه لا يزعج المصلين

السؤال: أنا آخذ أخي الصغير إلى المسجد بعض مرات، فهل يجوز لي ذلك علمًا بأنه لا يزعج المصلين ؟