ترك الصلاة في مسجد من أجل تكثير العدد في مسجد آخر

السؤال: مسجد في صلاة الفجر لا يوجد به إلا واحد أو اثنان، وعلى مسافة قريبة منه مسجد فيه نفس الحال، فهل هناك حرج لو ترك الرجلان المسجد وذهبا للمسجد المجاور لإكثار العدد؟