¿Puedo tener la tarjeta física sin descargar la app?

No, porque la tarjeta física agora Pay no funcionará si es que no te has registrado previamente en agora Pay y realizas los pasos para asociar la tarjeta con tu celular.