Puedes ser ambas cosas. Una amante es la amante del matrimonio fuera de matrimonio de un hombre casado; una amante puede o no tener una relación romántica con el hombre en cuestión.
Aunque parece un poco extraño que un hombre casado exija fidelidad monógama a la persona con la que está engañando. Creo que, aparte de los problemas morales y éticos, solo la hipocresía sería una gran bandera roja (con luces parpadeantes asociadas y un klaxon de advertencia).