Mi esposa me prohíbe mirar a la persona con la que estoy hablando si la persona es mujer, ¿verdad?

No, ella no tiene razón. Es un signo de respeto mirar a alguien a los ojos cuando se les habla si es hombre o mujer.