La mayor diferencia está en el contexto de la acción.
Adultry es un término específico asociado a desviarse cuando se trata de un matrimonio.
La infidelidad es un término más amplio que se asocia más a las relaciones y no se limita a una asociación matrimonial.
Ambos incluyen el mismo comportamiento.