Sencillo. Vé con él. No es raro que las personas se sientan incómodas con su pareja haciendo cosas con otras personas sin ellos. Pero es mejor que se den la libertad de hacerlo si no quieren unirse a ellos.
Esa es una afirmación general, pero supongo que no te sientes cómodo con su disfrute de estar con otros (no) vestidos como él mismo. Trabaja en eso y deja de pensar que es algo extraño o sexual. No lo es Las personas no deberían tener que esconderse unas de otras, y él simplemente no siente que tenga que hacerlo con otras personas que lo aceptan como es. Puede que no sea lo tuyo, pero las relaciones se tratan de dar y recibir. ¿Es más importante para él ir y para que le des esa libertad, o para que no vaya y sacrifique eso por ti?