¿Es posible que hayas iniciado la mirada sin darte cuenta? En una situación como la que usted describe, puede ser difícil saber quién la inició. Es posible que haya interpretado tu aspecto de póker como un desafío o algo ligeramente agresivo, por lo que se quedó mirando sin sonreír en respuesta.
Lo recomendaría la próxima vez que solo sonría con cordialidad cuando haces contacto visual por primera vez, y luego mira hacia otro lado. Eso demuestra tu intención amistosa pero no prolonga las cosas. Luego puede responder de manera amistosa si lo desea, pero si no lo hace, al menos no estás atrapado en un concurso de miradas con él.