Saint Benoît-Joseph Labre, pèlerin