Saint Hervé, ermite