Если исходить из текста, то я думаю его родители умерли не когда он был младенцем, а скорее когда ему было хотя бы около лет 5-7, а может и до 10, потому что он хорошо всё помнит. А до этого они с родителями скрывались и наверняка странствовали, не оставаясь на одном месте. Он может это знать от родителей.