Préparez un caramel dans une grande casserole à fond épais, avec 120 g de sucre et un peu d'eau. Dès qu'il est blond, versez le lait en vous protégeant des projections par un couvercle et laissez chauffer sur feu doux.
Fouettez les jaunes d'oeufs avec le reste de sucre jusqu'à ce que le mélange blanchisse. Versez dessus le lait caramélisé chaud en mince filet, reversez l'ensemble dans la casserole et faites cuire sur feu doux pendant 10 min sans cesser de remuer jusqu'à ce que la crème nappe la cuillère.
Faites tremper la gélatine dans un bol d'eau froide pour la ramollir, essorez-la entre vos mains et jetez-la dans la crème chaude, hors du feu. Remuez longuement avec une spatule. Mixez le pain d'épice (réservez-en un peu pour le décor), et rajoutez-le dans la préparation. Laissez refroidir en remuant de temps en temps.
Fouettez la crème liquide en chantilly, mélangez-la délicatement à la préparation refroidie. Versez dans un moule à manqué et mettez au frais 8 heures.
Pour servir, démoulez délicatement le bavarois, disposez-le sur un plat de service. Parsemez de miettes de pain d'épice, de pistaches et éventuellement d'un filet de caramel, préparé à part.
Part 6