Precalienta el horno a 350 grados F (180 grados C). Engrasa un molde desmontable de 10 pulgadas (26 cm) con base removible.
En un bol grande, bate juntos la mantequilla y el azúcar hasta que estén bien mezclados. Añade las yemas de huevo, la crema agria, la ralladura de limón y el extracto de vainilla. Incorpora los ingredientes secos, la harina y el polvo de hornear.
Vierte la mezcla de mantequilla en el molde preparado. Espolvorea un poco de harina sobre las rodajas de durazno y arréglalas sobre la parte superior de la mezcla de mantequilla. Hornea durante 15 minutos.
Mientras tanto, bate las claras de huevo con una batidora hasta que estén espumosas. Agrega gradualmente el azúcar batiendo todo el tiempo hasta que forme picos muy firmes.
Retira el molde del horno y añade claras de huevo encima del pastel y hornea durante otros 20 minutos hasta que esté dorado. Pasa un cuchillo afilado completamente alrededor del borde interior del molde. Deja enfriar a temperatura ambiente antes de servir.