Эту картину можно считать первой попыткой Миллеса отойти от ставших привычными для него повествовательных и исторических сюжетов. В ноябре 1854 года он задумал написать полотно, которое станет пробуждать философские мысли о быстротечности жизни, о времени. В ту пору художник гостил у своего друга, поэта Теннисона.
Однажды вечером он помогал ему собирать и сжигать опавшие листья. Воспоминания Миллеса о тех осенних сумерках оказались настолько сильными, что подтолкнули его к созданию этого грустного полотна.
Композиция картины проста: желто-красные листья, дымок, поднимающийся от костра, и фигуры молодых девушек. Миллес писал в Шотландии, в саду дома, где они с женой жили первое время после свадьбы. Четыре девушки — это младшие сестры Эффи, Алиса и Софи Грей, и местные жительницы.