Получена из наследства графа Яноша Палффи, из его Пожоньского дворца, в 1912 году. До 1892 года находилась в лондонском собрании лорда Дадли-Уорда, до 1896 года — у парижского антиквара Зедельмайера. Голова святого Иосифа напоминает произведения Косты. Композиционный принцип очень прост, благословляющий жест младенца часто повторяется в картинах Франчи, посвященных мадонне.
В прошлом столетии будапештское «Святое семейство» вместе с другой «Мадонной» находились в собственности лорда Дадли-Уорда. В 1854 году Вааген описал картины, упомянув, что на одной из них есть надпись и дата — 1495 год. В старой специальной литературе это описание было неправильно понято: так как эти картины перепутали, то полагали, что дата стоит на будапештской картине «Святое семейство», в результате чего будапештская картина была отнесена к более ранним произведениям Франчи.
На самом же деле дата находилась на другой картине лорда Дадли-Уорда, которая тоже сохранилась, — это так называемая «Мадонна Гамбаро». В настоящее время она хранится в Нью-Хейвене в Галерее Йейлского университета. Будапештская картина имеет вариант, сделанный в 1517 году. Основное настроение поздних произведений Франчи определяется мирной созерцательностью, тихой мечтательностью его образов. Голубое небо с облаками в творчестве Франчи передает тихое, задумчивое настроение умбрийских мастеров.