Według wspomnień rodziny to w tym pałacu, w tak zwanym dużym salonie, Adolf Hitler podpisał rozkaz o ostatecznym zdobyciu Warszawy i wyprawił z tego powodu wielki bankiet. Wyjeżdżając, Hitler zostawił ponoć list do właściciela pałacu, w którym wyrażał ubolewanie, że armia niemiecka poczyniła w nim tyle zniszczeń. Podobno przez cały okres wojny przyjeżdżali tu Niemcy, by podziwiać miejsce, w którym zapadła tak ważna wojskowa decyzja.