Narrated `Aisha: Allah's Messenger (ﷺ) said to me, "Were your people not close to the Pre-Islamic period of ignorance, I would have demolished the Ka`ba and would have rebuilt it on its original foundations laid by Abraham (for Quraish had curtailed its building), and I would have built a back door (too)."
Source: sunnah.com
Other translations
Arabic
حَدَّثَنَا عُبَيْدُ بْنُ إِسْمَاعِيلَ، حَدَّثَنَا أَبُو أُسَامَةَ، عَنْ هِشَامٍ، عَنْ أَبِيهِ، عَنْ عَائِشَةَ ـ رضى الله عنها ـ قَالَتْ قَالَ لِي رَسُولُ اللَّهِ صلى الله عليه وسلم " لَوْلاَ حَدَاثَةُ قَوْمِكِ بِالْكُفْرِ لَنَقَضْتُ الْبَيْتَ ثُمَّ لَبَنَيْتُهُ عَلَى أَسَاسِ إِبْرَاهِيمَ ـ عَلَيْهِ السَّلاَمُ ـ فَإِنَّ قُرَيْشًا اسْتَقْصَرَتْ بِنَاءَهُ ـ وَجَعَلْتُ لَهُ خَلْفًا ". قَالَ أَبُو مُعَاوِيَةَ حَدَّثَنَا هِشَامٌ خَلْفًا يَعْنِي بَابًا.
sunnah.com