Abu Tufail narrated: "I was with Ibn Abbas, and Mu'awiyah would not pass any corner without touching it. So Ibn Abbas said to him: 'the Prophet (ﷺ) would not touch any besides the Black Stone and the Yemeni corner.' So Mu'awiyah said: 'There is no part of the House that is untouchable.'"
Source: sunnah.com
Other translations
Arabic
حَدَّثَنَا مَحْمُودُ بْنُ غَيْلاَنَ، حَدَّثَنَا عَبْدُ الرَّزَّاقِ، أَخْبَرَنَا سُفْيَانُ، وَمَعْمَرٌ، عَنِ ابْنِ خُثَيْمٍ، عَنْ أَبِي الطُّفَيْلِ، قَالَ كُنْتُ مَعَ ابْنِ عَبَّاسٍ وَمُعَاوِيَةُ لاَ يَمُرُّ بِرُكْنٍ إِلاَّ اسْتَلَمَهُ فَقَالَ لَهُ ابْنُ عَبَّاسٍ إِنَّ النَّبِيَّ صلى الله عليه وسلم لَمْ يَكُنْ يَسْتَلِمُ إِلاَّ الْحَجَرَ الأَسْوَدَ وَالرُّكْنَ الْيَمَانِيَ . فَقَالَ مُعَاوِيَةُ لَيْسَ شَيْءٌ مِنَ الْبَيْتِ مَهْجُورًا . قَالَ وَفِي الْبَابِ عَنْ عُمَرَ . قَالَ أَبُو عِيسَى حَدِيثُ ابْنِ عَبَّاسٍ حَدِيثٌ حَسَنٌ صَحِيحٌ . وَالْعَمَلُ عَلَى هَذَا عِنْدَ أَكْثَرِ أَهْلِ الْعِلْمِ أَنْ لاَ يَسْتَلِمَ إِلاَّ الْحَجَرَ الأَسْوَدَ وَالرُّكْنَ الْيَمَانِيَ .
sunnah.com