五祖寺距離四祖寺的圖上距離只有20公裏，實際感覺要遠許多。一路上穿鄉過鎮，在田畝間的公路上緩緩而行，時刻相隨的風雨緊一陣慢一陣，纏綿得有些膩人。
大約半個小時左右，進入一座規模較大的集鎮，臨街的店鋪都是新修的門臉，像是剛剛經過舊城改造，與一路上灰頭土臉、髒亂不堪的鄉村相比，感覺煥然一新。
正門是一座徽式風格的石頭門樓，灰瓦飛檐，半拱型的的三道門洞。中間紅漆大門，十分鮮豔，門拱上是浮雕石刻雲龍圖案，正中懸挂著“五祖寺”牌匾，金字金框，在灰色牆壁映襯下格外醒目。兩邊的小門洞開，供人出入，左邊門拱上題寫的是五祖門下高足神秀上座那首著名的偈頌：
身是菩提樹 心如明鏡台
時時勤拂拭 莫使惹塵埃
右側門拱上镌刻的則是六祖慧能的偈頌:
菩提本無樹 明鏡亦非台
本來無一物 何處惹塵埃
當初，神秀和尚師從五祖，對佛法修持很有造詣，深受僧衆推崇，都認爲五祖會將衣缽傳給他。爲了選出承繼禅宗衣缽的人，五祖就讓大家將自己參修佛法的見地做一首偈子，以此證明自己證悟的道行。
于是，神秀便作了那首“身是菩提樹”，題寫在寺內牆壁上。
當時，六祖慧能在寺內舂米做雜役，甚至還沒有剃度，偶爾聽到其他人念誦神秀的偈子，便跟隨衆人前去觀看。看到了神秀的偈子，六祖慧能認爲作這首偈的人還沒有究竟覺悟，便作了“菩提本無樹”，請人寫在旁邊。
五祖看到之後，知道慧能堪承衣缽，便將禅宗心印衣缽傳給了他。此後，六祖慧能回到嶺南隱姓埋名若幹年，直到機緣成熟之後，才開始在曹溪弘法傳道，使南宗光大于天下，逐漸形成一花五葉，宗脈千古流傳。可以說，天下禅宗，皆以六祖慧能爲依歸，而六祖慧能就是出自這座東山五祖寺，今天曹溪的山門有一聯——東山不二法門，指得就是這裏。
大門兩邊的梁柱上還有一副對聯：上接達摩一脈 下傳能秀兩家。
五祖雖然將衣缽傳給了慧能，對神秀和尚仍然給予相應的肯定。對于常人來說，神秀和尚所倡導的勤修護念也更加實用，能堅持不懈做下來，自然有瓜熟蒂落的時候。而就身前的成就來說，神秀和尚所代表的北宗法門曾經盛極于唐代中期，神秀和尚也被尊奉爲國師，榮耀無比。
從五祖真身殿向後，穿過一道窄巷，右手有一座小庭院，梅花、茶花紛紛吐蕊，春意盎然，穿過花園，便是六祖殿，殿內除了供奉六祖像，還保留著六祖舂米的遺迹。一個二尺深的臼坑，約丈長的杵棰，後壁牆上用魏楷寫著“慧能舂米處。”
六祖慧能從嶺南來見五祖，五祖問他欲求何物，六祖回答惟求作佛。五祖察其舉止言談，知道堪爲法器，便有意磨練他，派他到後院舂米劈柴，做了八個月雜役。
從六祖殿向前望，是一片苗圃，左前方一棵古樹參天，還沒有發芽，被雨水浸潤的枝條呈現出蒼勁的儀態，樹的背景便是濃濃的雨霧，彷佛在揭示六祖所參悟到的本性。