关于此地闹鬼的传闻有很多,当中其最为多人流传的是,在七十年代,很多驾车人士,当经过这里时,都会听到里面传出一些惨叫声,但是七十年代,这建筑物已经是空置的,那么他们听到的声音就成了人们讲鬼故事的题材了。

另外还有一个比较知名,说是一名专栏作家,曾在小时候,也就是90年代初,看一部片名叫大迷信的电影时,见到节目主持人进到改建前的老旧建筑物时,拍到里面半截楼梯站着一位神父。这栋建筑就是香港高街鬼屋了。他仔细一看,这位神父没有双脚,像是浮在空中。他揉了揉眼睛后,再看屏幕,只见到整个屏幕都是这位神父的脸,神父似乎察觉到这作家看到了他,于是飘到屏幕前看着这作家,这作家吓得立刻关上电视。
