“千万不要买他的楼，说不定，楼没建起，他人拿着买家的钱逃跑了。”

传言很快传遍港九。一些已经交了订金的买家，不是打电话来霍英东的公司查询，就是来工地亲自察看，还有个别买家要求退返订金。

“人言可畏”，尤其是不实之人言。1961年，市井谣传当时著名华资银行家兼大地产商廖宝珊涉嫌贩毒将被港府递解出境言，从而引发廖创新银行挤兑风潮，廖宝珊受此打击脑溢血猝亡，廖氏家族庞大的基业破产。

霍英东多年后回忆道：“其实，我自己也曾像廖宝珊一样，深受谣言所害，那年传我被递解出境，说我的沙船走私，一点根据都没有。”

90年代，《霍英东传》的作者，香港作家冷夏问起此事，问霍英东当时最怕的是什么，是否担心市民听信谣言不买蟾宫大厦的楼。

霍英东说：“最怕的是被递解出境。”这种担心，像魔影一样纠缠霍英东达20多年。霍英东说，只要你的楼在建，就不愁买家，迟早总会卖出去的。如果被递解出境，你在香港的一切都会彻底完蛋。“那时我听到要被递解出境的传言，全身就会发抖。”

香港一些有案在身的人说：“不怕犯案坐监，就怕递解出境。”被判入狱出来后还是香港人，况且香港没有死刑，坐监吃饭管饱，有病还可看医。尤其是50年代末60年代初的那几年，偷渡去的人把他们原先生活的地方描绘成地狱，仿佛连香港的犯人都生活在天堂里。

长期以来，递解黑社会犯罪头目和###的“左派”人士，成为港英当局的杀手锏。1949年8月香港立法局通过《驱逐不良分子出境条例》，短短几年间，被驱逐出境的有100多人。其中较为轰动并引起民间同情的有：港九纺织业工会副主席楼颂平、香岛中学校长庐动、电车职工会副主席欧阳少峰、港九工联会副主席麦耀全、东华三院秘书陶开裕、电影工作者马文森等7人、教育工作者吕冈等12人、香港电车职工会职员13人。这些人有的是亲共人士，有的是进步文化工作者，有的反英分子。

霍英东被传言的罪状，不仅有走私军火，还有与中共关系密切。说他在朝鲜战争期间，偷运战略物质，是帮助志愿军抗美援朝。霍英东声明，他帮助志愿军抗美援朝是真，但走私军火是假。他偷运的只是柴油、橡胶之类的战略物质。

任凭霍英东如何声明，“走私军火”的谣传令霍英东背了几十年黑锅，到香港回归祖国时霍英东才算彻底走出­阴­影。

霍英东还是亲英分子眼中的“左派”人士。霍英东出身贫苦，有过做苦力的痛苦经历，成为富翁后仍不忘自己的出身，经常说一些同情劳动人民的话。而下层人民和工会成员也把霍英东看成是他们的代言人。因此，传言霍英东将被递解出境，当然不会是空|­茓­来风。

那么，递解出境的传言，究竟是什么人传出来的呢？

一种说法是港英政府里的某些官员。