1930年，年僅7歲的霍英東先后失去了2個哥哥和父親霍耀容，母親只能帶著他和9歲的姐姐、5歲的妹妹相依為命。當時不少人說，霍家將會徹底垮掉，再也沒有希望。在安葬父親之后，霍母劉氏便帶著三個孩子棄舟上岸，霍英東也因此結束了7年的水上生活。

霍英東的母親姓劉，人稱「劉三」或「霍四嬸」，身為水上人家，劉氏帶著三個孩子上岸之后，無處安生，只得在港島街頭流浪。幸虧得熟人介紹，在當時香港的貧民窟「灣仔石水渠街」

找到了一個住處，一間20平米的房子里，住著四五十人，其中還有一些病人，隨時都有被傳染的危險。由于霍母不愿再做海上運輸生意，但又要養活三個孩子，無奈之下她借錢買了一部縫紉機，在石水渠街為街坊做新衣、縫補衣服。

誰知在貧民窟里生意很難做，根本賺不了幾個錢。于是霍母決定重操舊業，把丈夫霍耀容遺留下來的生意經營下去，但孤兒寡母幾人，沒有自己的貨船，更沒有錢租船，又如何能接活呢？就在走投無路之時，一個叫「林子豐」的富商出現了，霍家也因為林子豐而再一次開始崛起。

霍母劉氏曾對孩子們說：「你們要記住林子豐先生，他是我們霍家的大恩人。」那麼這位林子豐是誰呢？他對霍家到底有什麼大恩大德呢？

林子豐祖籍廣東揭陽，1915年來到香港，不久與好友創辦公司，做起煤炭生意。1924年，林子豐又與好友創辦了嘉華儲蓄銀行。當時只有30歲左右的林子豐，在香港商界已頗負盛名，富甲一方，先后創辦香港培正中學、浸會書院、浸會醫院等機構。

當時，林子豐正經營煤炭生意，每隔幾天就有一船煤炭從國外運到香港，而煤炭又需要使用舢板運上岸，林子豐把這個工作交給了霍母劉氏，由她安排轉運工作，例如組織運輸船隊，支付薪水等，劉氏類似一個承包商。但林子豐為何會選擇劉氏呢？背后的原因就不得而知了。

雖然得到林子豐的關照，但承包商的生意也不好做。有台風時沒人干活，貨量大時，船家還會趁機抬價，然而林子豐給的酬勞是固定的，因此有時霍母劉氏還可能賠錢。

即使如此，劉氏也會準時將煤炭運上岸。

時間一長，林子豐知道霍母劉氏講信用、講義氣，因此把自己更多的貨物運輸業務交給她去做。還在上學的霍英東，經常放學后，拿著母親給的賬單，到林子豐的公司領錢，然后分發給搬運工和船家。

在林子豐的關照下，霍家的日子一天比一天好，不久便離開了貧民窟「石水渠街」，在灣仔的謝斐道租了一層樓，前廳作為船館，讓苦力和船家們休息，等活干。可以說，許多苦力工人或船家都跟著霍英東的母親混飯吃，得罪了劉氏，等于砸了自己的飯碗。

盡管母親劉氏將林子豐視為「大恩人」。然而，霍英東在晚年回憶時卻說：「林子豐也不是什麼大恩人，他只不過有煤炭，要我們幫忙找船客，可能我母親覺得那是好大一件事吧！」

后來，霍家的條件越來越好，13歲的霍英東又以優異的成績考入了香港第一家公立學校「皇仁書院」，在校期間，他認識了早他3年入學的學長「何鴻燊」。