於一九八二年,在當年的懲教署署長鼓勵下,開始了友愛會,專門招募義工探訪沒有人探的囚犯。有些囚犯更是十年沒有被人探過。在成立初期,友愛會的工作不是太活躍。於一九八六年,由高麗珍夫人Mrs.Jane Crawley成為友愛會的主席,她花了自己大部份的時間來建立友愛會。之後,根據社團條例第5A(1)條之規定註冊為慈善機構或信託團體。高夫人當時招募到大約一百名義工探訪至少八間香港的監獄。她亦招募了只跟囚犯通信的筆友義工。經過她的努力,之後,懲教署答應簽發出入監獄的探訪員證,讓義工們能擁有律師和社工的特別待遇,於探訪室內面對面直接與囚犯交談。她亦招募了幾位監獄探訪統籌,負責聯絡監獄的福利主任和探訪義工,以統籌和安排監獄探訪事宜。