تولى القراءة بمسجد فاضل باشا بحي السيدة زينب سنة 1918، فبلغ شهرة ونال محبة الناس، وافتتح بث الإذاعة المصرية سنة 1934م بسورة الفتح، ولما سمعت الإذاعة البريطانية بي بي سي العربية صوته أرسلت إليه وطلبت منه تسجيل القرآن، فسجل لهم سورة مريم.

أصيب الشيخ محمد رفعت في عام 1943م بمرض سرطان الحنجرة الذي كان معروفاً وقتئذ بمرض الزغطة وتوقف عن القراءة، يقال انه بالرغم أنه لم يكن يملك تكاليف العلاج إلا أنه اعتذر عن قبول أي مدد أو عون ألح به عليه ملوك ورؤساء العالم الإسلامي، وكانت كلمته المشهورة إن قارئ القرآن لا يهان وفارق الحياة في 9 مايو عام 1950م.