معنی کلمه گرامی محمدعلی در دانشنامه اسلامی
تحصیلات ابتدائی را در مدرسه ای به نام مدرسه باقریه که در کنار مدرسه فیضیه واقع شده بود، شروع کرد. بعدها آنجا را خریدند و جزیی از مسجد اعظم شد. مدیر آن مدرسه، مرحوم آقا رضا برقعی، اخوی حاج آقا مرتضی برقعی از وعاظ معروف قم بود. وی پس از آن، سیکل شبانه را شروع کرد و شش سال را طی دو سال خواندند.
وی عاشق طلبه شدن بود و علاقه مند به فراگیری دروس حوزوی. خود، در این موضوع می گوید: «در آن زمان گاهی از طرف پدرم وجوه شرعی خدمت آقای بروجردی می بردم. دیدار ایشان تأثیر عجیبی بر من می گذاشت. من عاشق طلبگی بودم و تحت تأثیر آقای تربتی واعظ، طلبه شدم. پدر و نزدیکانم با طلبه شدنم مخالف بودند. با خدا خیلی راز و نیاز داشتم که خدا! من دوست دارم طلبه شوم. شبی در خواب دیدم که سیدی به حجره تجارتی پدرم آمد و روی نیمکت مقابل میزش نشست و مرا هم پهلوی خودش نشاند، نوازش کرد و مقداری پول به من داد. از خواب که بیدار شدم، خیلی خوشحال شدم و تعبیر کردم که طلبه می شوم و شهریه می گیرم. برای کسی خوابم را تعریف نکردم. البته قبلا کمی درس عربی خوانده بودم و این روایت را دیده بودم که: «استعینوا فی قضاء الحوائج بکتمانها»؛ بنابراین، خوابم را برای کسی نگفتم تا شاید مستجاب شود».
بر این اساس، وی در سال 1328 یا 1329 و یا 1330 تحصیلات حوزوی را شروع کرد.
اساتید وی از ابتدای ورود به حوزه
از محضر اساتید بزرگواری همچون حاج آقا حسین جزائری، حاج آقا ستوده، آقای سلطانی، آشیخ یعقوب زنجانی، اصغرآقا طاهری کنی استفاده برده و دروس مقدمات را به پایان رساندند. در سال 35 یا 36ش بود که به درس مرحوم امام و مرحوم آقای بروجردی رفتند. مقداری از «رسائل» و «مکاسب» را نزد آقای مشکینی خواندند. در مقطع سطح، مقداری از «منظومه» را هم نزد آقای منتظری فراگرفتند. «کفایه» را نیز نزد استاد سلطانی و مجاهدی آموخت. آیت الله گرامی درس خارج را نزد اساتید بزرگواری همچون آیات عظام بروجردی، امام خمینی، آقای حائری، داماد، مرحوم آمیرزا هاشم آملی، فرید اراکی و شریعتمداری فراگرفتند.