آیت الله محمد یزدی (ره) در سال 1310 هجری شمسی در خانواده‌ ای متدین و ارادتمند به خاندان پیامبر، چشم به جهان گشود. جدش، مرحوم شیخ محمدعلی، حدود صد سال پیش از یزد به اصفهان هجرت کرد و در مدت زمان کوتاهی، در حوزه علمیه اصفهان، به درجات علمی بالایی نائل آمد. مرحوم «آقانجفی» که در آن دوره، ریاست حوزه علمیه اصفهان را بر عهده داشت، شیخ محمد علی را مأمور بحث و مناظره با کشیش‌های ارامنه جلفای اصفهان کرد که شیخ محمدعلی توانست بر تمامی آنها فائق آید و از آن پس، «شیخ یزدی» شهرت یافت.

دوران تحصیل آیت الله یزدی، سرشار از تحصیل در محضر عالمان بزرگ بوده است. وی در درس خارج علمای بزرگی همچون آیت الله بروجردی(ره)، آیت الله اراکی، آیت الله شیخ محمدتقی آملی، آیت الله شاهرودی و نیز یک دوره کامل در درس خارج امام خمینی(ره) شرکت کرد.