علی رزمی در سال 1312 چشم به جهان گشود و از همان ابتدا شاهد برخی از سخت‌ترین روزهای تاریخ ایران بود. او در كودكی پدر خود را از دست داد. او كه كودكی سختی‌كشیده بود، خیلی زود تصمیم به پیوستن به دانشكده‌ی نظامی گرفت.

با نزدیك شدن به سال‌های انقلاب، علی رزمی نیز به انقلابیون پیوست و سال‌های پس از انقلاب نیز در میان نظامیان حافظ انقلاب اسلامی مشغول به انجام وظیفه شد. پس از شروع جنگ تحمیلی، علی رزمی جزو اولین فرماندهانی بود كه قدم به میدان جنگ گذاشت و با ذكاوت، جهت حفظ كشور جنگید.