Советский военачальник, маршал бронетанковых войск, дважды Герой Советского Союза.  

Родился в селе Малый Выстороп Харьковской губернии в семье рабочего.
Окончил трёхлетнюю церковно-приходскую школу, в 13 лет начал работать на сахарном заводе, с 1912 года — токарем на паровозостроительном заводе в Харькове.  

Во время Первой мировой войны был призван в Русскую императорскую армию, участвовал в осаде Перемышля, в наступательных операциях на Буковине и в Брусиловском прорыве.  

В декабре 1917 года вступил в Красную гвардию, сражался с украинскими националистами и кайзеровскими интервентами, с февраля 1918 года — помощник командира краснопартизанского отряда.  

С лета 1919 года — в регулярной Красной Армии. В годы Гражданской войны участвовал в боях с деникинцами, поляками, врангелевцами и махновцами, пройдя путь от командира роты до комиссара бригады.  
В 1934 году, окончив Военную академию имени М. В. Фрунзе, был направлен военным советником в Китай, где находился по декабрь 1935 года.  

В 1937—1939 годах был военным атташе в Польше, а затем в Китае.

С началом Великой Отечественной войны с 1942 года Рыбалко возглавил сначала 5-ю, 3-ю, а затем и 3-ю гвардейскую танковые армии. Принимал участие в Курской битве, в битве за Днепр, в наступлении под Киевом, Львовом, Берлином, Прагой.

1 июня 1945 года присвоено воинское звание маршал бронетанковых войск. С апреля 1947 года — командующий бронетанковыми и механизированными войсками Советской Армии.
Избирался депутатом Верховного Совета СССР второго созыва (1946−1948 годы).

Скончался 28 августа 1948 года в Москве после продолжительной болезни.

Был награждён двумя орденами Ленина, тремя орденами Красного Знамени, тремя орденами Суворова I степени, орденом Кутузова I степени, орденом Богдана Хмельницкого I степени, медалями и иностранными наградами.