Его отец - Борис Градский работал инженером на заводе, мать - Тамара Павловна была артисткой драматического театра. В свое время ее приглашали играть во МХАТ, но она вынуждена была отказаться и уехать вместе с мужем на Урал, куда его распределили после окончания института на один из заводов. В Москву Градские вернулись в 1957 году. Однако ввиду чрезмерной занятости родителей (отец работал на заводе, мать руководила театральными кружками, а затем была литературным сотрудником в журнале «Театральная жизнь») Александр несколько лет жил за городом, у бабушки, в деревне Расторгуево Бутовского района. Только в 1961 году он переехал в Москву, на Вторую Мосфильмовскую улицу. Гранит среднего образования Градский «грыз» в школе №76.

Проча своему сыну карьеру классического музыканта, мать отдала его в 7-летнем возрасте еще в одно учебное заведение - Гнесинскую музыкальную школу по классу скрипки. Однако через полтора года обучения педагог Градского Виктор Васильевич Соколов перевелся в другую школу - имени И. Дунаевского; следом за ним туда же перевелся и весь его класс. И все же увидеть своего сына в лучах славы Тамаре Павловне было не суждено - в 1963 году она скончалась после продолжительной болезни.

Вскоре после смерти жены отец Александра женился во второй раз, и около двух лет они жили вчетвером: отец, мачеха, бабушка (другая - московская) и Александр. Но года через два «молодые» с квартиры съехали, и Градский остался на попечении бабушки. По его же словам, несмотря на то, что отношения с отцом продолжались, жили они порознь и Александру пришлось стать самостоятельным. В его жизнь навсегда вошла музыка.