Вскоре в деревне начался голод, и, чтобы спасти своих детей, мать решила младших оставить у себя, а троих старших сыновей отправить в Ташкент. В те годы этот город называли хлебным (эти события хорошо описаны в повести А. Неверова «Ташкент город хлебный», по которому в 1968 году был снят не менее замечательный фильм). Так начались скитания Сережи Столярова по объятой войной России. В Ташкент тогда он так и не попал - заболел брюшным тифом, и братья оставили его в больнице в Курске, а сами так и пропали в водовороте тех событий. Сергей вылечился и некоторое время оставался в больнице, до полного выздоровления, помогал санитарам. Затем его определили в курский детский дом. Именно там он впервые и узнал, что такое театр. Воспитатель организовал из детдомовских ребят драмкружок.

В конце 20-х годов Столяров закончил Первое профтехучилище в Москве и одно время работал паровозным машинистом на Киевской железной дороге. В свободное время он учился в театральной студии для рабочих при МХАТе, организованной актером Алексеем Диким. Актерские способности у Столярова, без сомнения, были, поэтому по окончании студии ему посоветовали поступать во МХАТ. В 1932 году на приемных экзаменах в знаменитом театре Столяров читал монолог Нила из пьесы М. Горького «На дне». Читал прекрасно, члены высокой комиссии - а это были Константин Станиславский, Владимир Немирович-Данченко, Всеволод Мейерхольд - приняли решение из пятисот абитуриентов зачислить в театр только двоих. Одним из них был Сергей Столяров, другим - Михаил Названов.