Практически не снимался в кино Столяров и в 60-е годы. Эта невостребованность носила не только профессиональный характер, но и политический. В начале десятилетия в обществе обострилось противостояние между двумя группировками - либералами и державниками, - и Столяров тоже участвовал в этом конфликте. Например, он был против той волны огульных антисталинских разоблачений, которая внедрялась в советское общество либералами после XXII съезда КПСС (октябрь 1961).

Столяров продолжал играть на сцене Театра киноактера, но в кино занят почти не был, как и большинство актеров этого театра его возраста. Столяров неоднократно поднимал вопрос об этом на разного рода совещаниях, но успеха эти выступления почти не имели. Так, в начале 60-х он схлестнулся на этой почве с режиссером Сергеем Колосовым ( 27 декабря 1921 года, Козерог-Петух). Тот взялся экранизировать «Укрощение строптивой» Шекспира силами актеров ЦАТСА, где шел этот спектакль и где играла его жена - Людмила Касаткина (15 мая 1925 года, Телец-Бык). Столяров же был уверен, что это можно было сделать силами их театра. Победа в этом с поре осталась за режиссером. Чего Столяров простить не мог.

В конце 1965 года на Первом учредительном съезде Союза кинематографистов СССР Столяров вновь вспомнил о Колосове и раскритиковал его последний фильм - телеэпопею (первый многосерийный фильм на советском ТВ) «Вызываем огонь на себя». И вновь под огонь его критики попал не только режиссер, но и его супруга Касаткина, вновь сыгравшая главную роль. «Артистка Касаткина - прекрасная артистка, но в эту роль она внесла все свои штампы», - заявил Столяров.