Виктор Захарович родился в деревне Макарово, ныне Чухломского района Костромской области. В 1923 году, после окончания местной церковно-приходской школы, он отправился в Петроград, где добровольно вступил в ряды Красной Армии. В 1927 году Виктор Захарович окончил Артиллерийскую школу имени Красного Октября. В период с 1927 по 1932 годы проходил службу в Ново-Борисовском гарнизоне, который находился на границе с Польшей.
С 1932 по 1936 годы он обучался в Военно-воздушной инженерной академии имени Н. Е. Жуковского. В 1941 году, уже в звании капитана, Виктор Захарович был призван в действующую армию и назначен командиром артиллерийского дивизиона. В январе 1942 года за участие в обороне Москвы В. З. Ершов был награждён медалью и орденом Красного Знамени. В 1944 году Виктор Захарович в звании полковника был назначен командиром 142-й пушечно-артиллерийской бригады, которая входила в состав 49-й армии 3-го Белорусского фронта.
Под его командованием бригада отличилась при прорыве укреплённой позиции немцев на реке Проня в Могилёвской области. В августе 1944 года бригаду передали в состав 33-й армии 1-го Белорусского фронта. 15 января 1945 года полковник В. З. Ершов возглавил группу артиллерии дальнего действия при прорыве глубокоэшелонированной обороны противника на левом берегу реки Висла в районе города Пулавы в Польше. Огнём группы было уничтожено пять артиллерийских батарей и три немецких танка.
В ходе наступления советских войск на Лодзь и Познань в Польше Виктор Захарович управлял огнём бригады с передовых наблюдательных пунктов. Указом Президиума Верховного Совета СССР от 6 апреля 1945 года ему было присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
В апреле 1945 года В. З. Ершов был назначен командиром 222-й корпусной артиллерийской бригады, входящей в состав 5-й армии Дальневосточного фронта. В августе-сентябре того же года он принимал участие в Маньчжурской наступательной операции. 30 сентября 1945 года полковник Ершов был удостоен ордена Красного Знамени за выдающиеся заслуги в управлении бригадой. В ноябре того же года, находясь в Маньчжурии, Виктор Захарович тяжело заболел и был доставлен в госпиталь Спасск-Дальнего, но спасти его не удалось.
В 1977 году именем Героя Советского Союза в Спасске-Дальнем была названа улица. В 1981 году, после перезахоронения, на могиле Виктора Захаровича была установлена мемориальная плита. А в 2020 году на здании жилого дома по адресу улица Ершова, 8, была открыта памятная доска.