Иван Васильевич Ершов родился 8 (20) ноября 1867 года на хуторе Малый Несветай Черкасского округа Области Войска Донского, в семье казака Василия Сергеевича Ершова. Мальчик был незаконнорожденным, поэтому его мать Мария Степановна вынуждена была уйти от мужа. Она устроилась кормилицей, а сына отдала на воспитание в многодетную, очень бедную семью. Уже гораздо позже выяснилось, что из-за постоянных лишений в раннем детстве Иван Ершов перенес «на ногах» туберкулез.

Когда сыну исполнилось 5 лет, мать забрала его к себе. Мальчик учился в Новочеркасском окружном училище, затем пытался поступить в казачье юнкерское училище, но его не приняли.

В 1884-1887 годах И. В. Ершов учился в Елецком железнодорожном училище, получил диплом помощника машиниста, начал работать. Именно в Ельце были замечены его вокальные способности.

Здесь молодой человек много пел – в церковном хоре, в самодеятельных концертах. Музыканты-профессионалы устроили благотворительный концерт в его пользу. На вырученные деньги Иван уехал в Москву и поступил в Московскую консерваторию.

Через три месяца молодого певца услышал ректор Петербургской консерватории А. Г. Рубинштейн, который принял его к себе. Учился студент Ершов на стипендию в 15 рублей в месяц и бесплатный обед. После окончания консерватории (1893) он дебютировал в Мариинском театре в опере Гуно «Фауст». Затем последовала четырехмесячная стажировка в Италии (1894). В 1894-1895 годах он служил в Харьковском оперном театре, а в 1895 году был принят в труппу Мариинского театра, на сцене которого пел до 1929 года. С 1915 года преподавал в Петроградской (Ленинградской) консерватории, был выдающимся педагогом, стоял у истоков Оперной студии Ленинградской консерватории. Профессор (1916). Доктор искусствоведения (1941).

И. В. Ершов чуждался рекламы, околотеатральной суеты, редко давал интервью. Тяготился жизнью в роскошном особняке бывшей фрейлины А. А. Вырубовой в Царском Селе, предоставленном ему правительством, – и отдал его под студенческое общежитие, поселившись в обычной квартире. От гастрольных выступлений за рубежом (в Америке, Германии) отказывался, предпочитая, как писали критики, «блеску европейской славы подвижническую деятельность у себя дома, мало заботясь о себе, но не жалея своих сил для дела русской оперы». Репертуар певца был огромен. Его голос отличался редкой силой и широтой диапазона, имел своеобразный тембр. Зрителя покоряло и его актерское мастерство, внимание к деталям: грим, костюм, дикция, мимика, пластика движений. «Колоссальный творческий труд неистового актера, чье имя овеяно прекрасной легендой», – так определял свое отношение к нему С. Лемешев.

Современники называли И. В. Ершова «Шаляпиным среди теноров».

Особенно певцу удавались партии в операх Вагнера. «Если бы Ершов за всю свою жизнь не исполнил ничего, кроме этих шести ролей, и то он заслужил бы право на бессмертие», – писал русский искусствовед Э. Старк. Вершиной исполнительского мастерства И. В. Ершова считают также его трактовку «Песен и плясок смерти» М. П. Мусоргского.

В 1938 году в связи с 75-летием Ленинградской консерватории И. В. Ершов был награжден орденом Ленина, ему присвоили звание «Народный артист СССР».

Когда началась Великая Отечественная война, эвакуировался с консерваторией в Ташкент, где 21 ноября 1943 года умер.

Тринадцать лет спустя прах И. В. Ершова был перезахоронен в Некрополе мастеров искусств Александро-Невской Лавры в Ленинграде.