Петербурге. Сын композитора Александра Николаевича Серова.
Учился живописи в Германии, брал уроки у И. Е. Репина (в Париже и Москве), затем перешёл в петербургскую Академию художеств (1880—1885 гг.), где его учителем стал П. П. Чистяков. Дружил с М. А. Врубелем и А. И. Куинджи, оказавшими на него значительное влияние, входил в абрамцевский кружок художников.
В ранних картинах («Девочка с персиками», 1887 г.; «Девушка, освещенная солнцем», 1888 г.) и пейзажах ( «Пруд в Абрамцеве», 1888 г.; «Октябрь. Домотканово», 1895 г.) Серову удалось передать радостное, светлое ощущение мира, красоту природы. В раскрытии портретных образов он умело использует жест, позу, внешний облик человека, его манеру держаться («Дети», 1889 г.; «Мика Морозов», 1901 г.; «Остроухое», 1902 г.).
Со временем манера письма становится иной. Художник уделяет меньше внимания деталям, многоцветность его полотен уступает место сдержанным, мягким серовато-коричневым оттенкам.
В 90-х гг. Серов обращается к изображению писателей, учёных, артистов, художников. Им созданы портреты К. А. Коровина, Н. С. Лескова, И. И. Левитана, Н. А. Римского-Корсакова, М Горького, М. Н. Ермоловой, Ф. И. Шаляпина, Т. П. Карсавиной, царя Николая II.
В начале XX в. Серов был тесно связан с творческим объединением «Мир искусства». Во время революции 1905—1907 гг. он выразил своё возмущение действиями властей в серии сатирических рисунков и ушёл из Академии художеств.
В последние годы Серова увлекли исторические и мифологические темы. В картине «Пётр I» (1907 г.) художник дал один из самых запоминающихся образов царя — преобразователя России. Яркое впечатление оставляет работа «Похищение Европы» (1910 г.).
Умер 5 декабря 1911 г. в Москве.