Родился в Лубнах Полтавской губернии в 1855 году в еврейской семье. Первоначальное образование — домашнее. 
С 1868 года учился в 5-й гимназии в Петербурге (в списке выпускников 1872 года он значится как Симон Венгеров (по окончании гимназии принял христианство), затем в Медико-хирургической академии (1872—1874). 
Окончив юридический факультет Санкт-Петербургского университета в 1879 году, служил помощником присяжного поверенного.
Экстерном сдал экзамен по историко-филологическому факультету в Юрьевском университете в 1880 году и был приглашён на кафедру истории русской литературы Санкт-Петербургского университета для подготовки к профессорскому званию, но из-за материальных трудностей в 1882 году покинул университет и восемь лет служил в правлении Либаво-Роменской железной дороги. С 1882 по 1885 годы находился под негласным надзором полиции.
С 1890 года целиком отдался историко-литературной и библиографической деятельности. В 1897 году был назначен приват-доцентом Санкт-Петербургского университета, но в 1899 году уволен как политически неблагонадёжный. Вновь допущен к педагогической деятельности в 1906 году. В 1909 году Харьковский университет по совокупности работ присвоил Венгерову степень доктора русской словесности. В 1910 году он был избран профессором Бестужевских курсов и Психоневрологического института. С 1917 года был директором Российской книжной палаты, с 1919 — профессором Петроградского университета.
Скончался 14 сентября 1920 года в Петрограде. Похоронен на Литераторских мостках.