Закончил историко-филологический факультет Казанского университета в 1875 году.
В 1868 году, обучаясь в Симбирской гимназии, открыл в Симбирске частную школу, ставшую в последующем первой национальной школой, первым профессиональным учебным заведением чувашского народа – Симбирской чувашской учительской школой (1890), семинарией (1918), затем первым вузом – институтом народного образования (1920).
И.Я. Яковлев способствовал открытию чувашских и других национальных школ в Поволжье. Для чувашских школ разработал методику обучения, творчески использовав педагогическое наследие К.Д. Ушинского и его последователей.
В 1871 году Яковлев составил чувашский алфавит на основе русской графики и букварь, которые в дальнейшем были усовершенствованы.
В 1875-1903 гг. Иван Яковлевич служил инспектором чувашских школ Казанского учебного округа, до 1919 года продолжал руководить созданным им в Симбирске чувашским педагогическим учебным заведением.
В сентябре 1919 года отошел от дел и выехал в октябре 1922 года в Москву к сыну на постоянное жительство.
С 1958 года имя Ивана Яковлевича Яковлева носит Чувашский государственный педагогический университет.
