Родился 1 апреля 1902 г. в местечке Ракиши Ново-Алексеевского уезда Ковенской губернии в семье портного. В 1918 г. добровольно вступил в Красную армию.
После окончания гражданской войны служил в армии, с 1922 г. в 4-й истребительной эскадрилье, которая базировалась в Минске.

Здесь, в Минске он решил продолжить общеобразовательную подготовку и поступил на факультет общественных наук БГУ. Занимался на правовом отделении этого факультета с 1923 по 1926 г. В 1926 г. его назначили военным комиссаром только что сформированной в Смоленске авиационной бригады. Через 5 лет он возглавил 201-ю (позже «имени Совнаркома БССР») авиабригаду, которая дислоцировалась в Витебске.

Отсюда осенью 1936 г. Я.В.Смушкевич вылетел в Испанию, где сражался в рядах республиканских войск, проявив себя выдающимся авиационным военачальником и непревзойденным мастером воздушного боя. 21 июня 1937г. был удостоен звания Героя Советского Союза.

В боях на р. Халкин-Гол командовал авиационной группой. За образцовое выполнение ею боевых заданий он был награжден второй медалью «Золотая Звезда» (17 ноября 1939 г.). С ноября 1939 г. являлся начальником ВВС Советской Армии, помощником начальника Генштаба по авиации.

Один из трех первых дважды Героев Советского Союза, генерал-лейтенант авиации, кандидат в члены ЦК ВКП(б), депутат Верховного Совета СССР первого созыва Я.В.Смушкевич в начале июня 1941 г. был арестован, необоснованно осужден и осенью вывезен в Куйбышев, где 28 октября 1941 г. был расстрелян.
Реабилитирован в 1954 г. Бронзовый бюст героя установлен в городе, в котором он родился. Как память о нем океанские просторы бороздит судно-рефрижератор «Яков Смушкевич». Его имя носит одна из улиц г.Витебска.