Яковлев еще в школьном кружке строил летающие авиамодели и в 20-е годы стал одним из зачинателей советского авиамоделизма, планеризма и спортивной авиации.

В 1924 году Александр Яковлев построил свой первый летательный аппарат — планёр АВФ-10, который был премирован как один из лучших советских планёров на всесоюзных соревнованиях. Первый полёт АВФ-10 совершил 15 сентября 1924 года, сейчас эта дата отмечается как день рождения ОКБ имени Яковлева.

С 1924 по 1927 год Яковлев работал сначала рабочим, затем мотористом лётного отряда Военно-воздушной Академии имени Н. Е. Жуковского. Несмотря на многочисленные просьбы и обращения, в академию его не брали, ввиду «не пролетарского происхождения». В 1927 году Яковлев построил лёгкий самолёт АИР-1.

В 1927 году был зачислен в Академию имени Н. Е. Жуковского, которую закончил в 1931 году. В 1931 поступил инженером на авиазавод № 39 им. Менжинского, где в августе 1932 года организовал группу лёгкой авиации.

15 января 1934 года Яковлев стал начальником производственно-конструкторского бюро Спецавиатреста Авиапрома, с 1935 по 1956 — главным конструктором. Член ВКП(б) с 1938 года. В 1943 году передал присуждённую ему Сталинскую премию в Фонд обороны.

С 11 января 1940 года по 1946 год одновременно являлся заместителем наркома авиационной промышленности по новой технике, с марта 1946 года заместителем министра авиационной промышленности (по общим вопросам). В июле 1946 года оставил должность заместителя министра по собственному желанию:

С 1956 по 1984 год — Генеральный конструктор ОКБ имени Яковлева.

Под руководством Яковлева ОКБ 115 выпустило свыше 200 типов и модификаций летательных аппаратов, в том числе более 100 серийных. С 1932 года самолёты ОКБ непрерывно находятся в крупносерийном производстве и эксплуатации. За 70 лет построено 70 000 самолётов «Як». Во время Великой Отечественной войны для фронта было построено 40 000 самолётов «Як». На самолётах КБ Яковлева установлено 74 мировых рекорда.