1971年11月發行的首張專輯《Cold Spring Harbor》中，喬把自己重新定位為一位感性歌手和歌曲作者。此後喬舉行了小型現場巡唱，取得不錯的口碑，但他對自己的演唱和專輯的水準並不滿意。1973年，喬的現場版《Captain Jack》唱片引起多家唱片公司的注意，最終哥倫比亞唱片公司與Family Productions達成協定，獲得與喬的簽約權。比利·喬加盟哥倫式亞後的首張專輯《Piano Man》面世後於74年春登上排行榜第27位。第二張專輯《Streetlife Serenade》取得第35名的成績。
成為超級明星
喬從加利福尼亞搬到紐約，於76年推出《Turnstiles》，這張專輯不夠理想，但是次年的《The Stranger》成為他事業的重大突破點，排行榜亞軍成績、白金銷量以及格萊美年度最佳唱片和最佳歌曲獎，把他直接送入超級巨星之列，此後的20年，專輯賣出了700萬張拷貝。接下來的《The Stranger with 52nd Street》發行第一個月售出200萬張，雄霸美國排行榜冠軍長達8周，並贏得了79年的葛萊美獎。儘管他已經成為名副其實的明星，但卻總是得不到評論家的青睞。1980年，作為對朋克和新浪潮運動的回應，喬發行了新專輯《Glass Houses》，蟬聯了六周冠軍，並為他贏得格萊美最佳搖滾男歌手獎。
後來的作曲家
1981年現場版《Songs in the Attic》之後，喬開始以作曲家的身份策劃一張新專輯。在經歷了車禍和婚變的雙重考驗後，《The Nylon Curtain》終於在1982年秋面世，專輯在商業上並不成功，只賣出100萬張，倒是為他賺得了更佳的評論，還有兩首單曲打入Top 20排行榜。趁熱打鐵的喬很快於83年推出了《An Innocent
Man》，這張擁有多支熱門金曲的唱片讓喬重溫多重白金的輝煌，賣出了700萬張。
1985年喬發行了雙碟精選集《Greatest Hits, Vols. 1 & 2》，登上排行榜第六，總銷量超過1000萬張。86年夏，他為影片《家有惡夫》（Ruthless People）原聲帶所作的單曲《Modern Woman》打入Top Ten排行榜，該曲被收進他8月份的新專輯《The Bridge》，該專輯是他的又一成功力作。1987年春，喬在前蘇聯舉行了巡迴演，並於秋天發行了現場雙碟專輯《Kohuept》。1988年喬相當沉寂，只在迪士尼卡通片《奧利華歷險記》（Oliver and Company）中擔綱配音。1989年比利推出了他的第12張錄音棚專輯《Storm Front》，其中的單曲《We Didn't Start the Fire》獲得巨大成功，其由歷史事件貫串而成的歌詞更是激勵了全美學習歷史的學生；《Storm Front》成為喬的又一張冠軍專輯，賣出300多萬張。
90年代的喬
從90到91年，喬在美國舉行了巡迴演唱會，91年底他被美國錄音藝術與科學學會授予格萊美當代傳奇獎。此後幾年的樂壇沒有聽到比利·喬的聲音，直到1993年他才帶著《River of Dreams》復出樂壇，並舉行了巡唱。2001年的錄音棚唱片《Fantasies & Delusions》是他第一張自主作曲的古典專輯。
現在的喬
2004年他進軍文壇，小試牛刀的第一部兒童新書《Goodnight, My Angel: A Lullaby》出版發行。05和06年，他分別推出了音樂回顧、四張CD/一張DVD的專輯《My Lives》、《Live in Madison Square Garden NYC》和《12 Gardens Live》。
