Comme la plupart des chanteurs israéliens, il a commencé sa carrière dans l’armée, dans l’unité Nahal de Tsahal. Il créa ensuite le « Yarkon Bridge Trio » (hébreu: שלישיית גשר הירקון), avec Arik Einstein et Beni Amdorsky. Les trois sont rapidement devenus des stars incontestées de la chanson israélienne.
Gaon a interprété de nombreuses chansons d’autres stars de la chanson israélienne, notamment des chansons de Naomi Shemer tels que Od Lo Ahavti Dai (« Je n’ai pas encore aimé assez »), Simanei haDerekh (« Les bornes limites ») et Al Kol Eileh (« Pour toutes ces choses »).