On le rappelle en 1962 pour jouer des matchs en séries éliminatoires contre les Maple Leafs de Toronto. Il obtient cinq points en quatre matchs. Il méritera son poste dans la formation au camp d'entraînement suivant.
Il devient vite un des joueurs favoris des amateurs au Madison Square Garden, mais malheureusement pour lui, il subit des séquelles de son opération du dos. Il doit manquer la moitié de la saison 1965-1966 afin de se faire réopérer. Cette seconde intervention chirurgicale sauve sa carrière.
À son retour la saison suivante, il aide les Rangers à se qualifier pour les séries pour la première fois en cinq ans.
En 1970-1971, il est aligné aux côtés de Ratelle et de Hadfield, et tous les trois vont constituer une célèbre unité pendant plusieurs saisons.
En 1972, les Rangers accèdent à la finale de la Coupe Stanley contre les Bruins de Boston. Les Bruins l'emportent en six matchs, même si le trio GAG devient le premier d'une concession dont chaque joueur inscrit au minimum 40 points en saison régulière.
« Jean et moi, on jouait ensemble depuis les rangs pee-wee et on s'entendait super bien, a déjà commenté Gilbert. Nous avions besoin d'un complément, d'un joueur qui irait au filet et qui se tiendrait devant. L'entraîneur Emile Francis a décidé que Vic Hadfield serait ce joueur et ç'a donné d'excellents résultats. »
Entre 1972 et 1977, Gilbert récolte au minimum 75 points à chacune des saisons, mais les Rangers ne parviennent pas à passer les demi-finales de la Coupe Stanley. Il réussit son 300e but contre Dave Dryden des Sabres de Buffalo, le 24 mars 1974, étant le premier joueur des Rangers à atteindre la barre symbolique.
En 1976, pour son 1000e match dans la LNH, il s'offre une performance de trois passes à domicile dans la victoire de 5-2 des siens contre les Canadiens de Montréal. À la fin de la saison, il se voit attribuer le trophée Bill Masterton pour son esprit sportif et sa persévérance.
Au début de la saison 1977-1978, il met fin à sa carrière de façon abrupte après 19 matchs à la suite de négociations contractuelles laborieuses avec le directeur général John Ferguson. Il demeure proche de l'organisation, en élisant domicile à New York et en s'impliquant dans toutes sortes d'œuvres caritatives.
En 1980, on le retrouve pour une saison dans la Ligue américaine de hockey (LAH) derrière le banc des Nighthawks de New Haven, qui sont éliminés au premier tour des séries.
En 1991, il reçoit le trophée Lester Patrick pour son implication dans le hockey américain. En 2004, il est admis au Temple de la renommée du Comté de Nassau. Un aréna, situé dans l'arrondissement Pointe-aux-Trembles/Rivière-des-Prairies, porte son nom.
« La vie est bonne pour moi », avait-il l'habitude de dire.