Il a également fait ses débuts dans la LNH cette saison-là avec les Red Wings. Il a disputé 18 matchs, et son premier aura été véritablement mémorable.
Arrivé d'Edmonton le 11 février 1962, Jeffrey a été escorté par la police de l'aéroport jusqu'au Olympia Stadium pour un duel contre les Maple Leafs. Il est arrivé tout juste avant la mise en jeu initiale. Il a lacé ses patins, foncé vers le banc, puis il a inscrit son premier but en carrière dans la LNH à 2:33 de la deuxième période, avec l'aide de Bill Gadsby et de Norm Ullman. C'était le quatrième but des Red Wings dans un gain de 5-0.
Ça n'allait toutefois pas être le but le plus important de Jeffrey avec Detroit.
En 1963-64, évoluant principalement avec Ullman et Floyd Smith, il a amassé 28 points (10 buts, 18 passes) en 58 rencontres. Il s'agissait d'un exploit remarquable en soi, puisque Jeffrey avait été opéré lors de la saison précédente, après que son genou eut été écrasé lors d'une collision avec le défenseur de Boston Ted Green. Jeffrey a d'ailleurs porté d'innombrables attelles au genou durant les six années suivantes.
Tirant de l'arrière 1-0 dans la série contre les Maple Leafs lors de la finale de 1964, Jeffrey a marqué sur une passe de Gordie Howe à 7:52 de la prolongation du match no 2, battant le gardien de Toronto Johnny Bower pour conférer à Detroit une victoire de 5-4. Les Maple Leafs sont toutefois parvenus à remporter un troisième championnat consécutif en battant les Red Wings en sept rencontres après les avoir vaincus en cinq parties l'année précédente.
Jeffrey a ensuite fait partie d'une transaction majeure le 20 mai 1965. Un échange impliquant huit joueurs qui l'a envoyé à Toronto avec Aut Erickson, Eddie Joyal, Lowell MacDonald et Marcel Pronovost en retour d'Andy Bathgate, de Billy Harris et de Gary Jarrett.
Jeffrey a joué 20 matchs avec les Maple Leafs lors de la saison 1965-66, passant la majeure partie de la saison avec Rochester dans la Ligue américaine de hockey (LAH). En 1966-67, il a joué 56 rencontres avec les Maple Leafs et égalé son record personnel dans la LNH avec 28 points (11 buts, 17 aides).
Il a toutefois été contraint de demeurer sur les lignes de côté en finale contre les Canadiens de Montréal, largement favoris. Il avait été opéré pour soigner des ligaments déchirés dans un genou, après une collision avec l'attaquant de Chicago Stan Mikita en demi-finale. En béquilles, Jeffrey a célébré le surprenant championnat de Toronto.