Neilson est né à Big River, en Saskatchewan, le 28 novembre 1940, mais lui et ses deux sœurs ont été envoyés à l'orphelinat St. Patrick's à Prince Albert, en Saskatchewan, alors qu'il était âgé de 5 ans. Neilson a appris à jouer au hockey pendant ses 12 années là-bas.
Dans les rangs juniors, il a évolué avec Prince Albert, dans la Ligue de hockey junior de la Saskatchewan, entre 1958 et 1961, puis il a fait le saut chez les professionnels avec Kitchener-Waterloo, dans la Ligue de hockey professionnelle de l'Est (EPHL), en 1961. Il a été nommé recrue de l'année dans la EPHL.
« St. Patrick's a été une belle expérience pour moi, car c'est là où j'ai découvert le hockey », a raconté Neilson dans le livre They Call Me Chief : Warriors On Ice, écrit par Don Marks en 2008. « Je ne sais pas où je serais aujourd'hui sans cet orphelinat. »
À l'âge de 22 ans, en 1962-63, Neilson, surnommé Chief, a obtenu un rôle de défenseur régulier avec les Rangers.
« Soudainement, tu te retrouves à jouer comme défenseur contre les [Gordie] Howe et les [Jean] Béliveau, a-t-il affirmé. Tu peux avoir l'air minuscule contre eux, donc tu dois apprendre à te connaître et savoir ce dont tu es capable. Tu dois aussi comprendre que tu progresses en même temps, donc tu dois garder confiance. Tu ne peux pas laisser tes erreurs avoir le dessus sur toi. Tu dois apprendre de tes erreurs. »
Les Rangers en arrachaient lorsque Neilson est débarqué à New York, mais lui et son partenaire de longue date Rod Seiling ont été des éléments importants dans la relance de l'équipe à la fin des années 1960.
En 1967-68, Neilson a terminé au quatrième rang du scrutin pour l'obtention du trophée Norris, remis au meilleur défenseur de la Ligue, et il a été sélectionné sur la deuxième équipe d'étoiles de la LNH. Il a connu la meilleure saison offensive de sa carrière en 1968-69, avec 44 points (10 buts, 34 passes) en 76 matchs.
« Chief excellait en défensive quand nous avons mis la main sur Rod Seiling et tous ces jeunes joueurs », a expliqué son coéquipier des Rangers Rod Gilbert à NHL.com. « Nous avons commencé à connaître beaucoup de succès. Chief et Brad Park étaient les deux meilleurs défenseurs des Rangers, quoique personne n'était aussi bon que Brad. Jim était un défenseur à caractère défensif qui possédait un bon lancer. Il avait un côté offensif également. J'ai adoré jouer avec lui. »