Джеймс Джексон Джеффрис (Джим) родился 15 апреля 1875 года в штате Огайо в семье фермера. У него было четыре брата и три сестры. В 1881 году семейство Джеффрисов переехало в Лос-Анжелес. Там, как и многие его ровестники он стал увлекаться борьбой и боксом.

Джеймс от рождения имел отменную физическую силу. Однажды на охоте он подсрелил лося и нес его на плече 9 миль.

Карьеры профессионального боксера он начал в Лос-Анджелесе в 1896 году нокаутировав в 14-ом раунде ветерана ринга, проведшего более 100 боев, М.Гриффина. Между Джеффрисом и его менеджером Уильямом Бреди никогда не было юридического контракта. Бреди говорил: слово Джеффриса лучше, чем контрат.

Джим в течении трех лет одерживает победу за победой, пока с ним не соглашается на поединок чемпион мира Роберт Фитцсиммонс. Бой состоялся 9 июня 1899 года в Бруклине. В течении всего боя Джеффрис превосходил чемпиона по всем статьям, а в 11-ом раунде послал его в нокаут и стал третьим абсолютным чемпионом мира. Позднее в 1902 году Фитцсиммонс предпринял еще одну попытку одолеть Джима, но был нокаутирован еше быстрее в 8-ом раунде.

В ранге чемпиона Джеймс не избегал сильных соперников в титульных боях, он совершал турне по Европе, встречался с лучшими боксерами европейского континента, неоднократно отстаивал свой титул. Джеффрис настолько был уверен в своих силах, что однажды предложил Бобу Фитцсиммонсу, Джиму Корбету и Тому Шаркею, лучшим претендентам на титул чемпиона того времени, провести с ними бои в течении одного дня, но они отказались. В 1904 году он женился. Вскоре Джеймс и его жена Фрид обзавелись малюткой Мэри и в 1906 году он покидает ринг непобежденным.

В те времена в америке процветал рассизм и когда Томми Бэрнс в 1908 году уступил свой титул черному гиганту Джеку Артуру Джонсону, срочно стали искать достойного соперника для него. Выбор пал на Джеймса Джеффриса. К тому времени Джеймс уже 5 лет занимался своим фермерским хозяйством и был не в самой лучшей форме. Бой состоялся 4 июля 1910 года и принес победу в 15-ом раунде Джеку Джонсону. За всю свою долгую чемпионскую карьеру Джеффрис ни разу не был на полу, ему также принадлежит рекорд самого быстрого нокаута - 55 секунд.

Позднее Джеймс Джеффрис ещё несколько раз участвовал в показательных боях. Скончался он в 3 марта 1953 года в Калифорнии.