Né en 1920 dans le Kentucky, James Little effectue des études universitaires de 1937 à 1941 avant de s'engager dans l'Armée de Réserve pour devenir pilote. Il suit une formation du 25 avril au 11 décembre 1941 et obtient ses ailes à Ellington Field au Texas et ses galons de Sous-Lieutenant. Il est affecté tout d'abord au 22 BS / 341 BG(M) et s'envole pour Karthoum à bord d'un A-29 en juillet 1942. Il mène plusieurs missions d'attaque avant d'être transféré au 75 FS / 23 FG le 29 septembre 1942. Au cours du premier semestre 1943, il s'illustre en abattant 7 appareils Japonais avant de quitter le Group en octobre 1943. Il rentre aux Etats-Unis et ne prendra plus directement part aux combats de la seconde guerre mondiale.

Resté dans l'Air Force après guerre, il est transféré dans l'Armée Régulière en 1946 avec le grade de Major. En décembre 1949, il rejoint le 35 FG avant d'être transféré au 339 F(AW)S / 8 FG dont il prend le commandement jusqu'en janvier 1951, remportant une victoire en Corée sur un La 7 à bord de son F-82 Twin Mustang le 27 juin 1950. Promu Colonel en 1956, il prend le commandement du 86 FIW du 9 au 30 juin 1958.

Pendant la guerre du Vietnam, il est commandant adjoint à l'Etat-Major de la 7 AF. Il est finalement promu Brigadier General le 15 septembre 1966 et se retire de l'Air Force en octobre 1969.