Willys comenzó a vender bicicletas en su ciudad natal cuando era joven y rápidamente expandió su negocio hasta el punto de fabricar sus propias bicicletas. En 1897, se casó con Isabel Van Wie en 1899 en un viaje por Cleveland vio un automóvil y supo que pronto reemplazarían a las bicicletas. Poco después abrió un concesionario de automóviles en Elmira , Nueva York. Allí, vendió con gran éxito vehículos Overland Automobile . Debido a problemas de suministro con el fabricante con sede en Indianápolis , adquirió la compañía en 1907. Demostró ser un astuto hombre de negocios y logró revitalizar la empresa, que se encontraba en declive. En 1909, compró la Marion Motor Car Company en Indianápolis y, unos años más tarde, trasladó todas sus operaciones a una fábrica que había adquirido de la quebrada Pope Motor Car Co. en Toledo .

Tras cambiar el nombre de su empresa a Willys-Overland Motor Company en 1912, John Willys compró la Edwards Motor Co. en Nueva York al año siguiente , obteniendo una licencia para fabricar los motores de válvulas de camisa basados ​​en las patentes de Charles Yale Knight . Tuvo un gran éxito y su empresa se convirtió en el segundo mayor fabricante de automóviles de Estados Unidos (después de Ford ). En 1915, construyó una sede central de siete plantas en Toledo, Ohio, la más moderna de su época. Antes de que terminara la década, un tercio de la población activa de Toledo trabajaba para Willys-Overland o alguna de sus numerosas pequeñas empresas proveedoras. Su imperio automovilístico ofrecía a los clientes coches de las marcas Overland, Willys y Willys-Knight ; cada marca tenía su propio diseño de motor y rango de precios. En 1918, el grupo empresarial adquirió la Moline Plow Company en Moline, Illinois , que fabricaba maquinaria agrícola, tractores Moline Universal y automóviles Stephens . Al año siguiente, Willys también adquirió influencia en la compañía Duesenberg , principalmente para comprar la fábrica de los hermanos Duesenberg en Elizabeth , Nueva Jersey , donde planeaba fabricar su nuevo automóvil de seis cilindros. En 1920, adquirió otro fabricante de automóviles y motores, la Root & Vandervoort Engineering Company en East Moline , que también era licenciataria de Knight. Esta compañía se incorporó a Moline Plow .

En la fábrica de Willys-Overland en Toledo, surgieron crecientes dificultades con los trabajadores, que culminaron en una huelga salvaje en 1919 que paralizó la planta durante meses. Willys contrató a Walter Chrysler , vicepresidente de General Motors , como director de la planta de Willys-Overland y le pagó el entonces exorbitante salario anual de un millón de dólares. Sin embargo, Chrysler intentó expulsar a John Willys de la empresa mediante una oferta pública de adquisición, la cual fracasó debido a las objeciones de los accionistas. Posteriormente, Chrysler dejó la compañía en 1921 y fundó su propio negocio.

Las empresas de John Willys eran muy rentables, pero también estaban fuertemente endeudadas, ya que las había adquirido o expandido mediante préstamos cuantiosos. En 1921, sus preocupados banqueros lo obligaron a consolidar sus negocios para limitar los riesgos. Para obtener fondos y saldar las deudas, la fábrica Willys-Overland en Nueva Jersey fue subastada y adquirida por William C. Durant . La New Process Gear Company de Willys en Syracuse y la Moline Plow Company , junto con sus filiales , también fueron vendidas .

Con sus deudas bajo control, Willys se expandió nuevamente, adquiriendo en 1925 la empresa F.B. Stearns Company en Cleveland , un fabricante de automóviles de lujo. En 1926, Willys introdujo la marca Whippet , que se vendió en Estados Unidos, Canadá y Australia .

John Willys fue un respetado empresario y un ferviente partidario del Partido Republicano , al que representó por Ohio en la Convención Nacional Republicana de 1916. Tras la elección de Herbert Hoover como presidente de Estados Unidos , Willys fue nombrado primer embajador estadounidense en Polonia en marzo de 1930 , cargo que desempeñó hasta mayo de 1932. Alexander Pollock Moore había sido el candidato original de Hoover, pero falleció antes de poder jurar el cargo.

La Gran Depresión de la década de 1930 obligó a muchos fabricantes de automóviles a cerrar sus puertas, y las empresas de Willys también quebraron en 1933. Al año siguiente, John Willys y su esposa se divorciaron después de 37 años de matrimonio; Willys pronto se volvió a casar, pero murió de un ataque al corazón en su casa en el Bronx en 1935 .

John North Willys está enterrado en el cementerio de Kensico en Valhalla .