Oliver Nesselrode wurde in Paderborn im Jahr 1660 geboren. Sein Vater kämpfte im Dreißigjährigen Krieg und kam verwundet heim. Trotz aller Bedenken schloss sich Oliver der Kaiserlichen Garde an, wurde jedoch später unehrenhaft entlassen.

Auf Reisen lernte er in Paris Jérôme Dutrout kennen. Im Zuge der Geschehnisse um das Département V liess er sich von Jérôme überzeugen, der Organisation beizutreten.