Zawierucha wojenna rzuciła majora Henryka Floyar-Rajchmana i pułkownika Ignacego Matuszewskiego na Nowy Ląd. Choć w okresie międzywojennym w Polsce zajmowali stanowiska ministerialne w rządzie, należeli do politycznej i intelektualnej elity, grupy tzw. „pułkowników”, w Ameryce podzielili skromne losy wielu innych emigrantów, próbujących odnaleźć się w nowym kraju. Po zakończeniu ryzykownej misji przetransportowania polskiego złota na Zachód i dwóch latach tułaczki po Europie, w 1941 roku przybyli do Nowego Jorku. W tym samym czasie dotrał do Stanów Zjednoczonych Wacław Jędrzejewicz, były wiceminister skarbu oraz minister wyznań religijnych i oświecenia publicznego z okresu II Rzeczypospolitej.
Spotkanie założycieli Instytutu przed wyjazdem na konferencję pokojową do San Francisco w 1945 r.
Chcąc zabezpieczyć wywiezione z Polski cenne dokumenty historyczne, a także niestrudzenie zabiegając o poparcie i zainteresowanie Amerykanów dla sprawy polskiej, Matuszewski, Floyar-Rajchman i Jędrzejewicz w 1943 r., wraz z grupą polonijnych działaczy utworzyli Instytut Józefa Piłsudskiego w Ameryce.