Onder Antons leiding groeit Wm H. Müller & Co uit tot een zeer winstgevend, internationaal opererend bedrijf in de ertshandel en scheepvaart. Daarom besluit hij in 1900 om het hoofdkantoor van de firma te verhuizen naar Den Haag, waar hij een lucratief netwerk van politici en diplomaten kan opbouwen. Hij koopt 2 villa’s langs de waterpartij in het Van Stolkpark, aan de rand van Scheveningen. De Haagse societyarchitect Leo Falkenburg krijgt de opdracht om zowel het kantoor aan Lange Voorhout nr. 3 als de huizen te verbouwen. De percelen in het park worden samengevoegd en de villa’s worden bijna helemaal afgebroken. De één wordt omgebouwd tot koetshuis met stal en dienstvertrekken en op de fundamenten van de ander ontstaat het elegante neoklassieke Huize ten Vijver, waar de Kröllers hun intrek nemen.