MacOS Server n'est pas techniquement mort, puisqu'il fonctionne toujours. C'est juste qu'Apple en a retiré certains services basés sur l'open source dans les dernières versions. Mais je comprends ce que vous dites.
La plupart des paquets open source s'installent volontiers sur macOS de manière native s'ils ne sont pas préinstallés par Apple. Il suffit de saisir la source, puis de faire une certaine itération de ./configure, make, make install pour l'installer. Vous pouvez trouver des instructions au sein de chaque logiciel (typiquement dans les fichiers texte INSTALLING / CONFIGURING), sur internet sur le site officiel de chaque paquet, ou dans divers tutoriels en ligne.
La grande différence est que plutôt que d'avoir une interface utilisateur élégante dans macOS Server pour les configurer, et plutôt que de les installer avec l'ensemble des valeurs par défaut utilisables par Mac, vous devez les configurer vous-même (typiquement en modifiant les fichiers de configuration).
Heureusement, Apple a un guide de migration des services qui vous indique comment migrer de macOS Server vers divers services open source.
Conseil : personne ne devrait exécuter un serveur FTP à notre époque puisque SSH est exécuté par défaut sur la plupart des systèmes et qu'il est livré avec un très beau service SFTP entièrement compatible avec de nombreux clients FTP.