Bye, bye VMware ESXi: Erfahrungsbericht zum Wechsel zu Proxmox

[English]Leid, von VMware bezüglich Virtualisierungslösungen gegängelt zu werden bzw. ist das Auslaufen von VMware ESXi bereits absehbar? Viele Nutzer liebäugeln ja mit Proxmox als Alternative. Ein Blog-Leser hat sich da einiges angesehen und mir seine Eindrücke von einem Test zukommen lassen. Ich stelle das Ganze hier im Blog ein.


Anzeige

Seit Broadcom den Anbieter VMware übernommen und das Produktportfolie bereinigt hat, denken viele Administratoren über einen Wechsel, weg von VMware ESXi Server, hin zur Virtualisierungsumgebung Proxmox nach. Blog-Leser Jochen hatte vor einigen Wochen im Rahmen meiner Berichterstattung auf BlueSky geäußert, dass er Proxmox testet. Ich hatte darauf hin gefragt, ob er mir nach Abschluss der Tests einige Stichworte bereitstellen könne, damit ich das für die Leserschaft als Beitrag aufbereiten kann. Dem ist Jochen nun nachgekommen und hat mir die Woche einige Eindrücke zukommen lassen.

Die Ausgangslage

Die Ausgangslage bei Jochen ist, dass er für sich und seine Kunden im K(M)U-Bereich VMware ESXi-Server seit vielen Jahren einsetzte. Zuletzt wurde aber, Aufgrund der Größe der Installationen, nur noch die freie Version des VMware ESXi-Server verwendet. Bei ihm bzw. Kunden sind noch die VMware ESXi Server-Versionen 6.5, 6.7 und 7.0 im Einsatz.

Jochen gibt an, dass man selber auf dem ESXi 34 VM laufen habe (bzw. hatte) . Als Hardware kommt ein HPE ML 350 Gen9 Server, mit 2 * E5-2667 v3 CPUs und 128 GB RAM Speicher zum Einsatz. Im Laufe der Jahre wurden die SAS-Datastores zu SSD migriert. Als Notfall Backup Server stand ein betagter Fujitsu 1HE Rack Server mit einer E3-1270 v3 CPU und 32GB RAM bereit.

Was läuft an VMs?

Jetzt kann man sich die Frage stellen was da in 34 VM alles läuft. Neben den Systemen für den eigenen Betrieb, Kunden-Monitoring und anderen Dingen wie Hausautomation hängt das auch mit dem Hobby Amateurfunk und dem Betrieb eines freien WLAN Netzes (MOEWA-NET) zusammen, schreibt Jochen. "So sammeln sich für viele kleine Dienste einige VMs an. Und als IT-Unternehmen hat man natürlich auch TEST Systeme parat."

Alle VM wurden, je nach Wichtigkeit, täglich bis wöchentlich mit der Software XSIBackup auf ein QNAP NAS mit NFS gesichert. Und Regelmäßig wurden der Restore auf den Backup Server getestet. Bei den Kunden setzten die Mitarbeiter des Unternehmens, für das Jochen tätig ist, das ähnlich um, teilweise noch mit einem zusätzlichen Online Backup.

Der Exit von Broadcom/VMware steht an

Jochen schreibt: "Wir haben uns hin und wieder mal mit anderen Hypervisoren beschäftigt, wie Hyper-V, Proxmox, VirtualBox, XEN … Wobei wir bis 2021 keine Vorteile gegenüber dem VMware ESXi gesehen, und daher diese Schiene weiter verfolgt haben."

Nachdem dann der Kauf von Broadcom durch war, klingelten im Unternehmen die Alarmglocken. Denn das Vorgehen von Broadcom ist in der Branche ja bekannt, meint Jochen – und ich hatte das hier im Blog ja auch angesprochen. Also musste für den IT-Dienstleister eine ESXi-EXIT-Strategie für das Unternehmen selbst und dessen Kunden her.

In diesem Kontext wurden wieder verschiedene Hypervisor Systeme getestet. Dazu kam Anfangs der Backup Server zum Einsatz, da das Unternehmen hier die Performance kannte.


Anzeige

Die erste Frage war dann: "Will man von einer Abhängigkeit in eine andere wechseln, sprich zu Hyper-V wechseln?" Die Antwort war klar: "Nein wollen wir nicht, zumal Hyper-V ja auch auf der MS Abschussliste steht und das Gebaren von MS täglich neu zu denken gibt." Mit dieser Prämisse blieben nur noch die freien Systeme übrig, von denen sich Jochen mit Kollegen uns noch mal Xen und Proxmox näher angeschaut haben.

Bei Proxmox 8 geblieben

Jochen beschreibt das Ergebnis der Tests als "Wir sind dann bei Proxmox 8 VE hängen geblieben, hier hat der Hypervisor seit der zuletzt getesteten Version 5 den besten Eindruck hinterlassen. Auch das Proxmox Forum, teilweise in deutscher Sprache, macht einen sehr guten und hilfreichen Eindruck."

Zum Test haben sich die Mitarbeiter des IT-Dienstleisters 3 Wochen lang mit Proxmox auseinandergesetzt. Ziel war nicht nur der Umstieg von VMware ESXi auf Proxmox. Man wollte nach dem Umsteigen auch neue Features nutzen. Da das Unternehmen schon seit Jahren kein VMware V-Sphere mehr im Einsatz hatten, wurde sich also frisch mit Failover- und HA-Strategien beschäftigt, die ja im Proxmox VE mit an Board sind.

Proxmox-Cluster zum Test

Dazu haben die Mitarbeiter des IT-Dienstleisters dann aus ausrangierten PCs Proxmox-Cluster zusammengestellt und verschiedene Szenarien durchgespielt. Das hat erfahrungsgemäß wirklich gedauert (lief neben dem normalen Business) und zu einigen Aha Effekten geführt. Auf jeden Fall, schreibt Jochen, haben wir folgende Erkenntnisse erhalten, die wir jetzt auch umgesetzt haben.

1) Hardware-Raid oder ZFS Software-Raid
2) RAM Ausstattung
3) Festplatten/SSD Ausstattung
4) Windows-, Linux- und andere Clients wie Mikrotik CHR und OpenWRT testen
5) USB Hardware (Dongle, Audio-Karten, etc.) lassen sich wie bei ESXi durchreichen

Bei VMware ESXi musste man höllisch aufpassen, so Jochen, das der Storage-Controller richtig unterstützt wurde, und Hardware-Raid auch funktional vom ESXi genutzt werden konnte. Dazu musste man auf jeden Fall einen echten Raid-Controller mit BBU einsetzen, sonst gab es keine Performance.

Proxmox mit ZFS nutzen

Wenn man Proxmox mit ZFS (Zero File System) nutzen möchte, dann muss der (unter ESXi benötigte) Storage-Controller wieder raus und man nutzt einfache HBA-Controller um die Storage durchzureichen, so die Erfahrung von Jochen. Es gibt Controller die man sauber umschalten kann, schreibt er, manche könne man umflashen (scheidet beim Kundeneinsatz aber aus), aber in der Raid-Variante geht ZFS so nicht.

Die Frage bei Proxmox ist, muss es ZFS sein?

Jochen schreibt dazu: Es geht natürlich auch mit ext4 oder LVM Storage (vom Hardware-Raid), und das läuft nach unseren Tests gut, auch mit passender Performance. Aber irgendwann komme man dann an den Punkt, wo man gerne doch mal Failover, Replikation oder HA haben möchte, und sei es nur zum ausprobieren. Und das ist der Punkt an dem man ZFS braucht. Es könnte auch btrfs gehen, das haben Jochen und Kollegen aber nicht mehr getestet. Und ZFS braucht RAM, und zwar einige GB damit es richtig schnell wird.

Die Migration

"Nachdem wir also den Hypervisor und die Hardware geklärt hatten, ging es an die Migration", schreibt Jochen. Im Netz findet man viele Beschreibungen und Berichte, auch auf der Proxmox Seite selber. In den letzten Wochen wurden diese Infos, nach den Beobachtungen von Jochen, deutlich mehr, aber nicht alle passen zur aktuellen Proxmox 8-Version.

Die Migrationsstategie des Dienstleisters für eigene Zwecke auch in Kürze bei Kunden, sieht wie folgt aus. Da der IT-Dienstleister keine neue Server-Hardware einsetzen möchten, braucht man einen Zwischenschritt. Das beschreibt Jochen so:

  • Wir nutzen dazu eine ältere HP Z240 i7 Workstation mit 2*1 TB SSD für OS und 2*2 TB SSD Datenspeicher und 32GB RAM.
  • Zusätzlich wurde noch eine weitere Netzwerk-Karte eingebaut. Auf dem System läuft Proxmox 8 mit ZFS-Storage.
  • Zusätzlich haben wir eine QNAP mit 6 TB Raid1 und NFS Freigabe verwendet.
  • Der Proxmox Zwischenserver bekommt ebenfalls Zugriff auf das NFS auf der QNAP über einen dedizierten Netzwerk Port, das haben wir beim ESXi auch so gelöst!

Die eigentliche Migration selber lief dann wie folgt relativ zügig ab. Ja man kann den einen oder anderen Punkt raus optimieren, aber lieber zwei Backups (einmal ESXi und dann noch Proxmox) als kein Backup.

1) Virtuelle Maschine herunter fahren.
2) Backup der kompletten VM auf die QNAP (per Shell oder GUI) NFS Share
3) Parallel neue VM auf dem Zwischenserver mit den benötigten Hardware-Parameter anlegen, die angelegte Disk wegwerfen
3a) Bei der Netzwerk-Karte ggfs. die MAC Adresse vom ESXi nutzen. Damit bleiben DHCP gesetzte Adressen erhalten
3b) Windows: CDROM mit den Proxmox Treibern (virtio-win-0.1.173.iso) hinzufügen
4) Die ESXI .vmdk Disk importieren von der Proxmox Shell aus
5) Windows: Die Disk der VM als IDE !! hinzufügen, und die Boot-Reihenfolge einstellen
5) Linux: Die Disk gleich als VirtIO Disk hinzufügen, auch hier die Boot-Reihenfolge einstellen und WriteBack Cache einstellen
6) VM starten, bei Linux läuft in der Regel alles. QEMU-GUEST installieren
7) Folgende Schritte noch bei Windows:
7a) Anmelden und den VMWARE Client deinstallieren, Reboot !
7b) Anmelden und das virtio-Client-Paket komplett mit QEMU-Gast installieren, Reboot !
7c) Anmelden und im Gerätemanager prüfen ob alle Hardware erkannt wurde
7d) Dieser VM jetzt im laufenden Betrieb eine virtIO Disk hinzufügen (Windows muss so eine Disk mal gesehen haben)
7e) VM herunter fahren, die Hilfsdisk löschen, die Hauptdisk jetzt als virtIO Device mit WriteBack Cache hinzufügen
8) VM starten, testen, eigentlich sollte sie wieder korrekt laufen

Windows verliert seine Aktivierung und einige Software (wie Lexware) auch, hat Jochen beobachtet. Da man ja in der Regel die Lizenzen besitzt, ist eine erneute Aktivierung kein Problem. Bei Windows 7 funktionieren die aktuellen virtio-Treiber nicht, da nutzen die Mitarbeiter des IT-Dienstleisters die Version virtio-win-0.1.137.iso

Das haben die Mitarbeiter jetzt so mit allen VM gemacht. Wegen des beschränkten Hauptspeichers wurden teilweise RAM-Zuweisungen gekürzt und nur die wichtigen VM gestartet. "Das ging gerade so gut", heißt es. Die Erfahrungen der eigenen Migration beschreibt Jochen so:

  • Nachdem alle 34 VM auf diese Weise fertig waren, haben wir den HPE ML 350 Gen9 Hauptserver abgeschaltet und die SSDs beiseite gelegt (man weiß ja nie).
  • Wir haben dann den Controller auf HBA umgestellt und Proxmox 8 VE im ZFS Modus installiert und konfiguriert. Auch haben beide Proxmox Server Zugriff auf die QNAP per dedizierter Netzwerk-Karte und NFS Filesystem.

Jetzt waren nur noch die ganzen VM wieder vom Zwischenserver auf den Hauptserver umzuziehen. Dazu gibt es laut Jochen zwei Wege:

1) VM auf Zwischenserver ausschalten, auf NFS sichern und dann Restore am Hauptserver und wieder starten.
2) Wenn ZFS eingesetzt wird: Aus beiden Proxmox ein Cluster machen und VM im laufenden Betrieb umziehen.

Bei Jochen wurde die zweite Variante für die wichtigen VM verwendet. Das dauert zwar länger, aber es gebe keine weitere Downtime, schreibt der Leser. Bis auf den letzten Punkt habe die Migration bei den 34 eigenen VM mit ca. 1,5 TB netto Disk-Volumen ein Wochenende gedauert. Der Rücktransport vom Zwischenserver auf den Hauptserver im laufenden Betrieb benötigte noch mal so einen Tag an Zeit.

Jochen schreibt: "Es gibt sicher Optimierungen um die Downtime zu verkürzen, das wäre z.B. wenn man vorher die ESXi VM statt auf internen Storage schon auf dem NFS der QNAP laufen lässt. Aber ohne V-Sphere gäbe es auch eine Downtime, die man ggf. vorher in der Nacht machen könnte."

Der Ratschlag von Jochen ist, sich beim Umzug noch Gedanken um den CPU-Typ zu machen, den eine neue Proxmox-VM bekommt. Bereits bei den Test haben die IT-Mitarbeiter gesehen, dass es in deren Testszenario kleine, aber zu verschmerzende, Performance-Unterschiede gibt. Jochen schreibt dazu:

  • Am schnellsten ist der CPU Typ "host", der die CPU direkt durch reicht, ist die Erfahrung aus den Tests.
  • Nach einigen Test im Vorfeld haben wir uns aber für x86-64-v2-AES entschieden, hier ist die Performance-Einbuße nicht so hoch.

Der Vorteil von für x86-64-v2-AES ist aber, man kann HA und Failover machen, auch wenn man Server mit unterschiedlichen CPUs hat. Dieser Fall trat intern im Unternehmen mit dem Zwischenserver auf i7-Basis auf. Außerdem verhindert man so, das Software laufend aktiviert werden muss, wenn man den CPU Typ mal wieder wechselt, schreibt Jochen.

Das Fazit nach der Migration

Jochen zieht folgendes Fazit: "Nach jetzt 10 Tagen fehlerfreiem Betrieb von 27 der bestehenden VM bereuen wir den Umstieg nicht. Im Gegenteil, das Web-Interface von Proxmox ist zügig und macht Spaß, und die für uns neuen Features machen auch noch Spaß. Mit ein paar uralten VMs kämpfen wir noch, aber das sind historische 16-Bit-Systeme, die ich aus Nostalgie Gründen aufgehoben hatte.

Natürlich habe wir sofort das Backup auch wieder aktiviert (und getestet). Aktuell arbeiten wir mit dem Proxmox internen vzdump auf die QNAP via NFS. Die Geschwindigkeit ist übrigens gegenüber dem ESXi mehr als doppelt so hoch. Wie oben geschrieben, die Verbindungen zwischen den Servern und der QNAP läuft über dedizierte Gigabit Netzwerkleitungen."

Was bleibt, sei, sich mit HA, Replikation, Failover zu beschäftigen. Das hatte man bei Jochen aber bisher auch nicht. Und dann müssen sich die Leute noch mit dem Proxmox Backup Server (PBS) auseinandersetzen. Das wäre auch noch mal ein Schritt nach vorne was inkrementelle Backups anbetrifft und kürze Recovery-Zeiten, meint der Leser.

"Wenn man die Systeme live verschiebt, muss man dedizierte Netzwerk-Leitungen zwischen den Servern haben, sonst lahmen die laufenden Systeme deutlich. Das gleiche empfiehlt sich für die NAS Verbindung zum Backup. Außerdem wären 10 GBits nett, das steht auch noch auf der ToDo Liste." gibt Jochen seine Erfahrungen wieder.

An dieser Stelle mein Dank an Jochen, der mit noch angeboten hat, bei Interesse noch ein paar mehr Details (Systemkommandos) und Screenshots liefern das die VM Migration betrifft wenn es hilfreich ist. Da möchte ich aber das Echo aus der Leserschaft abwarten – vielleicht kommen konkrete Fragen, auf die Jochen dann mit Details und Screenshots eingehen kann, sofern für ihn möglich.

Ergänzung: Heise hat zum 13. März 2024 einen "Schwerpunkt Virtualisierung" veröffentlicht, in dem der Artikel Virtualisierung: Alternativen zu VMware frei abrufbar ist.

Ähnliche Artikel:
Kauft Broadcom den Anbieter VMware?
Broadcom kauft den Anbieter VMware für 61 Milliarden US-Dollar
Broadcom will VMware-Bereiche für Endbenutzer-Computing und Carbon Black verkaufen
Überraschung: Allen VMware-Partnern von Broadcom für 2024 gekündigt
VMware OEM-Portal offline, Kunden können VMware-Lizenzen nicht aktivieren
Bestell-/Lizenz-Chaos bei VMware-Produkten nach Broadcom-Übernahme (Jan. 2024)
Broadcom beerdigt VMware-Produkte mit Perpetual-Lizenzen – Ende des kostenlosen ESXi-Servers?
Nach Abkündigung: VMware Player, Workstation und Fusion bleiben (vorerst) erhalten
Microsoft Umfrage zur Virtualisierung: Migration von VMware
VMware-Nachlese: PAC funktioniert wieder; Dell macht den Exit
Der Fluch der neuen Broadcom/VMware VCF-Lizenzierung in der Praxis

Symantec-Übernahme durch Broadcom abgeschlossen
Kappt Broadcom Support für Symantec Lizenzen und zwingt Kunden in Lizenzabos?
Broadcom-Stellungnahme zur Symantec-Lizenzproblematik nach der Übernahme
Symantec-Übernahme durch Broadcom endet im Lizenz-/Support-Chaos
Broadcom übernimmt CA Technologies für $18,9 Milliarden

Apache CloudStack als VMware-Alternative
Microsoft Umfrage zur Virtualisierung: Migration von VMware
Veeam strebt Unterstützung für Proxmox und Oracles Virtualisierung an

 


Cookies blockieren entzieht uns die Finanzierung: Cookie-Einstellungen

Dieser Beitrag wurde unter Virtualisierung abgelegt und mit verschlagwortet. Setze ein Lesezeichen auf den Permalink.

74 Antworten zu Bye, bye VMware ESXi: Erfahrungsbericht zum Wechsel zu Proxmox

  1. Jens sagt:

    Sehr interessant !
    Steht bei uns auch an, daher danke für den Beitrag :-)

  2. Norddeutsch sagt:

    :-) Riesiges Kino – müssen wir vor der Rente den Blog umbenennen? IT, Windows und Linux Blog? Für Unternehmen wie Jochen's würd ich gerne Audits machen! Wo sitzt der Jochen mit seiner schlagkräftigen Truppe?

    • riedenthied sagt:

      Made my day. 😀

      • David sagt:

        Sehr netter Einblick!

        Bei der Migration würde ich mir bei den meisten Kunden vermutlich gar nicht die Mühe machen, die VMs zu verschieben. Da läuft oft noch alter Kram, so das man die Gelegenheit nutzt, eine neue VM aufzusetzen und die Anwendung migrieren (2. Server neben dem ersten).

    • Christo sagt:

      Vielen Dank für den tollen Einblick und den ausführlichen Bericht.

      Zum Einwurf "Für Unternehmen wie Jochen's würd ich gerne Audits machen!" von Norddeutsch.. gehe ich richtig, dass du das auf folgenden Inhalt des Postings beziehst?

      "Bei ihm bzw. Kunden sind noch die VMware ESXi Server-Versionen 6.5, 6.7 und 7.0 im Einsatz."
      "Neben den Systemen für den eigenen Betrieb, Kunden-Monitoring und anderen Dingen wie Hausautomation hängt das auch mit dem Hobby Amateurfunk und dem Betrieb eines freien WLAN Netzes (MOEWA-NET) zusammen,"

      Ersteres mag man evtl. noch verkraften, wenn die 6.5er und 6.7er vom Management-Netz her separiert sind (was bei kleinen "free" Kunden zu 99.99% eh nicht der Fall sein wird). Letzteres finde ich als IT Dienstleister dann eher grenz- und fragwürdig. Die komplette Vermischung von Business inkl. Kundenmonitoring, Privat und Betrieb von Public WiFi auf einem "Geschäfts"-Server?
      Ein Traum für jedes Audit, IT-Betriebshaftpflicht und weitere Compliance Geier.

      • Norddeutsch - Audit-Geier zieht RJ45 sagt:

        @Christo Nein und JA. NEIN, nicht nur. Ich finde es extrem positiv, dass Jochen & Günter dieses Thema aufgreifen. Es zeigt einen (nicht den einzigen) Weg zu nachhaltigen Alternativen. Es lässt auf ein sehr engagiertes Team bei Jochen schliessen. Auch wenn es hier oder da recht hemdsärmelig – sicher auch der Kürze des Artikels geschuldet – wirkt. Ich oute mich mal als "ich kann auch Compliance Geier ™" (DAS Schimpfwort hab ich noch nie gehört :-p ) . Ich hätte wirklich Freude, mit solchen Teams Projekte zu stemmen. Denn ich mag Gestaltung von sauberer, geiler IT und deren Sicherheit & Kontrollsysteme. Auch wenn man dazu bei "Trennung" von Mandanten" etwas strenger sein darf, die Leute zum Einsatz von Quad-Netzwerkkarten und zwei Hypervisoren mehr zwingt oder engagierte Admins etwas einbremst. Das führt dann zum Teil mit … JA:

        JA, Aus Erfahrung sehe ich die von Dir genannten Punkte ebenso erst einmal kritisch und oft auch als Ausschlusskriterium sauberer Lösungen. Nimm Aspekte wie Dokumentierbarkeit oder physikalische Trennung: Die gelten aus Sicht von Transparenz, Management und Best Practice nicht nur hier sondern eigentlich für jede Architektur queer Beet. Proxmox ist also nicht die primäre Ursache. Defizite finden sich ebenso in in Virtualisierungs-Clouds (letzte Vorfälle Microsoft, fragt mal FEFE nach sicherer Trennung in Cloud) bis hin zur "schlanken Virtualisierung" per Linux via KVM (ex QEMU, Kernel Based VM) mit nicht immer leicht zu verargumentierender oder transparenter Trennung.

        Dinge wie Public Wifi haben mE (abgeleitet aus div. Gesetzen, Normen & Standards) in Businessumgebungen so eher gar nichts zu suchen – genauso wie das WLAN-Gästenetz meiner Apotheke: Im selben phys.LAN wie die Anbindung an Telematik entgegen der klaren Vorgaben. Oft schlicht "No Go" und not compliant.

        Da gibt es also noch etwas "zu tun" damit Linux oder Proxmox sauber betrieben wird. Dies sprechen Einige an: @riedenthied ("Frickelei"), @Christo, Du , R.S. (Thema Backupserver). Interessant ist es jedoch: Von @Chris bis zu @Yamacore.
        Man sollte somit nicht vergessen, dass es "viel zu tun" auch bei den Anderen (MS, VMware,…) gibt. Auch wenn Audit-Testate turnusmässig einfach bei MS heruntergeladen werden: Ob die Implementierung angemessen sicher und dem Schutz- und Rechtsbedarf entsprechend ist wär fast immer noch zu klären. Und wenn dann der Audit- und Compliance Geier ™ kommt und bei jedem angeblich redundanten Crosslink einfach einen der RJ45 oder SC-Stecker zieht, um zu gucken ob Ihr nen Alerting bekommt oder gleich das SAN wegcrasht…

  3. Bolko sagt:

    Zitat:
    "Bei Windows 7 funktionieren die aktuellen virtio-Treiber nicht, da nutzen die Mitarbeiter des IT-Dienstleisters die Version virtio-win-0.1.137.iso"

    Die letzte problemlose Version für Windows 7 soll die 0.1.173-4 sein.

    Bei Version 0.1.173-9 meldet der Installer Win8 als Vorraussetzung, aber über den Gerätemanager lassen sich die Win7 Treiber installieren.

    Warum wird gerade die 0.1.137 benutzt?
    Ist das ein Zahlendreher oder was stimmt mit der 0.1.173-4 nicht?

  4. Anonym sagt:

    > ZFS (Zero File System)

    Habe ich was verpasst? Wenn das Z überhaupt noch aufgelöst wird, dann als Zettabyte, oder?

  5. Eddii sagt:

    Moin. Sehr interessant!
    Über mehr Details (Systemkommandos) und Screenshots würde ich mich sehr freuen! :)

  6. Chris sagt:

    Wir haben unsere Kundensysteme schon vor längerer Zeit alle zu Proxmox umgezogen (ESXi, Hyper-V). Seit V6.x wurden die schon älteren Systeme problemlos auf das neue Major Release aktualisiert und wir hatten nie ernsthafte Probleme. Vom single-node bis zum Cluster mit Ceph ist alles dabei. Migrationsmöglichkeiten gibt es einige. Import von vmdks über Shares/externe Datenträger (bei Hyper-V gehts auch direkt via CIFS zwischen PVE – Hyper-V), Clonezilla Live auf ein Zwischen- oder neues Zielsystem, etc. Kommt halt immer darauf an, welche Mengen verwaltet und umgezogen müssen und welche Downtimes akzeptabel sind.

    Es gibt einige Grundlagen, die man beim Einsatz von Proxmox beachten sollte – insbesondere bei ZFS:

    – ZFS nutzt 50% des RAMs als Cache (arc); deswegen diesen für volle Performance nicht zu gering wählen (der arc kann limitiert werden und wird bei steigender Last auch reduziert)
    – ECC-RAM wenn möglich um bitrotting zu verhindern
    – keine Consumer Hardware (SSDs/NVME) verwenden. Laufwerke ohne PLP haben nicht genügend cache und werden schnell kaputtgeschrieben
    – RAID-Level sorgfältig planen; mirror (RAID1) oder striped mirror (RAID 1+0) sind für VMs die beste Wahl. RAIDZs (1/2/3 und dRAID) sind für weniger frequentierte Daten geeignet und haben den Nachteil des overheads bei unterschiedlichen block sizes
    – HDDs in ZFS sollte man nur als Datengrab verwenden, nicht als Dataset für VM-Systemlaufwerke
    – Datasets/zvols mit blocksizes kalkulieren
    – kein ZFS auf Hardware-RAID verwenden

    ZFS ist ein komplexes Thema, aber meiner Meinung nach ein System mit „killer features" und darf nicht mit klassischen RAIDs verglichen werdewie bspw. mdadm. Es ist mehr ein „all-in-one"-System.

    Der Proxmox Backup Server (sollte ebenfalls mit SSDs betrieben werden) ist im kommerziellen Umfeld ein must-have. Beispiel: beim Kunden belegen 46 VMs und 25 Container 8TB (unterschiedliche Vorhalte- und Purge-Zeiten). Allerdings beträgt der Deduplizierungsfaktor 20,8. Wären also reell 160TB echter Plattenplatz auf Speichern wie NFS/SMB.

    Ansonsten benötigt ein PVE selbst nicht viel an Ressourcen (Debian ist ja die Basis). Das System sollte auf einem ZFS Mirror installiert werden, hier reichen auch kleinere (Enterprise) SSDs.

    Downtimes oder böse Überraschungen haben wir in den letzten Jahren nie erlebt. Fallstricke gibt es überall, Besonderheiten auch (bspw. gewisse Intel NICs, die kein vernünftiges VLAN offloading beherrschen). Aber das ist ja nix Neues in der IT :-)

    Hab ich was vergessen? Oh, Kaffee auf :-D

    Grüße

  7. riedenthied sagt:

    Ist schön zu hören, wenn der Jochen glücklich damit ist. Ich halte aber so eine Frickelei schon in einer etwas größeren Umgebung für vollkommen unpraktikabel. Mehrere hundert oder gar tausende VMs auf so eine Weise manuell zu behandeln – wie lange soll das dauern und wie viele Nächte mit Downtime soll man sich da um die Ohren schlagen? Personal und Arbeitszeit ist auch nicht kostenlos.

    Und tatsächlich würde mich ebenfalls das Ergebnis eines Audits in dieser Firma interessieren. Da ginge wohl viel Popcorn beim Lesen drauf.

    • Christo sagt:

      Das sehe ich genauso.
      Liest sich wie das Gebastel und Gefrickel, das man vor 10 Jahren zwischen den mittlerweile gefestigten Hypervisoren hatte. Zwischen VMware, Hyper-V und Nutanix und ggf. KVM sind Migrationen heut ja super einfach zu bewerkstelligen. Aber auch hier .. Zeit kostet Geld..

      Wir haben alle Kunden, die ESXi im Einsatz haben, von Anfang an mit Essentials (Plus) oder Standard lizensiert. Bei denen ist das aktuell eine reine Wirtschaftlichkeitsrechnung… Migration vs. Subscription Verlängerung (Anpassung). Bisher sieht keiner die Notwendigkeit zu migrieren.
      VMware funktioniert bei allen seit Jahren fehlerfrei, egal ob der Kunde 1 oder 60 Hosts hat.

    • Johnny sagt:

      kann man so sehen, wenn man keine Ahnung hat und nur Klickibunti kann.

      • Sebastian sagt:

        Totaler Bullshit, sorry. Zeit ist ebenso Geld für dich als auch für deine Kunden. Also warum ein gutes Produkt wechseln, nur weil es mehr Geld kostet? Die Bastellösung oben, gepaart mit den schon beschriebenen problematischen Aspekten mal Außen vor gelassen.

  8. Andreas F. sagt:

    Ich habe mal eine Frage, wie kommen eigentlich alle drauf, das der HyperV tot ist? dem ist mit Nichten so. Microsoft hat nichts derartiges angekündigt oder die Entwicklung eingestellt, im Gegenteil mit Windows Server vnext, auch jetzt bekannt als 2025, kommen neue Funktionen dazu.
    Was viele glaube ich durcheinander bringen, die kostenfreie Version des HyperV Core wurde mit 2019 als eigenständiges Produkt eingestellt, ja, aber er lebt und gedeiht in Essentials, Standard und Datacenter prächtig weiter.

    Proxmoxx ist toll, schaue ich mir auch an und kann wahnsinnig viel, aber auch hier gilt wohl, je größer das ganze wird, so wird man auch hier Funktionen wohl oder übel an Lizenzen Koppeln werden, make Money 🤑

    • 1ST1 sagt:

      Mich hat die Aussage zu HyperV auch gewundert, das kann nicht sein.

      Was ich übrigens auch sportlich finde, sind 34 VMs auf einem Hypervisor mit 128 GB RAM. Da sind entweder ettliche winzige VMs dabei, oder das System muss ständig am swappen sein, denn 128/34 ergibt gerade mal 3,7 GB RAM pro VM. Und das ohne den ganzen Overhead, den der Proxmox- oder ESXi-Server sonst noch braucht.

      Und wenn dann der eine Server mal ausfällt, steht der ganze Laden, da braucht es nicht mal einen Ransomwareangriff.

      • Singlethreaded sagt:

        Da habe ich mich auch gewundert. Wir haben eine ähnliche Anzahl an VMs. Dafür betreiben wir drei HPE DL380 Gen 10 Server unter ESXi 7.0 Update 3o mit jeweils 768 GB RAM.
        Ein Server ist Sicherheitsreserve, so dass wir dort im laufenden Betrieb in den Wartungsmodus können um Patches zu installieren sowie Treiber, Firmware und ESXi auf einem sicheren Stand zu halten. Auch der Komplettverlust eines Servers wird so kompensiert.

        Die Userzahl je VM macht bestimmt auch einiges aus und ist bei uns vermutlich höher. Trotzdem ist der Unterschied schon deutlich. Zeigt mir mal wieder wie gut es uns mit unserer Hardware to geht.

        Auch haben die beiden Intel Xeon E5-2667 v3 CPUs zusammen auch nur 16 Cores. Selbst mit einem Faktor von 4 von Core zu vCore sind je VM gerade mal 2 vCore drin. Das ist schon knapp bemessen und würde bei uns inkl. der Datenbank-Server nicht funktionieren.

        Trotzdem vielen Dank, dass diese Infos geteilt wurden. Ist immer sehr wertvoll, wenn sich IT-Kollegen zu ihren Setups äußern und einem so einen Einblick erlauben!

      • T Sommer sagt:

        Zitat: "Mit ein paar uralten VMs kämpfen wir noch, aber das sind historische 16-Bit-Systeme, die ich aus Nostalgie Gründen aufgehoben hatte."

        Die fressen dann weder viel Arbeitsspeicher, noch Plattenplatz. Aber wenn das Nostalgie ist, warum lagert man die nicht aus und nutzt den alten VM Player oder migriert diese nach VirtualBox.

        Zieh mal von den 128 GB vielleicht ca 2 für den Proxmox HV ab, der Rest ist für die VMs. Wobei ich das auch im Bezug auf den Backup-Server mit "nur" 32Gb zum transfer (?) mehr als sportlich finde -. sofern die nicht laufen müssen.

    • Johnny sagt:

      Quatsch mit Soße…

  9. Joerg sagt:

    Die VirtIO-Treiber wurden komplett installiert? Ich habe es bei unserem Testsystem nicht ein einziges Mal geschafft, den Balloon-Treiber zu installieren, der Installer bricht reproduzierbar sb, wenn man den auswählt. Das passiert bis zur 248er Version, die dieser Tage erschienen ist.
    Es ist jetzt kein Ding, wir nutzen Proxmox nur als Hypervisor für kleinere Testsysteme, aber mich würde interessieren, warum das bei Jochen funktioniert hat…

  10. R.S. sagt:

    Interessanter Bericht!
    Aber eins fällt mir auf: Backup-Server.
    Wie werden die Backup-Server gesichert?
    Hoffentlich doch auf Offlinemedien!
    Kein Backup auf Offlinemedien = kein Backup, das den Namen verdient!
    Bei Elementarschäden wie Blitzschlag, Brand, Überschwemmung etc. werden nämlich ohne Offline-Backup sowohl die Livesysteme als auch die Backupsysteme zerstört.
    D.H., alle Daten wären verloren.

    Und wie gewährleistet man, das man die gesetzlichen Bestimmungen bzgl. steuerrelevanter Daten einhält (müssen so gesichert werden, das die nicht nachträglich verändert werden können und das Backup muß man 10 Jahre lang aufbewahren inkl. nötiger Hard- und Software, um das Backupmedium lesen zu können.)?

    • Chris sagt:

      Proxmox BS unterstützt sowohl Tapes (WORM oder regular) als auch pull syncs zu anderen Systemen.

    • Stefan sagt:

      Am einfachsten mit einem anderen Proxmox Backup Server Offsite.
      Dieser synct sich mit dem Haupt-Backup Server.
      Bei uns steht der dieser Offsite Backup Serer der Kunden in unserem RZ und von da aus gehen die Sicherungen auf Band (und die dann in unseren Tresor und die Kopie zum Kunden)
      Übrigens ist es in solchen Szenarien wichtig, die Verschlüsselung der Datensicherungen einzuschalten und die Schlüssel dann dem Kunden zu übergeben. Offsite kannst du dann nur gemeinsam mit dem Kunden in die Backups schauen.
      Wichtig ist aber auch beim Schreiben auf Band via Proxmox Server, dass die zu sichernden Daten auf SSDs liegen. Sonst bekommst du die Datenraten nicht hin, die du zum konstanten Schreiben auf Band brauchst. Dann spult das Drive permanent, wird nicht fertig und das Drive geht auch schneller kaputt. Das ist kein ZFS Problem sondern hat mit der Behandlung der Daten-Fetzen (Chunks) des PBS zu tun. Bissl was kannst du noch mit ZFS Special Devices (3er Spiegel mit SSDs) reißen, wenn du HDDs einsetzt. Eng monitoren nicht vergessen!

      SSDs klingt jetzt teurer als es wirklich ist, da Proxmox wie oben schon jemand geschrieben hat, wirklich hervorragend dedupliziert.

      Grüße

      Stefan

      • Singlethreaded sagt:

        Ist das wirklich ein reales Problem unter Proxmox? Wir haben Veeam als Backup im Einsatz und der physikalische Backup-Server ist mit 12 SAS-Platten zu je 10TB bestückt. Platten im RAID-5, Dateisystem ist ReFS. Per Fibre Channel ist eine Tape Library angeschlossen. Gesichert wird auf LTO-8 Tapes und wir hatten noch nie Probleme die 360 MB/s für die Tape Sicherung von den Platten zu bekommen.

        • riedenthied sagt:

          Will ja nicht klugschwätzen, aber RAID 5 bei 10 TB Platten? Das ist mutig und würde ich mir nochmal durch den Kopf gehen lassen, Stichwort Double Punctures bzw. Double Faults.

          Ansonsten gebe ich dir recht. Ich sehe auch keine Probleme, den Durchsatz für Tape mit Platten hinzukriegen. Das muss noch nicht mal Full Speed mit 360 MB/s sein, LTO kann die Geschwindigkeit ja durchaus skalieren.

        • Stefan sagt:

          Ja ist es beim PBS
          Unsere Messungen ergaben beim Sichern der Daten eines PBS (Proxmox Backup Server) auf LTO8 bei 20*12TB HDDs im RAIDZ2 ohne special Devices eine Datenrate von 100MB/sec.
          Mit special Devices ist es mehr aber immer noch weit weg von den 360MB/s die du für LTO8 haben solltest.
          Grüße

          Stefan

  11. Yamacore sagt:

    Interessanter Post, da mindert sich mein Imposter syndrom gleich gewaltig!

    • Gigabernie sagt:

      Impostor-Syndrom?
      Neues Wort gelernt??
      Der Zusammenhang mit dem Beitrag ???

      Kläre uns bitte auf

      • Anonym sagt:

        Slightly off-topic: Nimm es bitte nicht persönlich: Dein Posting ist ein schöner Beleg, weshalb weder Suchmaschinen noch KI die Menschheit weiter gebracht haben. Wie auch, wenn sie geflissentlich gemieden werden.

        Hier hätte schon Google Search gereicht, denn bereits die AOK-Spatzen pfeifen vom Hochstapler-Syndrom von ihren Dächern: http://www.aok.de/pk/magazin/koerper-psyche/psychologie/impostor-syndrom-symptome-und-loesungsansaetze/.

        Yamacore will wohl sagen, dass er sich in der Hemdsärmlichkeit seiner IT-Praxis immer unwohl gefühlt hat, nun aber sieht, dass auch andere bloss mit Wasser kochen.

        Wie einige andere hier finde ich auch, dass Jochens Umgebung, aus welcher der Migrationsbericht stammt, einen abenteuerlichen, leicht verbastelten Eindruck macht.

  12. Sven Fischer sagt:

    Vielen Dank für den Beitrag und an alle, die hier selbst einen Erfahrungsbericht geschildert haben. Wieder was gelernt.

  13. T Sommer sagt:

    Habe letztes Jahr noch einen neuen Server angeschafft und den alten ESXi 6.5 auf einen ESXi 8 umgestellt – jeweils die Free Editon. Wären die Broadcom/Vmware Hiobnews zu diesem Zeitpunkt im Dezember so bekannt gewesen, wäre ich nicht mehr auf den ESXi 8 umgezogen, sondern sehr wahrscheinlich auf dem Proxmox VE.

    Was ich am Proxmox noch als sehr verbesserungswürdig ansehen, ist das Handling der Platten / Partitionen / LVM-Volumes in der Weboberfläche. Ohne die Shell zu bemühen kommt man nicht zu dem gewünschten Ziel einen zweiten Datenträger sinnvoll einzuteilen. Persönlich will ich eine Trennung zwischen OS (eigene SSD) und den Virtuellen Maschinen (Hardware Raid Verbund).
    Aber auch dann muss mach sich für das richtige Dateisystem entscheiden, wenn man ISOs und VMs hochladen will. Beim ESXi konnten ISOs auch lokal auf dem Client liegen oder griff auf dessen CD-Laufwerk zu – das geht bei Proxmox nicht.

    Die Vorauswahl der VM Einstellungen sind ok, zumal die QEMU vorhandenen Möglichkeiten einem erschlagen wenn man das auf dem Desktop macht.

    Was mich ebenfalls stört ist die fehlende Möglichkeit VMs mal einfach so als Dateien rauszuziehen (QEMU läuft auch auf Windows und Mac) und ich nutze gerne mal einen Desktop HV. Das ist bei ESXi und HyperV geschmeidig. Das registrieren einer VM auf der Platte des Hypervisors habe ich jedenfalls nicht gefunden. Und frickeln zählt nicht!

    Ansonsten ist der Bericht super, er deckt sich auch mit den von mir mal getesteten Funktionen. Ich hatte Testweise auf einem ESXi 8 einen Cluster aus zwei Proxmox VE Maschinen aufgebaut. Darauf eine VM mit Windows erstellt und im laufenden Betrieb von A nach B und zurück rumgeschoben. Das lief ganz geschmeidig und flott ohne Abstürze und Hänger!

    Momentan läuft der ESXi und das wird er auch noch eine weile Machen – aber die Zukunft sehe ich mehr bei Proxmox und Co. Es ist nicht davon auszugehen, das sich am Befinden von VmWare By Broadcom da plötzlich die Erkenntnis einstellt hier mit der angefangenen Politik zurückzurudern.

    • Marlene sagt:

      Wir nutzen bei einer vergleichbaren Lösung ebenfalls Proxmox zusammen mit Ceph als HCI und haben keinen Grund für Beschwerden. Backups laufen aber über einen Dritthersteller, da wir auch Exchangen-Datenbanken sichern.

      • Rudi sagt:

        Welchen Dritthersteller verwendet ihr da? Ich warte ja immer noch auf Veeam für Proxmox, für genau so einem Fall.

        • Stefan sagt:

          Korrigiert mich, wenn ich mich irre:
          Das Szenario, dass ihr lösen wollt ist das Wiederherstellen eines einzelnen Postfachs?

          Weil wenn es um das Rücksichern des Exchange Servers als ganzes geht, funktioniert das auch mit Proxmox Backup. Zwar werden bei Prox-Backups die Logs nicht mehr truncated, aber dafür gibt es ja auch Befehle, oder Windows Backup nutzen.
          Bei einzelnen Postfächern müsste auch die Rücksicherung der *.ebd Datenbank über Proxmox funktionieren und dann das Postfach mit den freien Veeam Tools in *.pst exportieren?
          Ich habe das lange nicht mehr getestet, aber so hatten wir das mal gemacht, wenn meine Erinnerung mich nicht täuscht.

          Stefan

          • Marlene sagt:

            Korrekt, es geht um die granulare Wiederherstellung von einzelnen Exchange-Objekten. Auch um mal schnell vom Windows Fileserver eine alte Dateiversion schnell wiederherzustellen.

            • Stephan sagt:

              letzteres kann PBS. In der WebGUI auf die VM Deiner Wahl klicken, dann "Backup", dann ein Backup auswählen und oben "File Restore" klicken.

        • Marlene sagt:

          Acronis Backup Virtual Host. Nicht so leistungsfähig wie Veeam aber immerhin eine Lösung für Proxmox.

      • Stefan sagt:

        CEPH ist klasse, aber auch ziemlich teuer:
        – Redundantes 10GBit Netz, je mehr je besser weil sich damit auch die Zugriffszeiten entsprechend verbessern (abhängig von der Anzahl der Nodes, SSD usw)
        – 2 Netze mit 10GBIT, besser 3 (also 6 10GBit Ports pro Server)
        – mindestens 3 besser 5 Nodes oder mehr
        – und die Daten sollten doppelt gespiegelt sein, also im System 3 mal vorhanden…
        10 TB Netto Daten -> 30 TB mit den Spiegeln + du musst den Ausfall eines Nodes abfangen (bei 3 Nodes + 33%, bei 4 Nodes eben 25% usw.) + du darft CEPH niemalsnicht vollschreiben, also noch mal zwischen 10% und 20% Reserve.

        Oder du kommst bei Ausfällen in echte Schwierigkeiten und kannst dein HA Versprechen nicht halten.

        Das machen wir nur bei einfach vorhandenen Systemen wie Datenbanken, Exchange (auch wenn diese geclustert sind…) AD Server usw.
        Bei Terminalservern oder anderen Systemen, die Downtime abkönnen oder mehrfach redundant sind, ist das den Kunden aus Kostengründen schwer zu vermitteln, die Maschinen in einen Proxmox HA Cluster mit CEPH zu schubsen.
        Insbesondere auch, weil nach unserer Erfahrung (mehr als 5 Jahre, ca. 60 Nodes) Proxmox so fürchterlich stabil läuft. Die Wahrscheinlichkeit, dass sich deine VM aus betriebssystembedingten Gründen verabschiedet, ist um ein vielfaches höher als das der Hypervisor scheiß baut.

        Nachdem wir jahrelang die freie Version verwendet haben, fangen wir, mit Zustimmung unserer Kunden, an, wenigstens die kleinste Version zu lizensieren. Nicht, weil man den Support oder das Enterprise Repository braucht sondern weil es ein so gutes Produkt ist, das einfach unterstützt gehört!

        Stefan

        • Marlene sagt:

          Das ist soweit korrekt. Aber mit 3 Nodes (1 HE) kommt ma schon sehr weit. Außerdem hat man dann auch gleich HA für den Storage, was bei uns die Entscheidungsgrundlage war.

  14. Gigabernie sagt:

    Toller Post!
    Da bin ich jedenfalls froh, dass ich von Anfang an auf Hyper-V gesetzt hatte:
    4 Datacenter mit gesamt 36 VMs. Klar, die Datacenter sind nicht günstig, aber beliebige Anzahl VMs kostenfrei. Seit 8 Jahren kein Problem.
    Dass Hyper-V abgeschafft werden soll, halte ich für ein Gerücht.

    • Günter Born sagt:

      das abschaffen bezieht sich imho auf den kostenlosen Hyper-V Server, als Feature/Rolle ist er verfügbar. Ob es irgendwann heißt 'nur noch in der Azure Cloud', wird man sehen.

      • Martin B sagt:

        niemand setzt wirklich den kostenlosen HV ein. Dataceneter macht ab einer gewissen Anzahl VMs eh Sinn und wenn auch, benötigt man weniger, dann reicht auch der Standard Server (bringt Lizenzen für zwei VMs mit). Von daher ist HyperV immer „kostenlos", es sei denn, man setzt keine Windows VMs ein.

        Es läuft robust und perfomant, mit Veeam Backup ein echter nobrainer. Die gesparte Zeit für Basteleien investieren wir lieber in abrechenbare Stunden. Aber in der Tat möchte M$ auf Azure Stack HCI drängen, auch lokal und das wird leider richtig teuer. Gut möglich, dass einige wichtige Features mit sanftem Druck dorthin wandern, wir werden sehen. Es gibt das Gerücht, dass bei MS mehr BWLer arbeiten als Entwickler oder technische Consultants, für Deutschland ist es auf jeden Fall so.

  15. sysopstv sagt:

    Bitte denkt daran dass Proxmox VE ein Frontend ist, während VMware auch den Hypervisor baut.
    Der Funktionsumfang ist niedrig und jeder Knopf kann in einer anderen Situation etwas anderes bewirken.
    Mit ZFS kann man sich strategisch extrem gut für Notfälle aufstellen, wenn man es versteht.
    Mit etwas Google findet man die richtigen Quellen zum produktiven Einsatz mit ZFS:)

    • T Sommer sagt:

      Proxmox VE ist kein reines Frontend.
      Hier kommt ein eigener Kernel zum Einsatz – es wird nicht der Originalkernel von Debian genutzt. Man kann allerdings Proxmox über Debian installieren und seine Basis nach eigenem Geschmack partitionieren.

      https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_system_administration

      Zitat: "Proxmox VE is based on Debian GNU/Linux with additional repositories to provide the Proxmox VE related packages. This means that the full range of Debian packages is available including security updates and bug fixes. Proxmox VE provides its own Linux kernel based on the Ubuntu kernel. It has all the necessary virtualization and container features enabled and includes ZFS and several extra hardware drivers."

    • Stephan sagt:

      > Bitte denkt daran dass Proxmox VE ein Frontend ist
      PVE ist eine vollständige Virtualisierungs-Appliance. Worauf willst Du hinaus? Dass nicht alle beteiligten Software-Komponenten in Wien entwickelt werden? Das spielt aus meiner Sicht keine bedeutende Rolle (und ist sicherlich auch bei VMware nicht so).

      > Der Funktionsumfang ist niedrig
      Das ist ziemlich… relativ. Für uns (KMU, ca. 260 Mitarbeiter:innen) war der Funktionsumfang in den vergangenen fünf Jahren hervorragend. Und nicht nur das.

      > und jeder Knopf kann in einer anderen Situation etwas anderes bewirken.
      Keine Ahnung, was Du meinst. Ich finde die WebGUI in Anbetracht dessen, was sie alles kann, sehr aufgeräumt und intuitiv.

  16. Frank sagt:

    Zitat:"….Nein wollen wir nicht, zumal Hyper-V ja auch auf der MS Abschussliste steht…"

    Hyper-V steht auf der Abschlussliste? Könnte das bitte einmal mit einer offiziellen Meldung untermauert werden…

    Gruß, Frank

    • Gigabernie sagt:

      Dito,
      kam vielleicht von FOX-News :)

    • R.S. sagt:

      Das ist nicht der Fall.
      Was es nicht mehr gibt, ist der kostenlose Hyper-V Server.
      Da war der 2019 die letzte Version.
      Aber in Essentials, Standard, Datacenter ist die Hyper-V Rolle weiterhin vorhanden und wird auch noch weiterentwickelt.
      Mit Server vNext (soll gerüchteweise Server 2025 heißen) gibts auch neue Hyper-V Features.

  17. Uwe sagt:

    Das Problem, das ich bei VMWare sehe, ist nicht die Preisänderung.
    Die weitere Produktentwicklung könnte jetzt wackeln, aber das ist bis jetzt Spekulation.

    Ich habe ein Problem mit Mietlizenzen.
    Damit muß der Host mehr oder weniger dauerhaften Internetzugriff haben, was bei uns nicht gewollt ist.
    Und ich verliere die "digitale Souveränität" über meine Umgebung.
    Das widerspricht der DSGVO, Kritis bis NIS2.
    Scheint für viele kein Problem zu sein, für mich ist das ein No-Go.

    Danke für diesen Erfahrungsbericht!

    Uwe

    • riedenthied sagt:

      Kann ich nicht nachvollziehen. Warum sollte ein Host dafür Internetzugriff haben müssen? Und mit der DSGVO hat das schon mal gleich gar nichts zu tun. Wo sind dabei personenbezogene Daten involviert? Kritis gefährdet wegen Mietlizenzen? Ebenfalls eine abenteuerliche These.

    • Klaus sagt:

      Für die aktuellen Subscriptions bekommst du einen Lizenzcode wie bisher auch. Der ist halt nur in der Laufzeit begrenzt, kann aber weiterhin auch Offline genutzt werden. Mir wäre jetzt nicht bekannt, dass sich da in den letzten Wochen was geändert hätte.

  18. Ralph D. Kärner sagt:

    Ich ziehe meinen Hut für diesen Beitrag!

  19. Uwe sagt:

    Die DSGVO fordert digitale Souveränität, d.h. ich muß für die Verfügbarkeit meiner Daten garantieren.
    Das fordert auch NIS2 und der gesunde Menschenverstand, wen`s betrifft. ;-)
    Wenn mein Datenzugriff abhängig ist von funktionierender Internetverbindung (Lizenzkontrolle), funktionierendem Lizenzserver beim Anbieter und politisch gutem Wetter (Exekutivanweisung 13884 von D.Trump verbietet 2019 die Nutzung von bezahlten Adobe Lizenzen in Venezuela), dann nenne ich das keine digitale Souveränität.

    • Stefan sagt:

      Dann dürftest du gar keine online zu aktivierende Software nutzen wie zb…. Windows ;-) .

    • riedenthied sagt:

      Es ist keine funktionierende Internetverbindung erforderlich, für die Hosts – und von dieser Aussage kommst du – schon gar nicht. Auch ein funktionierender Lizenzserver beim Anbieter (das ist letztlich der gleiche Punkt) ist nicht notwendig. Beim politischen Wetter in Venezuela wird es abenteuerlich, wie wäre es mit einem Meteoriteneinschlag im Rechenzentrum?

      Davon abgesehen sagt die digitale Souveränität eigentlich gar nichts über eine Verfügbarkeitsgarantie. Ganz im Gegenteil: Sind die Daten nicht verfügbar, sind sie auch im Sinne der DSGVO maximal geschützt. Gesunder Menschenverstand, hm? Souveränität bedeutet selbstbestimmt und unabhängig. Ich wüsste nicht, wie man damit eine Mietlizenz in Verbindung bringen könnte. Du kannst selbst bestimmen, wie lang der Mietvertrag dauert und ob du am Ende der Vertragsdauer aussteigst. Du kannst unabhängig entscheiden, ob du zu einem anderen Anbieter wechselst, ob du selbst was programmieren möchtest, auf Open Source setzt oder deinen Laden dicht machst. Ziemlich souverän, finde ich.

  20. Uwe sagt:

    @Stefan: Jein.
    Mein Problem ist nicht die einmalige Online-Aktivierung, sondern die dauerhafte Online-Lizenzkontrolle.
    Bis Windows 10 / Server 2022 läuft das System im Kritis-Umfeld noch dauerhaft ohne Internet.
    Für zukünftige Windows-Versionen sehe ich da aber schwarz.

    @riedenthied
    Ich wüßte auch nicht, wie man eine Mietlizenz mit digitaler Souveränität in Einklang bringen sollte.

    DSGVO Art. 32, Abs 1: "die Fähigkeit, die Vertraulichkeit, Integrität, Verfügbarkeit und Belastbarkeit der Systeme und Dienste im Zusammenhang mit der Verarbeitung auf Dauer sicherzustellen;"

    • riedenthied sagt:

      Na ja, nicht nur die Rosinen picken, sondern genau lesen:
      "um ein dem Risiko angemessenes Schutzniveau zu gewährleisten; diese Maßnahmen schließen GEGEBENENFALLS unter anderem Folgendes ein".

      Aber das ist auch egal, ich sagte es ja bereits: Du stellst die Verfügbarkeit sicher, indem du:
      – den Mietvertrag bezahlst und bei Bedarf verlängerst
      – den Anbieter wechselst
      – selbst eine tolle Lösung programmierst

      Man kann von dieser Mietlösung halten, was man will. Man kann das legitim finden, man kann das für Abzocke halten. Man kann persönlich beleidigt sein, dass da wieder mal einer die Preise für seine Aktionäre und seine eigenen Boni erhöht. Aber eine digitale Souveränität untergräbt das nicht im Geringsten. Du wirst zu rein gar nichts gezwungen.

      Was Microsoft betrifft, so sind das Mutmaßungen. Ganz davon abgesehen, dass man eine dauerhafte Online-Lizenzkontrolle durchaus sicher per Proxy-Server etc. gestalten könnte. Dass das ein Show Stopper in einer Kritis-Umgebung ist, ist ein Märchen.

    • Stefan sagt:

      Ich dachte hier gelesen zu haben das man die Aktivierung nur einmalig benötigt bis zum Ablauf der Lizenzzeit, ist dem nicht so?

  21. jup sagt:

    Was mir in den Erfahrungsberichten fehlt:
    Wie sieht es den mit dem "OS Support" seitens der Serverhersteller bei Proxmox aus ?
    hier:
    https://support.hpe.com/hpesc/public/docDisplay?docId=c04443262&docLocale=en_US&page=GUID-6FC5A117-CC35-49A8-AE22-60B9B6359F59.html

    sehe ich jedenfals kein Proxmox (bzw Debian) …
    Wie spielt man dann bei dem System BIOS / Firmwareupdates ein usw …

    Wie reagiert der Serverhersteller wenn im Garantiefall ein nicht supportetes OS eingesetzt wird ?

    • R.S. sagt:

      ***
      Wie spielt man dann bei dem System BIOS / Firmwareupdates ein usw …
      ***
      Bei Dell z.B. kann man das klassisch über das Betriebssystem machen oder einfach, indem man auf die Weboberfläche des iDRAC geht und darüber die FW-Updates aufspielt. iDRAC ist völlig OS-unabhängig.
      Darüber kann man eigentlich für alles FW-Updates aufspielen, ebenso BIOS-Updates, Updates für den iDRAC selbst, etc.

      Auch bei anderen Serverherstellern gibt es ähnliche Lösungen wie iDRAC bei Dell. Bei HP nennt es sich z.B. iLO.

    • Stephan sagt:

      >Wie reagiert der Serverhersteller wenn im Garantiefall ein nicht supportetes OS
      > eingesetzt wird ?
      Wir haben vor ca. fünf Jahren Supermicro-Server inklusive Support bei Thomas Krenn gekauft. Das hat in den seltenen Fällen, wo wir Support gebraucht haben, immer reibungslos funktioniert.
      Dieses Jahr erneuern wir und kaufen bei Thomas Krenn Asus-Server. Ich bin gespannt. :)

  22. Fritz sagt:

    Auch von mir vielen Dank für diesen wirklich gut aufbereiteten Beitrag und die Diskussion dazu.

    Ich habe hier ebenfalls einen kleinen Cluster unter Proxmox aufgesetzt. Die Hardware stammt von einem vor vielen Jahren noch unter VMware 5/6 angeschafften Cluster, der schon lang nicht mehr produktiv lief. Deswegen habe ich einige Sachen im Bereich Performance noch nicht austesten können (keine SSDs, ältere CPUs) – von daher sind solche Erfahrungswerte hochwillkommen.

    Was das Handling betrifft sind meine Erfahrungen den oben dargelegten sehr ähnlich – wobei ich zu bedenken geben will, daß es auch unter VMware Sutuationen gibt, in den man sich per SSH auf den Host verbinden muß um z.B. eine *.vmx zu editieren weil bestimmte Einstellungen in der GUI nicht möglich sind.

    • A.J. sagt:

      Der Artikel mag ja gut gemeint sein aber was für eine Bastelbude. Kostenloser ESXi in EOL Variante, kein HA, EOL OS Win7….das ist kein ordentlicher Businessbetrieb, auch nicht für KMU.
      Sowas habe ich jetzt schon so oft erlebt, das ist Chaos-IT in Reinform frei nach dem Motto…bis hier her ging's gut.Hauptsache billig.
      In der heutigen Zeit darf man so nicht mehr unterwegs sein.

      Sorry, aber das müsste jetzt raus.

  23. Martin sagt:

    Danke für den Erfahrungsbericht!

    Ich teile allerdings die Meinung einiger Kommentatoren hier, dass das nicht nur die Migration viel "Gebastel" ist. Für einen professionellen Einsatz erfordert das viel Zeit und Manpower. Zumal das Auffinden von supportrelevanten Informationen im Bereich Open-Source immer wieder viel Recherche erfordert.

    Und bitte liebe Kollegen, unterdrückt Euren Bashing-Impuls. Natürlich ist Payware alles andere als fehlerfrei und qualifizierter Support ist bei den meisten Herstellern seit Corona zu einem vollkommenen Drama geworden.

    Bezüglich des Einsatzes von "Markenherstellern", wie Lenovo, Dell, HP, Fujitsu: Viele unterstützen zumindest RedHat, SLES o.ä. Somit kann man in Teilen von einer Hardware-Treiberunterstützung ausgehen.

    Interessant finde ich XCP-NG dem OS Fork von XEN. Hat damit jemand schon Erfahrungen gesammelt? Es gibt einen recht interessanten Vergleich von XCP-NG vs. Proxmox.
    https://www.wundertech.net/xcp-ng-vs-proxmox-side-by-side-comparison/

    Dort wird XCP-NG als Enterprise-grade Hypervisor im Gegensatz zu Proxmox bezeichnet. Was genau der Autor damit meint, hat sich mir allerdings nicht erschlossen.

    Im übrigen teile ich die Ansicht, dass MS den Hyper-V zukünftig einschränken wird (bspw. auf Azure-Anbindung). Das würde der aktuellen Produktpolitik entsprechen. Die Kundenabhängigkeit und damit die wiederkehrenden Zahlungen zu maximieren, wird seit Jahren forciert. Und das weiß man nicht erst, seit der Ankündigung, dass das Windows Desktop OS als Azure-VM erhältlich sein wird. Deshalb vermutlich das MS Engagement im Linux-Bereich. Linux als lokaler Launcher aus dem EFI und dann Windows aus der Cloud nachladen.

    Beste Grüße
    Martin

  24. Roland Sturm sagt:

    Super Artikel!

    Wir beschäftigen uns schon einige Jahre mit Proxmox, haben viele ZFS , Ceph Cluster im prod Einsatz. Backup läuft problemlos mit PBS

    Die Vorgangsweise für Migration ESXI auf PVE machen wir seit langen wie hier beschrieben und hatten noch nie Probleme!!

    sg
    Roland

  25. BobbyTables sagt:

    Ich kenne Proxmox VE bereits seit zwölf Jahren und sehe es noch als Alternative, sondern als DIE Lösung, zu der es keiner Alternativen gibt. Nachdem ich gesehen habe, wie schlecht Hyper-V ist und wie teuer eine VMware-Landschaft mit derselben Leistung wie PVE, kann ich kein anderes Urteil fällen. Und überragend fand ich VMware im Übrigen noch nie, eher überbewertet.

    Ein Ceph-Cluster ist zu Beginn vielleicht etwas teuerer, dafür aber gut investiertes Geld. Und das geht fast ausschließlich in die Hardware. 10 GBit dediziert muss für Ceph schon sein, für den Rest ist es empfehlenswert. Das Gute an Ceph ist übrigens auch, dass es problemlos skaliert: Wenn der Platz im Pool zuneige geht oder das Wear Level hochgeht, können die Platten Stück für Stück gegen neuere, bessere, größere Platten ersetzt werden. Im Gegensatz zum klassischen RAID 5 ist nicht das kleinste Glied maßgebend, der Bruttospeicher steht ganz zur Verfügung (natürlich netto in Abhängigkeit zum Replica-Wert, also der Anzahl der Kopien im Cluster). Und der Storage läuft nicht extrem, sondern auf den PVE-Hosts parallel mit.

    Aus Erfahrung mit einem 6-Node-Cluster mit SSD-Ceph-OSDs kann ich berichten, dass problemlos mehr als 100 VMs sehr flott und zuverlässig liefen. Wer viel Workload, Hochverfügbarkeit und Flexibilität braucht, ist hier richtig.

    Konfiguriert euch mal einfach einen Cluster und vergleicht, wie viel ihr künftig bei VMware allein für die Lizenzen ausgeben müsst, zusätzlich zur Hardware. Thomas Krenn bietet optimierte Systeme an.
    Und eine PVE-Subscription gibt es je nach Support-Bedarf für 110 bis 1020 € netto pro CPU und Jahr. Der Hersteller sitzt in Wien, braucht also keine Angst vor fremdsprachigem Support haben.

    Kleiner Hinweis: Das Z in ZFS steht nicht für "Zero". Früher stand es für Zettabyte, heute steht das Z als letzter Buchstabe in Alphabet für das "letzte Dateisystem, was du brauchen wirst" :)

  26. BobbyTables sagt:

    Was ich noch vergessen habe: Bei Proxmox muss man sich keine Gedanken machen, von wo aus ein Cluster administriert wird. Jede einzelne Node steht mit seiner Web-UI bereit. Es braucht dazu keinen Admin-Client o. ä.

  27. MartinN sagt:

    Ich bin da noch etwas skeptisch was Proxmox angeht. Eine Möglichkeit ist es auf jeden Fall. Trotz der Bedenken der Anderen, dass hier viel Zeit und Bastelei für die Migration benötigt ist, sehe ich das nicht als großes Hindernis.

    Meine Bedenken gehen in Richtung Kosten der neuen Hardware. Es ist ja so, dass ich nicht ins Nichts migrieren kann. Man benötigt eine Mindestanzahl an Hosts/Nodes und evtl. auch ein zusätzliches Speichersystem.

    Ich kenne mich da nicht so aus, aber angenommen ich möchte ein Proxmox HA Cluster mit drei Nodes (3x 24 Core, 512GB RAM, 4x 10G SFP+) und ein Ceph Cluster mit 30TB netto (bei Annahme max. 80% Nutzung, dann eher 38TB) SSD. Da bin ich doch sicher bei mindestens €50000 oder mehr und das vermutlich ohne Lizenzen (wenn benötigt) oder Support.

  28. T Sommer sagt:

    Gerade auf linuxnews gesehen.
    Könnte interessant werden :
    https://linuxnews.de/proxmox-bietet-import-wizard-fuer-vmware-esxi-vms/

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Hinweis: Bitte beachtet die Regeln zum Kommentieren im Blog (Erstkommentare und Verlinktes landet in der Moderation, gebe ich alle paar Stunden frei, SEO-Posts/SPAM lösche ich rigoros). Kommentare abseits des Themas bitte unter Diskussion.