[English]Diesen Monat läuft ja der Support für Microsoft Exchange 2013 aus, so dass Administratoren vor einem Wechsel auf Exchange 2019 oder Exchange Online stehen. Ein Blog-Leser hat mich die Tage per Mail kontaktiert, weil er bei der Migration von Microsoft Exchange 2013 auf Exchange Online bei Kunden in Probleme gelaufen ist. Ich stelle den Erfahrungsbericht des Lesers hier mal zur Verfügung – vielleicht hilft er anderen Betroffenen.
Anzeige
Blog-Leser Christian K. betreut wohl einige Kunden mit Exchange-Installationen. Diese standen vor dem Problem, dass der Support für Microsoft Exchange 2013 im April 2023 endet. Bei diesen Kunden wurde sich für einen Wechsel auf Exchange Online entschieden. Dazu schrieb mir Christian:
Probleme mit neuen 365 Tenant/Accounts – Migration Exchange 2013 zu Exchange Online
Sehr geehrter Herr Born,
ich bin langjähriger Leser Ihres Blogs und Ihre Seite ist meine primäre Informationsquelle von aktuellen Problemen bei Microsoft.
Ich wollte einfach mal von aktuellen Exchange 2013 zu Exchange Online-Migrationen berichten, falls es interessant ist…
Generell dürfte das Thema aus meiner Sicht auch für andere Leser von Interesse sein – ich stelle es daher hier einfach mal ein. Zur Motivation schrieb der Leser:
Wir haben ein paar Kunden, denen aufgefallen ist, dass der Exchange 2013 bald vielleicht nicht mehr funktionieren wird. Wir haben daraufhin jeweils neue Microsoft 365 Tenants über den Ingram CSP Dienst anlegen lassen.
Ingram ist ein Anbieter, der Support bei der Cloud-Migration und weitere Dienstleistungen anbietet – siehe diese Webseite des Anbieters. Dieses PowerPoint-Dokument befasst sich beispielsweise mit der Bestellung von Autopilot Services über Ingram Micro Cloud Marketplace. Zum Anbieter an sich kann ich persönlich aber keine weiteren Informationen liefern.
Fehler beim Anlegen von Tenants
Beim Anlegen von Tenants für diverse Kunden über den Ingram CSP Dienst ist der Leser dann auf Fehlermeldungen gestoßen, die dann durchaus eine Supportanfrage auslösten. Hier seine Erfahrungen.
Fehler beim Anlegen von Tenant A
Christian hat am 25.03.2023 den ersten Tenant "A" über diesen Provider anlegen lassen. Dazu beschrieb er mir folgende Erfahrungen.
AzureAD Connect 1.6 ließ sich auf Windows Server 2012R2 installieren und nach TLS 1.2 Aktivierung normal installieren und synchronisieren.
Der Exchange Hybrid Configuration Wizard lief durch bis zu dem Punkt an dem der Inbound Connector angelegt wird.
Hier erscheint eine Fehlermeldung:
In den Details wurde dann folgende Fehlernachricht angezeigt.
Anzeige
Christian hat dann bei Microsoft einen Supportfall eröffnet und schrieb mir dazu:
Der Microsoft Supportfall läuft jetzt seit Freitag. Bisher hat der Support keine Ahnung worum es geht und aktiviert wurde die Funktion für den Tenant bis heute nicht. Naja bis zum 11.4. ist ja noch viel Zeit.
Die Angabe "seit Freitag" muss sich auf den 31. März 2023 beziehen, da mich die Mail am 5. April 2023 erreicht hat. Bei einer solchen Erfahrung kommt natürlich Freude auf – und Christian scheint bisher keine Rückmeldung von Microsoft erhalten zu haben.
Fehler beim Anlegen von Tenant B und C
Nach dem Motto "Neues Spiel, neues (Un-)Glück" hat Christian dann zwei weitere Exchange Online-Tenants über den Ingram CSP Dienst anlegen lassen. Die Erfahrungen:
Tenant B und C wurden am 3.4. und 4.4.2023 angelegt
Hier lässt sich der Hybrid Configuration Wizard schon gar nicht mehr bis zu dem Connector durchführen.
Es kommt dann folgende Fehlermeldung:
Christian hat sich dann die Protokolldateien, die beim Einrichten angelegt werden, angesehen. In den Logfiles taucht folgendes auf:
2023.04.04 10:09:03.749 *ERROR* 10085 [Client=UX, Activity=Tenant Connection Validation, Thread=7] Fehler bei der Remoteserververbindung mit der folgenden Fehlermeldung: Beim Verbinden mit dem Remoteserver "outlook.office365.com" ist folgender Fehler aufgetreten: Bad Request Weitere Informationen finden Sie im Hilfethema "about_Remote_Troubleshooting".
Das Team von Christian hat dann versucht, manuell eine Verbindung nach Installation des Powershell Exchange Online Management Moduls aufzubauen. Das funktioniert mit nachfolgendem Befehl in der PowerShell-Konsole:
Connect-IPPSSession -ConnectionUri
erhielt dann aber folgende Fehlermeldung:
Beim Verbinden mit dem Remoteserver "outlook.office365.com" ist folgender Fehler aufgetreten: Bad Request Weitere
Informationen finden Sie im Hilfethema "about_Remote_Troubleshooting".
In
C:\Program Files\WindowsPowerShell\Modules\ExchangeOnlineManagement.1.0\netFramework\ExchangeOnlineManagement.psm1:733 Zeichen:21 + throw $_.Exception; +~~~~~~~~~~~~~~~~~~ + CategoryInfo : ResourceUnavailable: (:) [], ParentContainsErrorRecordException + FullyQualifiedErrorId : System.Management.Automation.Remoting.PSRemotingDataStructureExceptionWir haben dann versucht von demselben PC aus eine Verbindung zu dem etwas älteren Tenant A aufzubauen, da der Wizard dort noch funktioniert hat. Der Befehlt ist derselbe, man nutzt nur andere Zugangsdaten bei dem Anmeldefenster, welches dann erscheint. Das funktionierte ohne Probleme. Genau wie bei unserem eigenen, sehr alten, Tenant. Auch im HCW haben wir zum Testen mal auf demselben Server unsere eigenen Tenant-Daten eingegeben. Dann läuft er durch:
Für uns sieht es so aus, als würde Microsoft aktuell ständig die Default-Einstellungen für neue Tenants ändern ohne Dokumentation oder Möglichkeiten dies selbst zu beheben. Das ist natürlich kurz vor dem Supportende für Exchange 2013 und ohne Ankündigungen total super und erzeugt überhaupt keinen Stress.
Der Support (von Microsoft) ist überfordert und weiß gar nichts damit anzufangen. Selbst nach Hinweis auf die MS Seite oben. Statt dessen werden hunderte Fragen gestellt und Überprüfungen gefordert, wie TLS 1.2 aktivieren. Die Fachabteilung lässt sich wie gewohnt Zeit. Einfach mal aktivieren lassen, ist also illusorisch.
Wenn noch weitere Informationen gewünscht (Logfiles, Screenshots, Remote-Sitzung, etc.) sind, kann ich die gerne liefern. Wir sind aktuell wirklich frustriert, dass wir unsere Arbeiten nicht mehr selbstständig erledigen könnten. Wir haben letztes Jahr und Anfang dieses Jahres Hunderte dieser Migrationen ohne Probleme durchgeführt…
So weit die Erfahrungen des Blog-Lesers (mein Dank für die Bereitstellung der Informationen). Falls jemand hier "sachdienliche Hinweise" liefern oder ähnliche Erfahrungen beisteuern kann, sind Kommentare willkommen – hilft vielleicht anderen Administratoren.
Antwort auf reddit.com
In einem Nachgang hat der Blog-Leser mir dann noch einen Link auf den reddit.com-Thread Problems running Microsoft 365 Hybrid Configuration Wizard with newly created tenants/accounts geschickt, wo ein Benutzer folgendes schreibt:
Hi,
we have been migrating Exchange Servers to Exchange Online for many years now. Now we have the problem, that we can not do this by ourselves anymore, because microsoft seems to have changed something for newly created tenants (again).
With a tenant we created on March 25th, we can run Hybrid Configuration Wizard (HCW) up to the point where the Cloud Inbound Connector of type "On Premise" is created. Here an error appears with a link to: Inbound connector: FAQ
Q: I'm running HCW(Hybrid Configuration Wizard) and I see a warning message "Inbound Connectors created by HCW are in disabled state"? What do I need to do to enable the Inbound Connector by HCW?
In connectors created via EAC (Exchange Admin Center) or PowerShell cmdlet, customers that experience this behavior must contact Microsoft support. With a business justification to, enable an Inbound connector of OnPremises type for hybrid use within their tenant.
Microsoft Support, as usual, does not know what to do. Our case has been active since last Friday.With tenants we created on April 3 and 4th. HCW can not even connect to the Exchange Online Service. Logfiles tell us this:
2023.04.05 09:38:44.522 *ERROR* 10085 [Client=UX, Activity=Tenant Connection Validation, Thread=20] Connecting to remote server failed with the following error message: Connecting to remote server outlook.office365.com failed with the following error message : Bad Request For more information, see the about_Remote_Troubleshooting Help topic. ####This error can be reproduced by running this command in powershell with ExchangeOnlineManagement Module installed:PS C:\Users\administrator.GARANT> Connect-IPPSSession -ConnectionUriConnecting to remote server outlook.office365.com failed with the following error message : For more information, see the
about_Remote_Troubleshooting Help topic.At C:\Program Files\WindowsPowerShell\Modules\ExchangeOnlineManagement.1.0\netFramework\ExchangeOnlineManagement.psm1:733 char:21+ throw $_.Exception;+ ~~~~~~~~~~~~~~~~~~ + CategoryInfo : ResourceUnavailable: (:) [], ParentContainsErrorRecordException+ FullyQualifiedErrorId : System.Management.Automation.Remoting.PSRemotingDataStructureExceptionUsing the exact same command on the same machine in the same powershell session with credentials from an older tenant (like the one created on March 25th) works fine. No Problems. So there is something different on all tenants created around April 3/4. We already checked the users, especially the Option RemotePowerShellEnabled. We also compared all properties of a working user with a non-working user: No difference in any setting but ids and names. Has anybody experienced something like this or has successfully navigated microsoft support? We currently have six open support cases for different tenants, since you have to create one per tenant and we are currently trying to tell the engineers that there are no tls or permission issues on our side. As usual they give us 20+ questins and links to support articles, that are not relevant here. They do not even understand the Q&A from their own site…
Ein Benutzer mit dem Namen unamused443, der das Attribut MSFT besitzt, hat dann (wenige Stunden, bevor der Blog-Beitrag von mir verfasst wurde) folgendes geantwortet:
We will have a fix in HCW soon to address scenarios where tenants created in April (and later) cannot connect because of RPS deprecation. Until then, this should get you unblocked:
Deprecation of Remote PowerShell in Exchange Online – Re-enabling or Extending RPS support
Der Microsoft-Mitarbeiter verweist also auf das Thema Remote PowerShell in Exchange Online, welches ich kürzlich im Blog-Beitrag Remote PowerShell bekommt Gnadenfrist in Exchange Online behandelt hatte. Hier verweise ich darauf, dass Administratoren nur einmal im Jahr ein Aussetzen der Remote PowerShell Deaktivierung beantragen können. Blog-Leser Christian schrieb mir dazu in einer Ergänzungsmail noch folgendes:
Reddit war hier übrigens schneller als die Microsoft Support Cases. Da bekomme ich nur ständig den Hinweis, dass noch keine Antwort von der Fachabteilung vorliegt. Das hören wir in einem anderen Fall wegen Update Problemen auch schon zweimal wöchentlich seit dem 13.1.2023.
Leider muss ich feststellen, dass fast jeder Sysadmin, der Windows einmal gesehen hat, qualifizierter ist bzw. mehr Kompetenzen hat ist als die Ansprechpartner beim Hersteller des Produkts. Das wird immer frustrierender, genau wie die MS KB Artikel die immer häufiger Schritte auf abgeschafften Administrationsseiten beschreiben bzw. Seiten verlinken, die gar nicht mehr funktionieren…
Beim letzten Fall hat mich der Ansprechpartner tatsächlich gefragt, wie man Bilder öffnet, zusammen mit einem Screenshot von seinem Windows PC mit der Fehlermeldung des Dateihandlers..
Vielen Dank nochmal für den Blog und die Artikel. Ihre Seite hat uns schon oft wertvolle Lösungen und Hinweise geliefert. Sie verpacken die Informationen unendlich viel sinnvoller als Microsoft das tut.
Mal schauen, ob es weitere Hinweise aus der Leserschaft zu diesem Thema gibt. Wenn ich so von extern auf das Thema schaue, werde ich das Gefühl nicht los, dass die Microsoft Cloud den Administratoren und auch den Microsoft-Supportern langsam aber sicher entgleitet und zur Black Box mutiert. Die Entwickler basteln irgendwo eine Änderung rein und mit den Folgen sind Administratoren sowie Supporter dann alleine gelassen.
2015
Microsoft und deren Support ist ein einziges Desaster.
In einem Monat nach Erstellung bekommt man die Antwort, das Ticket wurde schon gelesen und sie braucht Logs (die beim Ticket eröffnen beigefügt gewesen sind. Leider kann der Supporter nicht darauf zugreifen oder hat es nicht gesehen, auch wenn im Ticket steht, bitte Anhang lesen).
Zusätzlich is dann das Problem, dass es zu lange her ist und nichts mehr geprüft werden kann.
Ein komplettes Versagen ist das.
Geschweige denn (falls eine ordentliche Antwort kommt), dass die vorhandenes immer wieder erneut anfragen (Die Antwort stand bereits in der letzten Mail,..)
Läuft so gut wie deren Patch Management.
/nicht
Hier ein Rant von Tony Redmond zum Thema 1:
"Exchange Online Disables New Inbound Connectors"
Exchange Online Disables New Inbound Connectors
Hier der Hinweis von MS zum Thema 2:
Hybrid Configuration Wizard (HCW) might fail if the tenant is created after start of April
Deprecation of Remote PowerShell in Exchange Online – Re-enabling or Extending RPS support
Deprecation of Remote PowerShell in Exchange Online – Re-enabling or Extending RPS support
Das ist seit letztem Jahr bekannt und wurde vor einem Monat nochmal aktualisiert…
Und ein "Experte" mit hunderten Migrationen sollte ja wohl mehr wissen als ein 1st level Supporter, 1st Level Wissen kann sich jeder mit google aneignen.
Das ist generell ein Fall für das Produkt Team vom HCW die den Change verpennt haben, kein Fall fur den 1st Level…
Ich stimme Ihnen zwar zu, dass man vom 1st Level keine Wunder erwarten darf, allerdings sollten die Leute da wenigstens so kompetent sein, dass Sie wenigstens in die richtige Richtung weisen können.
Allerdings scheint deren KB leider auch nicht besser zu sein, als die von uns externen, weshalb das Problem hier defintiv mal wieder im Management liegt, daher geht es m.E. meist auch schief.
Meine Erfahrungen sind, dass wenn man nicht direkt mit dem 3rd-Level von MS zu tun hat, man den Rest vergessen kann. Entweder man hat seine IT an einen ordentlichen IT-Partner ausgelagert, der sich dann (hoffentlich) zusammen mit seinen MS-Partner am MS-Support abarbeitet, oder man ist so ein Umsatzstarkes Unternehmen, dass man noch seinen festen Ansprechpartner bei MS hat.
Wenn man tatsächlich direkt auf den Support von MS angewiesen ist, brauch man genauso Glück wie bei der DATEV, dass man wenigstens ab den 2nd-Level Support einen fähigen Menschen hat, oder man hat Glück und landet direkt bei 3rd-Level. – Bei letzteres sitzt, in beiden Fällen, immer noch die gebalte Kompetenz. – Noch.
Es wird nicht besser – meine Theorie: Das Ganze IT-Umfeld wird komplexer und ist inzwischen nicht mehr wirklich beherrschbar. Ich erlebe es als Blogger doch ständig: Ich berichte ja relativ breit und postet die Verweise auf die Artikel dann in diversen geschlossenen Facebook-Gruppen. Es kommt garantiert jemand aus der Spezialisten-Ecke mit der Aussage "Tja, das steht da und da, hätte man lesen müssen". Das Problem: Auf dem speziellen Gebiet ist er Spezialist – sobald es aber etwas auf Nebengleise führt, muss der Betreffende dann auch passen. Der Administrator hat in vielen Fällen aber nicht nur seine Spezialecke, sondern ein breites Feld zu beackern. Und die Supporter in den Firmen haben auch längst den Überblick verloren, was in den heiligen Hallen der Entwicklung da gedeichselt wurde. Folglich fällt man an allen Stellen auf den Bauch.
Und mit dem Thema Cloud und Microsofts Produktportfolio wird das noch ein Stück komplexer – da blickt von den Generlisten kaum noch jemand wirklich durch. Und on Top darf das Marketing seine Schlenker durchdrücken und das Management hat "as a service" verordnet, wo ständige Änderungen an der Tagesordnung sind – leider ohne Dokumentation und mit zahlreichen Fehlern, weil etwas gerade mal nicht passt oder nicht berücksichtigt wurde. Ein Teufelskreis …
Als mittelgroßes Unternehmen bezahlen wir zusätzlich zu den MS365-Lizenz-Millionen einen externen IT-Partner, der uns bei Incidents mit MS 365 unterstützt. Der Standard-Support bei MS ist unterirdisch schlecht und man hat keinerlei Handhabe zur Eskalation. Die fremdsprachigen Supporter aus aller Herren Länder gehen stur nach "Action plan" vor, sei die Situation noch so klar.
Ich frage mich, wie das andere Unternehmen handhaben?
Nur so eine Kleinigkeit.
AAD Connect V 1.x ist seit 31. August 2022 nicht mehr supported.
Azure Active Directory (AD) Connect
Meines Wissens kann man Exchange 2013 garnicht nach Online migrieren, man muss mindestens auf Exchange 2016 sein, möglichst mit dem aktuellen CU und sonstigen KBs.
Geht ab Exchange 2003.
Migrate email to Exchange Online using the Exchange cutover method
Kann das Problem bestätigen. Exchange 2016, Tenant angelegt nach dem 01.04.2023.
Über *https://aka.ms/PillarEXORPS kann RPS wieder aktiviert werden.
Danach geht auch die Verbindung über
Connect-IPPSSession -ConnectionUri und der Hybrid Wizard läuft durch.
Solution for "Connecting to remote server outlook.office365.com failed with the following error message"
Troubleshooting Office 365 Hybrid Configuration – Issues with new tenants and deprecated Remote PowerShell RPS
Das war die Lösung! Danke.
*ttps://aka.ms/PillarEXORPS
Der Bug ist immer noch aktiv. Der Tenant existiert bereits seit 2020, aber MS hat vorauseilend RPS abgeschaltet.
Bei mir standen hinter dem Erorr-Code noch hübsche Zeichen die scheinbar Zufall sind: "Beim Verbinden mit dem Remoteserver "outlook.office365.com" ist folgender Fehler aufgetreten: 䖈翹"