(Update August 2024) M365 Copilot: Erfahrungsbericht nach 6 Wochen Praxiseinsatz | Productivity News vom März 2024

Die Freude über den M365 Copilot Release war gross. Ich konnte es kaum erwarten, ihn nach einem Jahr des Dauerhypes endlich selber zu testen. In diesem Blog berichte ich von unseren M365 Copilot Erfahrungen und zeige auf, was er kann und was nicht. Spoiler: Die Testbilanz fällt nicht so positiv aus, wie ich es mir erhofft hätte.

Copilot Erfahrungs-Update August 2024

In den vergangenen Monaten habe ich den Copiloten punktuell benutzt, aber keine wirklich nutzenstiftenden Ergebnisse bekommen. Dadurch hat er sich nicht in meinen Arbeitsalltag integriert.

• Die Performance des Copiloten in Excel hat spürbar zugenommen. Fehlermeldungen kommen jetzt keine mehr und er macht auch häufiger korrekte Berechnungen und trifft bessere Entscheidungen.
• In PowerPoint ist keine Veränderung feststellbar. Nach wie vor schwankt die Ergebnisqualität stark.
• Mehrere Tests des Copiloten in Teams haben keine zufriedenstellenden Ergebnisse geliefert.

Am vergangenen Community-Event haben wir den Copiloten live am Bildschirm demonstriert. Hier die Aufnahme:

Copilot-Testing anhand realistischer Szenarien

In einer frühen Phase meiner Berufskarriere war ich als Verkaufsassistent tätig. Meine Aufgabe war es, für die Verkaufsmeetings die aktuellsten Zahlen in Excel aufzubereiten, zu visualisieren und die Präsentationen in PowerPoint für die Sitzungen damit zu befüllen. Die Verkaufsmeetings durfte ich in Word protokollieren und die wichtigsten Erkenntnisse zuhanden des Verwaltungsrates zusammenfassen. Auf dieses Szenario habe ich einen grossen Teil meines Testings fokussiert.

Viele weitere Inputs und Erkenntnisse wurden mir von meinen Kollegen zugespielt.

Erfahrungen mit dem Copiloten in den M365-Apps

M365 Copilot Praxistest und Erfahrungen in Excel

In Excel ist das Potential für die Produktivitätssteigerung enorm. Das Tool ist sehr mächtig, es kann aber auch dementsprechend schwierig in der Handhabung sein.

Ich habe eine Liste mit Verkaufsdaten aus den Jahren 2022 und 2023 geöffnet. Sie enthält rund 14’000 Zeilen und sieht aus wie der Datenexport aus einem ERP-System. Darin kommen typische Spalten vor wie Datum, verkauftes Produkt, Standort, verkaufte Menge, Stückpreis, Rabatt, Gesamtumsatz.

Das Ziel des Tests: Möglichst schnell und mit möglichst wenig Handgriffen möchte ich an die wichtigsten Erkenntnisse herankommen: Die Verkaufsperformance der Produkte im Jahresvergleich und Verkaufsperformance der Standorte im Jahresvergleich.

Als allererstes meldet der Copilot zurück, dass die Tabelle mehr als 2 Millionen Zellen enthält und deshalb für die Analyse zu gross ist:

In meiner früheren Tätigkeit als Verkaufsassistent hätte das nicht gereicht. Dort sind die Excel-Exporte mit den Verkaufsdaten jeweils um die 60’000 Zeilen lang gewesen mit Dutzenden von Spalten. Die Auswertungen und Visualisierungen für die grossen Quartalverkaufsmeetings hatten mich tagelang beschäftigt.

Ich öffne also ein reduziertes Excel mit weniger als 2 Millionen Zeilen und mache mich ans Prompting.

Der Prompt: Füge ein neues Tabellenblatt ein und erstelle dort eine Grafik, die mir die verkaufte Anzahl an Kaffeemaschinen zeigt im Vergleich 2022 zu 2023.

Die Rückmeldung: Ich entschuldige mich, aber ich kann leider keine Grafiken erstellen oder Tabellenblätter einfügen. Vielleicht können Sie die Grafik manuell erstellen, indem Sie die Daten aus der Tabelle filtern und dann ein Diagramm in Excel einfügen.

So ergeht es mir die meiste Zeit. Der Copilot in Excel meldet sehr häufig zurück, dass er die gewünschten Aktivitäten nicht ausführen kann. Erst dann, wenn ich die von Copilot selber vorgeschlagenen Prompts verwende, bekomme ich Ergebnisse.

Diese Ergebnisse helfen mir jedoch nicht weiter, Erkenntnisse zur Verkaufsperformance von Produkten oder Standorten gewinnen zu können. Um diese Informationen ermitteln zu können, bleibt mir nichts anderes übrig, als eigenhändig die Berechnungen aufzubauen.

Über mehrere Prompt-Iterationen taste ich mich immer näher heran. Als ich mit den exakten Spaltenbezeichnungen arbeite, versteht mich der M365 Copilot plötzlich und generiert eine Summewenn-Formel. Aus unerklärlichen Gründen fügt mir der Copilot die Texte aus unserer Konversation mitten in die Datentabelle ein und überschreibt die vorhandenen Werte.

Fazit zum Copiloten in Excel

Der Copilot in Excel hat mir in den Tests nicht dabei helfen können, möglichst effizient an die wichtigsten Erkenntnisse aus den Verkaufsdaten zu gelangen. Ich erstelle die Pivot-Tabellen und Visualisierungen von Hand.

• Leider versteht der Copilot nur ganz wenige der «Freiform-Prompts». Ein kreatives Vor und Zurück, wie ich es von ChatGPT kenne, ist nicht möglich
• Die von ihm selbst vorgegebenen Prompts funktionieren zwar, liefern aber nur sehr oberflächliche Erkenntnisse
• Während der Copilot in Excel im Januar noch oft zurückmeldete, dass er den Prompt nicht verarbeiten und ich es später nochmals probieren solle, ist er im Februar spürbar «performanter» geworden.
• Copilot zeigt sogar kontraproduktives Verhalten, wenn er aus dem Nichts heraus Tabelleninhalte überschreibt

M365 Copilot Praxistest und Erfahrungen in PowerPoint

Das Ziel des Tests: Mit möglichst effizientem Aufwand soll eine Verkaufspräsentation entstehen, welche eine sinnvolle Struktur hat und die in Excel erstellten Grafiken enthält.

Als Erstes bitte ich den Copiloten, aus der Excel-Datei eine Präsentation zu erstellen. Da es in der geöffneten Präsentation bereits Slides drin hat, fragt mich der Copilot, ob ich eine Kopie speichern oder einen neuen Entwurf erstellen möchte. Allerdings weist er mich nach einigen Sekunden darauf hin, dass ich für Präsentationen doch bitte Worddokumente als Basis verwenden möge.

Also lege ich selber eine neue Präsentation an und bitte Copilot, eine Titelfolie und eine Agendafolie anzulegen und gebe ihm die Inhaltspunkte für die Agenda. Der Copilot meldet zurück, dass er diese Folien nicht für mich erstellen kann.

Beim Testing in Excel habe ich herausgefunden, dass der Copilot besser funktioniert, wenn man sich an die von ihm selbst gemachten Promptvorschläge hält. Also klappe ich die Promptbibliothek «Copilot Lab» auf und wähle «Agenda hinzufügen».

Copilot fügt eine Folie mit dem Titel Inhalt ein und setzt einige Agendapunkte drauf. Erneut beschreibe ich im Prompt in maximaler Präzision, dass die Agendapunkte angepasst werden sollen. Das funktioniert so halb, wie auf dem Screenshot zu erkennen ist:

Jetzt wird’s wild: Von Hand passe ich die Agenda-Folie an und bitte Copilot, für jeden Agendapunkt eine Folie einzufügen. Ich achte erneut auf eine präzise Schreibweise. Copilot droppt mir 11 Folien rein: Von einer neuen Titelfolie über eine neue Agendafolie bis hin zu den 9 gewünschten Inhaltsslides in unterschiedlichsten Layouts. Manche bebildert, manche nicht.

Diesen Test habe ich mehrmals wiederholt und mehrfach unterschiedliche Ergebnisse bekommen. Das Problem ist, dass mir der Copilot mehr Arbeit macht, als dass er mir Arbeit abnimmt. Die Bilder sind von ganz anderen Orten als die genannten Städte in den Titeln, die Folien haben unterschiedliche Layouts.

Bild anklicken, um den Scrollshot der halluzinierten Folien zu öffnen👇

Fazit zum Copiloten in PowerPoint

Nach Excel komme ich auch in PowerPoint zum Schluss, dass mir der Copilot beim Ziel nicht helfen kann, mit möglichst effizientem Aufwand zu einer Verkaufspräsentation zu kommen.

• Viele der nötigen Schritte kann Copilot nicht ausführen, ich muss die Präsentation von Hand aufbauen
• Prompts erfordern eine äusserst genaue Bezeichnung der Elemente, damit Copilot halbwegs etwas ausführen kann. Ich öffne das Auswahlmenü, um zu sehen, welche Nummern die Elemente und Textfelder auf den Folien tragen
• Mit Prompts aus der Prompt-Bibliothek funktioniert es etwas besser. Die Prompt-Bibliothek ist via Buch-Symbol im Prompt-Eingabefeld aufzurufen
• Von Test zu Test hat der Copilot unterschiedliche Inhalte herbeierfunden und in die Slides eingefügt. Das steigert meine Produktivität nicht, ich muss sein Durcheinander aufräumen.

M365 Copilot Praxistest und Erfahrungen in Word

Die Verkaufszahlen wurden im Verkaufsmeeting durchdiskutiert und in Word habe ich das Gesprächsprotokoll geführt. Dazu bedarf es lediglich einer kontinuierlichen Aufmerksamkeit und einer schnellen Schreibe auf der Tastatur. Intensive Arbeiten in Word sind kaum nötig, da ich die Protokollvorlage dazu nutzen kann. Einen wichtigen Task gibt es jedoch: Das Managementsummary zuhanden des Verwaltungsrates.

Das Ziel des Tests: Durch den M365 Copiloten in Word automatisch eine Zusammenfassung der wichtigsten Punkte aus dem Gesprächsprotokoll generieren lassen.

Im ersten Versuch gebe ich den Prompt direkt in das Eingabefenster ein, welches ich mittels des kleinen Copilot-Symboles in der Word-Zeile öffnen kann. Copilot legt los, fasst jedoch nur die Inhalte des letzten Abschnittes zusammen.

Der gleiche Prompt im Chat-Fenster funktioniert besser. Copilot generiert mir eine kurze Bulletpoint-Liste und verweist sogar auf die Stellen im Dokument, von wo er die Infos hat. Mir fehlt allerdings der inhaltliche Gehalt und ich prompte den Copiloten, er solle die konkreten Zahlen und Fakten integrieren und eine neue Zusammenfassung generieren. Und siehe da – es klappt 👏

Der Copilot bietet sogar genau den gewünschten Folgeprompt an: Weitere Details in die Zusammenfassung aufnehmen.

Zusatztest: Formatieren in Word

Eine grosse Chance für die Produktivitätssteigerung in Word sehe ich im Formatieren der Inhalte. Das Hantieren mit Formatvorlagen, Überschriften und sonstigen Formatierungen fühlt sich manchmal unglaublich mühselig an. Wie genial wäre es, wenn dies in Zukunft dem Copiloten überlassen werden könnte.

Auch diesen Fall habe ich getestet. Als Resultat hat Copilot den Inhalt des Dokumentes im Chatfenster neu reproduziert und tatsächlich formatiert. Allerdings bricht er mitten im Text ab, auch bei mehrmaligem Testen. Schön wäre gewesen, wenn Copilot diese Formatierungen direkt im Dokument vorgenommen hätte. In der jetzigen Form muss der Inhalt ja dann doch wieder aus dem Chat ins Dokument übertragen werden, was das filigrane Gefüge aus Word-Formatierungen wieder ins Wanken bringt.

Fazit zum Copiloten in Word

Zum ersten Mal im getesteten Szenario hat der Copilot tatsächlich einen Nutzen generiert.

• Bei der Arbeit in Word werden die Fähigkeiten aus ein bisschen GPT-4 spürbar.
• Der Copilot konnte den Textinhalt zusammenfassen und auf die Quellpassagen im Fliesstext verweisen.
• Die meiste Action findet im Chatfenster statt. Gerade bei den Formatierungen wäre es praktisch, wenn der Copilot dies am tatsächlichen Inhalt wahrnehmen könnte.
• Stark ist der Copilot im freien Generieren von Inhalten. Doch hier stellt sich die Frage, welchen Nutzen dies im Business-Kontext generiert.
• Genau wie in den anderen Tools spuckte der Copilot auch in Word immer Mal wieder Fehlermeldungen aus.

M365 Copilot Praxistest und Erfahrungen in Microsoft Teams

E-Mail-Konversationen zusammenfassen

Worin der M365 Copilot wirklich stark ist, ist das Zusammenfassen von E-Mail-Konversationen und das Ableiten von offenen Folgeaktionen. Dass ich das besagte Bild bereits gesendet habe, dazu sagt der Copilot nichts. Das lassen wir ihm durchgehen ;-).

Meetings in Teams transkribieren und dazu Auskunft geben

Positiv überrascht waren wir von der Fähigkeit des Copiloten, Teams-Meetings zu transkribieren und anschliessend dazu Auskunft zu geben.

In Echtzeit schreibt der Copilot mit, was wir im Teams-Meeting besprechen. Wichtig ist, dass das Meeting in Schriftdeutscher Sprache abgehalten wird. Obwohl wir von Tests mit ChatGPT wissen, dass GPT Schweizerdeutsch überraschend gut versteht, kann der Copilot Mundart-Meetings nicht nutzenstiftend transkribieren.

Im Nachgang steht das Transkript zur Verfügung und kann befragt werden:

• Welche Punkte wurden besprochen?
• Gibt es offene Aufgaben?
• Wie war die Stimmung?
• Welche Personen wurden erwähnt?

Solche Fragen kann der Copilot recht gut beantworten.

Nach Dokumenten oder anderen Inhalten suchen

Auch hier liegt eine Stärke des Copiloten. Er findet sehr vieles aus den Weiten des M365-Tenants. Allerdings ist es für uns nicht immer nachvollziehbar, wie der Copilot die Suchresultate priorisiert. Folgendes haben wir beobachtet:

• Listet Dokumente auf, die vor mehreren Jahren zum letzten Mal genutzt wurden
• Führt bei «zuletzt bearbeitet durch» Personen auf, welche das Unternehmen seit mehreren Jahren verlassen haben
• Eine genaue Bezeichnung des gesuchten ist wichtig. Zum Begriff «Mediadaten» findet er nichts, zum korrekten Begriff «Mediendaten» wird er fündig

Allgemeine Produktivarbeit mit dem Copiloten in Teams

Direkt im Copilot-Chat in Teams habe ich den Copiloten eine PowerPoint-Folie erstellen lassen. Den Link dazu hat er aus Sicherheitsgründen aber direkt wieder entfernt

Leider kann der Copilot keine PDFs lesen:

Erkenntnisse aus dem Copilot Testing

• Es ist wichtig, sehr genau sein. Das bedeutet, die exakten Begriffe der Elemente zu benutzen und in PowerPoint beispielsweise konkret von der «Textbox 5» zu sprechen.
• Mit den vorgefertigten Prompts entstehen Resultate mit einer besseren Qualität. Dazu stellt der Copilot eigens eine Promptbibliothek namens «Copilot Lab» zur Verfügung. Diese ist via des Buch-Symboles im Copilot-Chat abrufbar.
• Die inkonsistenten Resultate und die qualitativ tiefe Performance schrecken mich ab
• Halluzinierte Inhalte in PowerPoint generieren Mehraufwand. In Excel überschreibt der Copilot Daten in den Quelltabellen und verunmöglicht das Arbeiten damit sogar.
• In Word «drücken» die beeindruckenden Fähigkeiten von GPT-4 hindurch. Aber nur ein bisschen.
• Der Copilot fühlt sich «buggy» (fehlerhaft) an. Regelmässig kommen Entschuldigungen, man möge es später nochmals probieren oder es frieren gar die Chatfenster ein.
• Das Zusammenfassen von E-Mail-Verkehr habe ich als einzigen wirklich nutzenstiftenden Usecase identifiziert.

Copilot Fazit: Grosse Diskrepanz zwischen dem Versprochenen und dem Gelieferten

Leider kommen wir zum Schluss, dass eine grosse Lücke besteht zwischen dem, was Microsoft vom März 2023 bis zum Copilot-Release (ohne 300er-Lizenzhürde) im Januar 2024 beworben hat und dem, was tatsächlich ausgeliefert wurde.

Ich bin mitschuldig am Aufhypen – habe ich doch vor einem Jahr selber davon gesprochen, dass sich mit dem M365 Copilot eine «Revolution» anbahne, habe mit Reto im Podcast diskutiert und sogar schon ein Community-Referat gemacht. Auf diese Revolution müssen wir noch etwas länger warten. Es lässt sich nach wie vor nur erahnen, was der Copilot dereinst für uns in der M365-Welt wird leisten können.

Aktuell sind die generierten Inhalte nur sehr oberflächlich und die ausgeführten Arbeiten von geringer Qualität. In einigen wenigen Fällen hat der Copilot gar Mehraufwand verursacht.

Wie viel Copilot-Interesse vom Markt an uns herangetragen wird

Aus dem Kreis unserer Kundinnen und Kunden wird punktuell Interesse signalisiert. Einzelne Unternehmen haben einige wenige Lizenzen zugelegt und sind den Copiloten für sich am Testen.

Der Blogbeitrag vom März 2023 hat ein enormes Echo ausgelöst. Er wurde über eine halbe Million Mal in den Google Suchresultaten ausgespielt und über Zehntausend Mal angeklickt.

Das gleiche Bild zeigte sich in den Umfragen zu unseren Community-Events. Wenn der M365 Copilot auf der Agenda stand, wurde er jedes Mal als besonders interessantes Referat gewählt.