ChatGPT Integration in ProCall
Januar 2024
ProCall 8 Enterprise ab 8.3.0
Weiterentwicklung und Verbesserungen ab Version 8.3.4
estos unterstützt ab ProCall 8 Enterprise V. 8.3 eine Schnittstelle/API zu Drittanbietern für ChatGPT (derzeit OpenAI und Microsoft mit Azure OpenAI Service) .
Für die Nutzung von ChatGPT und den direkten Zugriff auf KI (Künstliche Intelligenz) gelten gesetzliche Vorgaben und die Nutzungsbedingungen/Nutzungsrichtlinien der Drittanbieter, insbesondere, wenn es um den Zugriff auf und die Verwendung ihrer API geht.
estos kann durch die Unterstützung der API bei allen Angaben zu aktuellem gesetzlichen Stand oder zum Angebot der Drittanbieter wie beispielsweise Nutzungsbedingungen/Funktionsumfang/Hosting-Modelle/Preisangaben keine Gewähr leisten für Aktualität, Vollständigkeit und Richtigkeit.
Wir stellen Ihnen die folgenden Informationen mit unserem aktuellen Kenntnisstand als Hilfestellung zur Verfügung - ohne Anspruch auf Aktualität, Vollständigkeit und Richtigkeit.
Einleitung
Integration von KI in ein Chatsystem
Die Integration künstlicher Intelligenz (KI) wie ChatGPT in gewohnte Chatsysteme bietet Unternehmen eine Fülle von Möglichkeiten: Chatbots sind in der Lage, konstante und zügige Antworten auf Anfragen zu liefern und eine Vielzahl von Aufgaben zu bewältigen, von einfachen Informationsanfragen, Übersetzungen bis hin zu komplexen Unterstützungsanfragen. Durch die bidirektionale Kommunikation können Ausgabeergebnisse im Dialog durch erneute Anfragen konkretisiert und zum Beispiel im Sprachstil verändert oder an ein Experten-Niveau angepasst werden.
Zentral eingerichtet für die Benutzer verfügbar
Dadurch, dass die Einrichtung zentral auf dem Server der Chatanwendung stattfindet, wird den Benutzern ein nahtloser und reibungsloser Prozess geboten, da sie sich nicht um technische Aspekte wie Einrichtung, Kosten oder API-Schlüssel kümmern müssen. Dies ermöglicht es Unternehmen, diesen Service ohne zusätzlichen Aufwand oder technischen Kenntnisse für ihre Nutzer bereitzustellen.
Darüber hinaus ermöglicht die zentrale Servereinrichtung ein effizientes Kostenmanagement. Unternehmen können für die Nutzung von ChatGPT die Budgetierung und Kostenkontrolle überwachen und steuern.
ChatGPT Integration in den ProCall Chat
Ab ProCall Enterprise 8.3.0 unterstützt ProCall die Integration von ChatGPT über die Schnittstelle der Anbieter OpenAI und Microsoft mit Azure OpenAI Service. Für die zentrale Einrichtung am UCServer ist der sog. API-Schlüssel (API key) notwendig, für den bei den KI-Plattformen (Drittanbietern) ein Account eingerichtet sein muss. Für den Account gelten die Bedingungen des Drittanbieters.
Der Chatbot selbst kann damit über die Schnittstelle als eigener ProCall Benutzer aktiviert werden, so dass andere (entsprechend berechtigte) ProCall Benutzer im Unternehmen ChatGPT direkt aus der ProCall Oberfläche im Chat und im GruppenChat mit ihren Anfragen "anchatten" und ihre Anfragen stellen können.
Preview: DALL-E für Bildergenerierung
Über DALL-E von OpenAI können aus Textbeschreibungen Bilder erstellt werden.
Zum Release 8.3.0 von ProCall Enterprise haben wir bereits eine Vorschau der DALL-E Integration zur Nutzung eingebaut.
Voraussetzungen
ProCall Enterprise ab Version 8.3.0
- Account und API-Schlüssel (API key)
bei OpenAI oder Microsoft Azure OpenAI Service (nur als Preview verfügbar, Stand 19.10.2023) für ChatGPT und optional DALL-E - Erreichbarkeit der REST-API Endpunkte vom UCServer aus
- Verfügbare Funktionen der API
- Chat Completions (auch umgangssprachlich "ChatGPT" genannt)
- optional: Generate Image (DALL-E)
- Benutzerkonto in der UCServer Benutzerverwaltung, welches für den Chatbot steht
Drittanbieter KI-Plattformen für ChatGPT
OpenAI und Microsoft Azure OpenAI/Cognitive Service sind unterschiedliche KI-Plattformen mit unterschiedlichen Modellen für zum Beispiel Hosting, Preisgestaltung und Datenschutzrichtlinien.
OpenAI
OpenAI hat Hauptserver-Standorte in den USA.
OpenAI arbeitet an Datenschutz und plant, weitere Rechenzentren in anderen Ländern zu eröffnen.
Microsoft Azure OpenAI
Azure OpenAI/Cognitive Service verfügt über globale Rechenzentren.
Azure OpenAI Service bietet Datenhosting in verschiedenen Regionen und hat strenge Datenschutzrichtlinien mit Compliance-Zertifizierungen wie der DSGVO.
Einrichtung der Schnittstelle über API Schlüssel (API key)
Microsoft Azure OpenAI Service
Da sich Microsoft Azure OpenAI Service noch in einem Preview befindet, können wir keine Anleitung für den Zugriff auf Azure OpenAI zur Verfügung stellen.
Bitte richten Sie sich nach der Dokumentation von Microsoft: https://learn.microsoft.com/de-de/azure/ai-services/openai/overview
Eine Übersicht der verfügbaren Modelle finden Sie hier: https://learn.microsoft.com/de-de/azure/ai-services/openai/concepts/models
OpenAI
Die Schritte zum Erstellen eines OpenAI API-Schlüssels (ChatGPT) können variieren, da sie vom Zeitpunkt und den Richtlinien der Plattform abhängen.
Beachten Sie dafür ggf. die OpenAI Dokumentation oder den OpenAI Hilfebereich für genauere und detailliertere Schritte.
Im Allgemeinen können Sie jedoch die folgenden Schritte absolvieren:
- Besuchen Sie zuerst die OpenAI Website.
- Melden Sie sich an oder erstellen Sie ggf. ein neues Konto.
- Nach dem Anmelden/Erstellen Ihres Kontos navigieren Sie zu Ihrem Dashboard.
- In Ihrem Dashboard sollten Sie den Abschnitt "API-Schlüssel" sehen.
- Klicken Sie auf "Neuen API Key erstellen" oder Ähnliches (Die Benennung kann variieren).
- Sie werden wahrscheinlich aufgefordert, die Erstellung zu bestätigen oder zusätzliche Informationen einzugeben.
- Nach der Bestätigung sollte Ihr neuer API-Schlüssel generiert und auf dem Bildschirm angezeigt werden.
Vergessen Sie nicht, Ihren API-Schlüssel sicher aufzubewahren und nicht mit anderen zu teilen, da er Zugriff auf Ihre Daten erlauben könnte.
Die Kosten für die Nutzung der OpenAI API können je nach der Menge der genutzten Token und anderen Kriterien variieren.
Hier eine allgemeine Anleitung zum Verständnis des Preismodells:
- Besuchen Sie die OpenAI Webseite.
- Klicken Sie auf "Preise" oder Ähnliches in der Menüleiste. Beachten Sie, dass die genaue Benennung abweichen kann.
- Hier sehen Sie die verschiedenen Preismodelle. Bei OpenAI gibt es einen separaten Preis für den Research- und Produktionszugang.
- Der Preis wird in der Regel pro Token berechnet. Sowohl die Eingabe- als auch die Ausgabetoken, die Sie in Ihren Anfragen verwenden, zählen für die Gesamtkosten Ihrer API-Nutzung.
- Beachten Sie auch, dass die Wartezeit für die Generierung der Token ebenfalls in Rechnung gestellt wird.
Bitte beachten Sie, dass die Preise und die Preisstruktur variieren können. Es ist immer empfehlenswert, die neuesten Informationen auf der OpenAI Preisinformationsseite zu überprüfen.
Zudem empfehlen wir, die OpenAI Dokumentation zu lesen, die ausführliche Informationen über Preisgestaltung und Berechnung der Token enthält.
Es ist wichtig, alle Bedingungen und Details genau zu verstehen, bevor Sie den Service nutzen.
Wenn Sie Fragen zu Ihrer spezifischen Situation haben, können Sie auch den OpenAI-Support kontaktieren.
UCServer
Chatbot als Benutzer am UCServer anmelden
Für die Integration muss zwingend ein Benutzer in der Benutzerverwaltung des UCServer verfügbar sein, der für den Chatbot steht. Die ChatGPT Integration wird sich mit den Anmeldedaten dieses Benutzers als Client am UCServer anmelden und kann dann von den berechtigten ProCall Benutzern angechattet werden.
Bei Benutzerverwaltung über Active Directory (AD) sollte ein Service-Benutzer angelegt werden, dessen Passwort sich nicht ändert.
Vergeben Sie für den Benutzer einen passenden Anzeigenamen, damit er von den anderen ProCall Benutzern leicht gefunden wird. Sie können zusätzlich auch ein passendes Kontaktbild vergeben.
Berechtigung für ProCall Benutzer aktivieren
Bitte beachten Sie, dass die Oberfläche in der UCServer Verwaltung zum Punkt ChatGPT Integration in späteren Versionen noch überarbeitet wird.
Starten Sie die UCServer Verwaltung und aktivieren Sie den Benutzer.
Stellen Sie in den Dienst-Berechtigungen sicher, dass der Benutzer das Recht hat, Chats zu starten.
Stellen Sie außerdem sicher, dass Sie in den Basis-Diensten des UCServers den Chat auch nicht global deaktiviert haben.
Zugangsdaten und API-Schlüssel eingeben
Jetzt gehen Sie in der Baumstruktur der UCServer Verwaltung links zum Punkt "ChatGPT Integration".
Geben Sie die Zugangsdaten unter Benutzername und Kennwort sowie den ausgestellten API-Schlüssel (API key) ein.
Bei OpenAI Integration lassen Sie die Resource-URI leer.
Bei Azure OpenAI Integration geben Sie hier die URL des Endpunktes der API an:
Dieser ist im Azure Portal im Bereich "Azure OpenAI" angelegt worden und hat z. B. diese Form: https://[NAME_DER_RESSOURCE].openai.azure.com/
Bei Deployment/Model geben Sie das zu verwendende Model bei OpenAI ein, welches für Ihren API-Key freigeschalten wurde.
Die genauen Bezeichnungen finden Sie in der Dokumentation https://platform.openai.com/docs/models, also z. B.:
- gpt-3.5-turbo
- gpt-3.5-turbo-16k
- GPT-4
Im Falle von Azure OpenAI Service geben Sie den Bereitstellungsnamen an:
Dies ist der Name, der im Azure OpenAI Studio erstellt wurde, z. B. "chatgpt4test"
Keywords/Stichwörter als Tags für den Chatbot vergeben
Unter Keywords können Sie Stichwörter für das Taggen des Chatbots in Gruppenchats vergeben. (Mehr dazu im Bereich "Aus Sicht des Benutzers").
Vergeben Sie z. B. ein Keyword, wie den Anzeigenamen des Bots.
Wenn Sie mehrere Stichwörter vergeben wollen, können Sie diese durch Semikolon getrennt angeben.
(Preview) Keywords/Stichwörter für DALL-E vergeben
Haben Sie für die angebundene API von OpenAI oder Azure auch DALL-E für das Generieren von Bildern aktiviert, können Sie hier Stichwörter festlegen, über die die Integration aktiviert wird.
Dieses Stichwort muss am Anfang des Aufrufes durch den Benutzer an den Chatbot erfolgen.
Wenn Sie mehrere Stichwörter vergeben wollen, können Sie diese durch Semikolon getrennt angeben. wie zum Beispiel: "male;zeichne"
Es Wird nur die Version DALL-E 3 unterstützt. Bei älteren Versionen kann die Funktionalität nicht sichergestellt werden.
Integration aktivieren
Aktivieren Sie jetzt die Integration und übernehmen Sie die Einstellungen.
Beispiel-Konfiguration einer Azure OpenAI Integration
| Konfiguration | Eingabe | Bemerkung |
|---|---|---|
| Server | localhost | Die UCServer Client-Verbindung ist selbst auf dem UCServer unter "localhost" erreichbar. Dies muss nur geändert werden, wenn eine abweichende Einstellung der Netzwerkschnittstellen für "UC-Clients" verwendet wird |
| Port | 7222 | Der "UC-Client" Standard-Port in den Netzwerkschnittstellen des UCServers |
| Benutzername | variabel | Der Benutzername des Benutzers, der für den Bot steht. Dieser muss deckungsgleich sein mit dem Benutzernamen in der Benutzerverwaltung des UCServers |
| Kennwort | variabel | Das Kennwort dieses Benutzers |
| Azure OpenAI: Ressource-URI | variabel | Bei Azure OpenAI Service der Endpunkt der API |
| Azure OpenAI: Deployment Model | variabel | Bei Azure entspricht es dem "Bereitstellungsnamen" im Azure OpenAI Studio |
| Azure OpenAI: Deployment DALL-E 3 | variabel | Bei Azure entspricht es dem "Bereitstellungsnamen" für DALL-E 3 im Azure OpenAI Studio |
| OpenAI: Model | variabel | Das im OpenAI Account zu verwendende Model |
| Keywords | variabel | Zum Taggen des Bots in einem Chatraum |
| DALL-E 3-Keywords | variabel | Damit ein Prompt für Dall-E erstellt wird, muss der Prompt mit diesem Keyword beginnen. |
Aus Sicht des Benutzers
1:1 Chats
Der Benutzer kann in jedem ProCall Client, in dem er chatten kann, diesen Benutzer (ChatGPT), der für die Integration konfiguriert wurde, suchen und ihn anchatten. Empfehlenswert sind auch z.B. administrative Konfigurationen der Favoriten- oder Monitorinhalte, damit schneller auf ihn zugegriffen werden kann.
Außerdem kann der Benutzer diesen Chat "anpinnen".
Um mit ihm zu kommunizieren, kann man einfach "Hi" oder "Hallo" schreiben, worauf er antworten wird. Anhand einer vorhandenen Präsenz sieht man auch, ob der Chatbot wirklich aktiviert wurde und läuft.
Beispiel Screenshot: ChatGPT im ProCall Chat
Chaträume/GruppenChat
Eine Besonderheit stellen Chaträume dar: Man kann den Chatbot auch in Chaträume aufnehmen.
Damit er dort nicht auf jede Nachricht reagiert, muss man ihn dort taggen/erwähnen, damit er antwortet. Aus diesem Grund wurden "Keywords" konfiguriert, damit er explizit nur auf diese reagiert.
Beispiel Screenshot: ChatGPT in einem ProCall Chatraum der Abteilung Sales Gruppe - Chatbot ist im GruppenChat über den Tag @ChatGPT ansprechbar
Erstellen von Bildern
Um Bilder generieren zu können, muss ein Stichwort im Chat geschrieben werden, welches dem in der Konfiguration für DALL-E in der UCServer Verwaltung entspricht. Wurden dort zum Beispiel die Stichwörter "male;zeichne" hinterlegt, dann aktiviert der Benutzer den Bot über "male" oder "zeichne".
Beispielsweise: "Male mir ein Bild von einem Hund" oder "Zeichne mir ein Haus mit 2 Stockwerken und je 2 Fenstern"
Kontext
Jeder Benutzer, der mit dem Chatbot interagiert, erstellt für sich einen eigenen Kontext. In Chaträumen ist der Kontext dieser Chatraum und nicht der teilnehmende Benutzer.
Beispiel: Benutzer1 schreibt das erste Mal mit dem Chatbot und stellt fest, dass dieser auf englisch antwortet. Er bittet den Chatbot auf deutsch ab jetzt zu antworten. Dieser macht das.
Auf Benutzer2 hat dieses "Umstellen der Sprache" keinen Einfluss, weil der Chatbot den Kontext nicht kennt und mit Benutzer2 einen eigenen Kontext erstellt.
Kontext für die Generierung von Bildern
Werden über DALL-E (Preview) Bilder im Chat generiert, gibt es keinen Kontext. Dies ist zur Zeit mit der API nicht möglich.
Dies bedeutet, dass man z.B. nicht schreiben kann:
- Male mir ein Bild von einem Hund
- Ändere den Hintergrund zu blau
Hier müsste man direkt einen Aufruf machen:
- Male mir ein Bild von einem Hund, Hintergrundfarbe blau
Tip
Lassen Sie zur Bildgenerierung einfach den Chatbot den Prompt für DALL-E erstellen.
- Stellen Sie ChatGPT die Aufgabe, einen Prompt für eine KI wie DALL-E zu erstellen
- Verwenden Sie die Antwort dann als Prompt für DALL-E
Kontext löschen
Ab ProCall Enterprise Version 8.3.4 verfügbar.
Der Benutzer kann auch den Kontext selbst löschen, indem er als Text "/clear" an den Chatbot sendet.
Dies kann sinnvoll sein, wenn der Dialog einen Punkt erreicht hat, an dem der Kontext irrelevant oder verwirrend geworden ist, oder wenn eine völlig neue Konversationsthematik eingeleitet werden soll. Dann kann das Löschen des Kontexts dazu beitragen, eine klare und unvoreingenommene Kommunikationsplattform zu schaffen.
Technische Details und Hinweise
ProCall Enterprise stellt nur eine Verbindung zwischen der API des KI-Anbieters her.
Dies bedeutet, dass Models - chatgpt3-5, chatgpt4 oder ähnliche nur bei OpenAI Integration, nicht bei Azure OpenAI Service - auf ProCall Seite beeinflusst werden. Ebenso die Reaktionszeiten bzw. Einschränkungen, wie Token-Beschränkungen pro Tag oder NSFW-Filter usw. Diese sind - sofern möglich - über den Account zu konfigurieren und liegen im Bereich des Angebots durch den Drittanbieter.
Auch ist die Kontrolle der zu entstehenden Kosten bei einem kostenpflichtigem Pricing über den Anbieter zu beachten und nicht über ProCall Enterprise.
Chatten mit Chatbot — completion-API
Für das Chatten mit dem Chatbot wird die sogenannte completion-API verwendet:
Bilder erstellen durch Prompt (Eingabeaufforderung) — generate-API
Für das Generieren von Bildern wird die sogenannte generate-API verwendet, es wird also nur das Erstellen von Bildern durch Text-Prompts (TextToImage) unterstützt und nicht das Editieren oder Erweitern:
FAQ
Werden die ChatGPT-Modelle mit den Daten trainiert, die ich sende?
Die Aussage gibt unseren momentanen Kenntnisstand aus Recherchen zu den erwähnten Drittanbietern wieder. (Oktober 2023)
Ohne Anspruch auf Vollständigkeit und Richtigkeit.
Nein, Ihre eingegebenen Daten werden nach eigenen Aussagen der Drittanbieter nicht zum Training genutzt.
Maßgeblich sind jeweils die Datennutzungsrichtlinien von OpenAI API bzw. Microsoft Azure OpenAI Service zu entnehmen.
Für weitere Informationen schauen Sie bitte in die entsprechenden Datennutzungsrichtlinien. Diese finden Sie hier:
Informationen / Datennutzungsrichtlinien von OpenAI API
Datennutzungsrichtlinien von Microsoft Azure OpenAI Service
Werden die Daten, die ich sende, gespeichert?
Die Aussage gibt unseren momentanen Kenntnisstand aus Recherchen zu den erwähnten Drittanbietern wieder. (Oktober 2023)
Ohne Anspruch auf Vollständigkeit und Richtigkeit.
Die erste Frage bezog sich auf de Verwendung der Daten zum Trainieren der ChatGPT-Modells. Diese Frage betrachtet, ob die gesendeten Daten zwischenzeitlich gespeichert werden und ob jemand auf diese Zugriff hat.
Gemäß den Angaben von OpenAI und Microsoft Azure OpenAI Service lautet die Antwort: JA.
Da beide Unternehmen das sogenannte "Abuse Monitoring" durchführen, um Missbrauchsfälle aufzuspüren, werden die eingegebenen Fragen 30 Tage gespeichert. Sollte das Verfahren (Abuse Monitoring) ausgelöst werden, können ausgewählte Mitarbeiter von OpenAI bzw. Microsoft Azure OpenAI Service diese Angaben einsehen. OpenAI setzt zu diesem Zweck sowohl interne Unternehmensmitarbeiter als auch externe Unternehmen ein, während Microsoft hingegen ausschließlich Microsoft-Mitarbeiter aus der gleichen Region einsetzt.
Weitere Informationen können den jeweiligen Datenschutzrichtlinien entnommen werden:
Informationen / Datennutzungsrichtlinien von OpenAI API
Datennutzungsrichtlinien von Microsoft Azure OpenAI Service
Ist es möglich, die Datenspeicherung besonders sensible Daten durch Dritte zu deaktivieren?
OpenAI ermöglicht die Deaktivierung der Datenspeicherung nicht, während Microsoft die Option unter bestimmten Voraussetzungen bietet, sie zu deaktivieren. Allerdings muss dafür eine separate Anfrage an Microsoft gestellt werden und diese muss genehmigt werden.
Werden Daten in der ProCall Enterprise Installation gespeichert?
Da die Kommunikation mit der ChatGPT Integration über den internen Chat des UCServers geführt wird, werden die Nachrichten und Bilder in der Server-Datenbank des UCServers nach den dort festgelegten Regeln gespeichert.
Hinweise dazu finden Sie auch hier:
- estos Erklärung für Betriebsräte für die Nutzung von ProCall Enterprise (Journal)
- estos Erklärung für Betriebsräte für die Nutzung von ProCall Enterprise (Inhalte teilen)
UCServer Logs
In den spezifischen Logs zur ChatGPT Integration am Server werden im Normalfall keine Inhalte von Chatnachrichten gespeichert. Eine Ausnahme wäre allerdings, wenn die API z. B. eine Fehlermeldung mit dem Inhalt der Chatnachricht an den UCServer zurückmeldet. Dann wäre diese Nachricht der API in den Logs sichtbar.
Anwendungsgebiete und Beispiele
finden Sie auf den estos Webseiten unter estos.de: ChatGPT meets ProCall