Wir verwenden LLMs, um Antworten zu generieren. Wir sind Large-Language-Model-agnostisch. Daher können wir alle existierenden Large Language Models hinzufügen, die über eine öffentliche API erreichbar sind. Du kannst auch selbstgehostete Modelle hinzufügen.
Standardmäßig stellen wir dir Googles Gemini-Modelle zur Verfügung, die hohe Leistung zu einem erschwinglichen Preis bieten. Wir haben mit Google einen Auftragsverarbeitungsvertrag, um DSGVO-konform zu sein (Daten werden nicht zum Trainieren neuer Modelle verwendet usw.). Wir stellen sicher, dass alle Modelle in Europa gehostet werden, vorzugsweise auch in Deutschland. Für eine erhöhte Ausfallsicherheit empfehlen wir, mehrere Modelle verschiedener Anbieter zu verwenden.Die Kosten für LLM hängen vom verwendeten Modell ab. Die verwendeten Modelle können einfach über unseren Model Controller geändert werden. Bald wirst du die verwendeten LLMs auch in der Administration ändern und verwalten können. Grundsätzlich benötigen wir:
- API-Key
- Authentifizierungsschlüssel
- Endpoint
Modellverfügbarkeit und Abkündigungen
Anbieter stellen Modelle im Laufe der Zeit ein. Wir fügen neue Modelle hinzu, sobald sie verfügbar sind, und informieren dich, bevor ein bestehendes Modell abgeschaltet wird.Response Modes
Zusätzlich zum Modell selbst wählen Benutzer direkt im Eingabefeld einen Response Mode - Fast, Balanced oder Precise. Fast ist die Standardeinstellung und die richtige Wahl für die meisten Aufgaben. Präzisere Modi investieren mehr Aufwand in eine Antwort und dauern daher länger.Response Modes für Endbenutzer erklärt
Klicke hier, um mehr über dieses Thema zu erfahren.
Azure verfügbar?
- Wenn du die ChatGPT-Modelle nutzen möchtest, ist ein Auftragsverarbeitungsvertrag mit OpenAI nicht erforderlich, solange du einen mit Azure hast
- Azure Portal -> nach Azure OpenAI suchen
- In deiner Azure OpenAI-Oberfläche: Manage Keys -> Endpoint & Keys auslesen und uns zur Verfügung stellen
- Deine Netzwerkeinstellungen kannst du unter Network vornehmen. Auch wenn der Endpoint öffentlich ist, wird er durch den Authentifizierungsschlüssel gesichert. Es ist jedoch immer ratsam, den Zugriff einzuschränken. Bitte beachte, dass mit Notes
- Erstelle Azure OpenAI, API-Key-Kosten werden in Microsoft Azure berechnet. Abrechnung pro Token. Bitte stelle uns anschließend die erforderlichen Informationen zur Verfügung.