Kong veröffentlicht AI Gateway 3.8 mit semantischer Intelligenz für schnellere, intelligentere und sicherere GenAI-Anwendungen

Am 11. September 2024 hat Kong Inc., ein führender Entwickler von Cloud-API-Technologien, die Veröffentlichung von Kong AI Gateway 3.8 bekannt gegeben. Dieses bahnbrechende Upgrade bringt neue semantische Fähigkeiten in den Bereich der KI- und API-Infrastruktur. Die neueste Version, die auf dem API Summit 2024 vorgestellt wurde, ist darauf ausgelegt, GenAI-Anwendungen um bis zu 20 Mal schneller, effizienter und kostengünstiger zu machen, während gleichzeitig robuste Sicherheits- und Governance-Maßnahmen gewährleistet werden.

Marco Palladino, Mitbegründer und Chief Technology Officer von Kong Inc., erklärte: „Kong AI Gateway 3.8 ist ein bedeutender Schritt nach vorne, um Organisationen zu ermöglichen, das volle Potenzial der KI auszuschöpfen. Durch die Einführung von semantischer Intelligenz in unser AI Gateway adressieren wir die drängendsten Herausforderungen, mit denen Unternehmen bei der Nutzung von GenAI konfrontiert sind – Geschwindigkeit, Kosten und Sicherheit – und verbessern gleichzeitig die Entwicklererfahrung erheblich.“

Wichtige Funktionen und Fähigkeiten von Kong AI Gateway 3.8

Eine der herausragenden Neuerungen ist die Funktion des semantischen Caching, die die Antwortzeiten revolutioniert, indem sie erkennt, wenn verschiedene Benutzeranfragen im Wesentlichen dasselbe bedeuten. Beispielsweise wird bei den Fragen „Wie lange dauert es, Pasta zu kochen?“ und „Wie lange dauert es, Spaghetti zu kochen?“ anstelle der separaten Verarbeitung jeder Anfrage die gleiche zwischengespeicherte Antwort zurückgegeben. Dies reduziert die Verarbeitungszeit erheblich und verringert den Rechenaufwand. Mit aktiviertem semantischen Caching können Antworten bis zu 20 Mal schneller bereitgestellt werden, was die Benutzererfahrung mit KI erheblich verbessert und Kong's Gateway zu einem Leistungsträger in seiner Kategorie macht.

Darüber hinaus kann GenAI kostspielig sein, da jede Anfrage erhebliche Rechen- und Energieressourcen verbraucht. Durch die Reduzierung der Anzahl redundanter Anfragen auf der Gateway-Ebene ermöglicht das semantische Caching Unternehmen, die Kosten für GenAI-Funktionen potenziell zu senken. In vielen Fällen kann das AI Gateway zwischengespeicherte Inhalte zurückgeben, anstatt neue Anfragen für synonymische Eingaben zu stellen. Dies kann besonders bei großangelegten KI-Einsätzen zu Kosteneinsparungen führen.

Kong AI Gateway 3.8 führt außerdem den Semantic Prompt Guard ein, ein leistungsstarkes neues Tool, das Intelligenz in die Sicherheit von KI bringt. Diese Funktion ermöglicht es dem AI Gateway, das „Wesen“ von Benutzeranfragen zu verstehen und unangemessene oder sensible Eingaben zu blockieren, ohne dass einzelne Schlüsselwörter festgelegt werden müssen. Wenn eine Organisation beispielsweise politische Inhalte blockieren möchte, kann das AI Gateway verwandte Begriffe daran hindern, verarbeitet zu werden, was die Einhaltung von Vorschriften unterstützt und das Risiko von Datenverletzungen oder Missbrauch verringert.

Zusätzlich müssen Entwickler mit Kong AI Gateway 3.8 nicht mehr die Komplexität der Auswahl des besten LLM (Large Language Model) für ihre Aufgaben bewältigen. Die neue Funktion des semantischen Routings wählt intelligent das am besten geeignete LLM basierend auf den Anforderungen des Entwicklers aus, was den Entwicklungsprozess vereinfacht und die Einführung von GenAI in Organisationen beschleunigt. Die Unterstützung für Gemini und Bedrock LLMs erweitert die Fähigkeiten des AI Gateways weiter und ermöglicht eine nahtlose Integration mit den KI-Ökosystemen von AWS und Google.

Wertschöpfung für Unternehmen durch Kong AI Gateway 3.8

Kong AI Gateway 3.8 bietet zahlreiche Möglichkeiten, den Geschäftswert für Unternehmen, die GenAI nutzen möchten, zu steigern:

- Verbesserte Kundenbindung und schnellere Wertschöpfung: Das semantische Caching verbessert die Benutzererfahrung, indem es KI-Anwendungen ermöglicht, bis zu 20 Mal schneller zu arbeiten, was zu reaktionsschnelleren und effizienteren Interaktionen führt. Dies fördert eine stärkere Kundenbindung und beschleunigt die Wertschöpfung für Organisationen, die KI implementieren. - Optimierung der Gesamtkosten: Durch die Nutzung des semantischen Cachings können Organisationen die mit GenAI verbundenen Kosten erheblich senken, was KI-Einsätze nachhaltiger und budgetfreundlicher macht. - Produktivität und Erfahrung der Entwickler: Fortgeschrittenes Lastenbalancing und semantisches Routing steigern die Produktivität der Entwickler, indem der Prozess der Auswahl und Verwaltung von KI-Modellen vereinfacht wird. Dies ermöglicht es den Teams, sich auf die Schaffung von Geschäftswert zu konzentrieren, anstatt sich mit den Komplexitäten der KI-Infrastruktur auseinanderzusetzen. - Umfassende Sicherheit und Governance: Mit der Einführung des Semantic Prompt Guard bietet Kong AI Gateway 3.8 unvergleichliche Sicherheits- und Governance-Funktionen, die sicherstellen, dass KI-Anwendungen in einer sich schnell entwickelnden digitalen Landschaft konform und sicher bleiben.

Kong AI Gateway 3.8 ist auch mit Kong Konnect, der API-Plattform für KI, verfügbar, die darauf ausgelegt ist, Organisationen zu helfen, KI-gesteuerte Anwendungen sicher zu erstellen, zu betreiben und zu verwalten. Mit einem Fokus auf Leistung, Sicherheit, Governance und Kosteneffizienz ermöglicht die Plattform Unternehmen, schneller zu innovieren, indem sie ihre API-Infrastruktur effizient verwalten und skalieren.

Für weitere Informationen zu Kong AI Gateway 3.8 besuchen Sie die offizielle Webseite von Kong.

Über Kong Inc.

Kong Inc. ist ein führender Entwickler von Cloud-API-Technologien und hat sich zum Ziel gesetzt, Unternehmen weltweit zu einem „API-first“-Ansatz zu verhelfen und die sichere Einführung von KI zu beschleunigen. Kong unterstützt Organisationen weltweit – von Startups bis hin zu Fortune-500-Unternehmen – dabei, die Produktivität der Entwickler zu steigern, sicher zu bauen und die Markteinführungszeit zu verkürzen. Weitere Informationen über Kong finden Sie auf der offiziellen Webseite.

Quellen: Finanzen.net, Kong