Amazon Bedrock Akıllı İstek Yönlendirme artık genel kullanıma sunuldu
Investing.com — Amazon (NASDAQ:AMZN), Bedrock Akıllı İstek Yönlendirme hizmetinin genel kullanıma sunulduğunu duyurdu. Aralık ayında tanıtılan bu araç, tıpkı model ailesindeki farklı temel modeller ortasında istekleri tesirli bir formda yönlendirmek için tek bir sunucusuz uç nokta sunuyor. Bu sistem, her model için bir isteğin cevap kalitesini dinamik olarak varsayım ediyor. Akabinde isteği maliyet ve cevap kalitesine nazaran en uygun modele yönlendiriyor.
Son birkaç ay içinde Amazon, akıllı istek yönlendirmede çeşitli iyileştirmeler gerçekleştirdi. Bu geliştirmeler müşteri geri bildirimleri ve kapsamlı iç testlerden yola çıkılarak yapıldı. Hedef, büyük lisan modelleri (LLM’ler) ortasında Amazon Bedrock Akıllı İstek Yönlendirme aracılığıyla otomatik ve optimal yönlendirmeyi kolaylaştırmak. Bu araç, her model ailesindeki model davranışlarını derinlemesine anlıyor. Farklı model setleri, vazifeler ve istemler için yönlendiricileri eğitmede son teknoloji metotları içeriyor.
Kullanıcılar artık Amazon Bedrock Akıllı İstek Yönlendirme’yi Amazon Bedrock tarafından sağlanan varsayılan istem yönlendiricileriyle kullanabilir. Ayrıyeten kendi istem yönlendiricilerini de yapılandırabilirler. Bu, performansı iki aday LLM’nin performansı ortasında doğrusal olarak ayarlamaya imkan tanıyor. Her model ailesi için varsayılan istem yönlendiricileri Amazon Bedrock tarafından sağlanıyor. Bu yönlendiriciler evvelden tanımlanmış ayarlarla geliyor. Makul temel modellerle kutudan çıktığı üzere çalışacak formda tasarlanmıştır. Rastgele bir yönlendirme ayarı yapılandırma gereği olmadan kullanıma hazır bir tahlil sunuyorlar.
Amazon Bedrock Akıllı İstek Yönlendirme artık Amazon Nova, Anthropic ve Meta ailelerinden daha fazla modeli destekliyor. Bunlar ortasında Anthropic’in Claude ailesi, Llama ailesi ve Nova ailesi bulunuyor. Kullanıcılar ayrıyeten belli gereksinimlere ve tercihlere nazaran kendi yönlendirme yapılandırmalarını da tanımlayabilirler.
Amazon, eklenen bileşenlerin ek yükünü %20’den fazla azaltarak yaklaşık 85 milisaniyeye indirdi. Yönlendirici, misyonda birebir temel doğruluğu korurken öncelikli olarak daha az maliyetli modeli çağırdığından, kullanıcılar ek yüke karşın her vakit daha büyük ve daha kıymetli modeli kullanmaya kıyasla genel bir gecikme ve maliyet avantajı bekleyebilirler.
Bu makale yapay zekanın takviyesiyle oluşturulmuş, çevrilmiş ve bir editör tarafından incelenmiştir. Daha fazla bilgi için Kural ve Şartlar kısmımıza bakın.
