LLM Hız Testi

Büyük Dil Modellerinde (LLM) Hız, Gecikme ve TPS Metrikleri Nedir?

Yayına alınan bir yapay zeka uygulamasının kullanıcı deneyimi kalitesi, dil modelinin komutlara ne kadar sürede yanıt ürettiği ile doğrudan ilişkilidir. Yapay zeka literatüründe bu performans parametreleri genel olarak TTFT (Time to First Token - İlk Token Süresi) ve TPS (Tokens Per Second - Saniyedeki Token Üretim Hızı) metrikleri üzerinden ölçümlenir. Altyapı mimarinizi kurmadan önce bilmeniz gereken teferruatlı hız metrikleri şunlardır:

Büyük dil modellerinin performans ve tepki sürelerini etkileyen temel altyapı bileşenleri şu şekildedir:

• İlk Token Süresi (TTFT): Yapay zekaya prompt gönderildikten sonra, modelin promptu anlamlandırıp ekrana ilk karakteri/kelimeyi bastığı ana kadar geçen milisaniyelik süredir (Gecikme / Latency). Chatbot uygulamalarında kullanıcı memnuniyeti için TTFT'nin olabildiğince düşük tutulması kritik önem taşır.
• Saniyedeki Token Hızı (TPS): İlk karakter basıldıktan sonra, yapay zekanın saniyede ürettiği ortalama kelime/karakter parçacığı hacmidir. Flash sınıfı hafif modeller yüksek TPS üretirken, derin akıl yürütme modellerinde TPS düşer.
• Eşzamanlı Yük Darboğazı (Concurrency): Sisteme aynı anda onlarca veya yüzlerce kullanıcının istek göndermesi durumunda, API sunucularının veya barındırılan GPU donanımlarının (A100, H100 vb.) istekleri işleme kapasitesidir. Doğru bir backend kuyruk mimarisi kurulmadığında eşzamanlı yük hız grafiklerini olumsuz etkiler.

Yukarıdaki teferruatlı LLM hız testi simülatörü paneli; seçeceğiniz yapay zeka çekirdeklerini, prompt karmaşıklık hiyerarşisini ve eşzamanlı kullanıcı stres yüklerini harmanlayarak sisteminizin tahmini anlık performans metriklerini canlı olarak hesaplar. Akıcı, kararlı ve kârlı yapay zeka projeleri geliştirmek için güncel rehberlerimizi takip etmeyi unutmayın.