Yapay Zekâ Maliyetini Kontrol Etmek: Token Ekonomisi

Maliyet nasıl oluşur?

Ücretlendirme genellikle işlenen metin miktarına göre yapılır. Hem gönderdiğiniz hem de aldığınız metin sayılır.

Bu yüzden uzun istemler ve uzun cevaplar doğrudan maliyettir.

Yöntem bir: önbellek

Aynı soru tekrar geldiğinde yeniden model çağırmayın. Sık sorulan sorularda önbellek, maliyeti belirgin biçimde düşürür.

Önbellek anahtarını normalize edin; küçük harf ve boşluk farkları aynı soruyu farklı gösterir.

Önbellek süresi, verinin değişkenliğine göre belirlenmelidir.

Yöntem iki: doğru model seçimi

Her iş en güçlü modeli gerektirmez. Sınıflandırma ve kısa özet gibi işler için küçük modeller yeterlidir ve kat kat ucuzdur.

Karmaşık akıl yürütme gerektiren işleri büyük modele, rutin işleri küçük modele yönlendiren bir kademeli yapı kurun.

Model adlarını koda gömmek yerine merkezi yapılandırmada tutun. Sağlayıcılar modelleri emekliye ayırabiliyor; kendi projelerimizde bunu yaşadık ve merkezi yapılandırma sayesinde geçiş tek satırlık bir değişiklik oldu.

Yöntem üç: istem optimizasyonu

Sistem talimatını kısaltın. Her istekte gönderilen uzun talimat, hacimle çarpılır.

Gereksiz örnekleri kaldırın. Birkaç iyi örnek, on vasat örnekten daha etkilidir.

Bağlam olarak gönderilen belge parçalarının sayısını sınırlayın; ilgisiz parçalar hem maliyet hem kalite kaybıdır.

Yöntem dört: çıktı sınırlama

Maksimum çıktı uzunluğunu ayarlayın. Sınırsız bırakılan modeller gereğinden uzun cevap üretir.

İstediğiniz biçimi açıkça belirtin. "Üç maddede özetle" talimatı hem maliyeti düşürür hem kaliteyi artırır.

Yöntem beş: hız ve kullanım sınırları

Kullanıcı başına istek sınırı koyun. Sınırsız erişim hem kötüye kullanıma hem de beklenmedik faturaya açıktır.

Günlük toplam harcama sınırı tanımlayın ve eşiğe yaklaşıldığında uyarı alın.

Yöntem altı: akışı kısaltın

Bazı işler model gerektirmez. Basit kural tabanlı bir kontrol, model çağrısından hem ucuz hem hızlıdır.

Modeli yalnız gerçekten belirsizlik olan noktalarda kullanın.

İzleme

Maliyeti özellik bazında izleyin. Hangi işlevin ne kadar harcadığını bilmeden optimizasyon yapılamaz.

Her çağrının kullanılan token sayısını kaydedin; bu veri, maliyet düşürme çalışmasının temelidir.

İstem sürümleme

İstem metinlerini koda gömmek yerine sürümlenebilir bir yapıda tutun.

Böylece hangi istem sürümünün hangi kaliteyi ve maliyeti ürettiğini karşılaştırabilirsiniz.

Küçük istem değişiklikleri çıktı uzunluğunu ve dolayısıyla maliyeti belirgin biçimde etkiler; bunu ölçmeden optimize edemezsiniz.

Akış tasarımıyla tasarruf

Bazı işler iki aşamalı yapıldığında daha ucuza gelir: önce küçük bir modelle sınıflandırma, sonra yalnız gereken durumlarda büyük modelle üretim.

Kullanıcıya akış halinde yanıt göstermek algılanan hızı artırır ancak maliyeti değiştirmez; yine de deneyim için değerlidir.

Toplu işlenebilecek görevleri tek tek çağırmak yerine gruplayın.

Tekrarlayan sistem talimatlarını kısaltmak, yüksek hacimde en büyük tasarruf kalemidir.