Faturalanmayan Yapay Zekâ Eforu: Ajansın Üstlendiği Yük

🇬🇧 English: Read this in English →

Fatura, müşterinin ödediği şey ile eline geçen şey arasında yazılı bir sözleşmedir. Şeffaf yapay zekâ faturasının zor kısmı aritmetik değil. Müşterinin satın aldığı iş ile ajansın kendi kendine satın aldığı iş arasındaki sınırı çizmek. Çünkü yapay zekâ maliyetleri dışarıdan tek bir şey gibi görünür, elini sokunca iki ayrı yığına dönüşür.

Yaklaşık bir aydır müşteri faturalarına yapay zekâ kullanımını satır satır işliyoruz. Bu dizinin ilk dört bölümü yapay zekâyı neden ayrı bir kalem olarak faturalamaya başladığımızı, token fiyatını kurmaya çalışırken yaptığımız dört yanlışı, sonunda oturduğumuz birimi ve bunu faturada nasıl kalem kalem gösterdiğimizi anlattı. Bu yazı sınırın öbür yanına bakıyor: ajansın tarafında kalan, müşteriye yansımayan faturalanmayan yapay zekâ eforu.

Otuz yıl kadar önce bir Mac Plus’ta, QuarkXPress ve bir fotokopi makinesiyle, doğru fiyatlanmış bir işi ay içinde sessizce kanayan bir işten ayıran şey hangi saatin zanaat hangisinin üretim olduğunu bilmekti. Zanaat ücretin içinden çıkar, üretim faturalanırdı. Sınır sağduyuydu ve neredeyse kimse yanlış yapmazdı. Aynı soru şimdi, karşıdaki makine değişmiş hâlde, yeniden önümüzde duruyor. Ve sağduyu bu kez henüz yerine oturmadı.

Aşağıda bir ajansın bu sınırı nasıl çektiği var. Bizim tarafta kalan dört tür yapay zekâ maliyeti, bunu dürüst kılan hesabın kendisi, ve faturaya “AI” diye bir satır eklemek üzere olan her tedarikçiye alıcı olarak sormanı önerdiğim birkaç soru.

Oturumun Tükettiği Şey, Müşterinin Satın Aldığı Şey Değildir

Geçen ay üç oturum, iki tane 1.500 kelimelik makale teslim, liste fiyatıyla ölçüm: 161 dolar. Rakamı yüksek sesle okumak rahatsız ediciydi, kurucunun tepkisi de yazıya temizlenmiş hâliyle aşağı yukarı şuydu: iki küçük yazıya iki yüz seksen dolar mı yani.

Haklıydı. Üç oturumdan birinde tek başına 110 milyon token cache okuması kaydedilmişti. Cache okumaları modelin kendi bağlamını defalarca yeniden okumasıdır; oturum o kadar uzadıkça model kaldığı yerden devam edebilmek için aynı metni onlarca kez tekrar yüklüyor. O işte modelin kendi aklı başında kalması için yaptığı iş var, müşteriye teslim edilen bir iş yok.

Gerçekten teslim edilen şey, girdi ve çıktı tokenlerinin kendisi üzerinden ölçülünce iki 1.500 kelimelik makale için Opus’ta 0,45 dolar, Sonnet’te 0,09 dolar civarıydı. 0,45 ile 161 arasındaki boşluk, müşteriden ödemesini istemediğimiz kısım. Bu yazıda ne söylersek söyleyelim, o boşluğun varlığını kabul etmekten çıkıyor.

Faturaya Girecek Gibi Duran Ama Girmemesi Gereken Dört Şey

Her birinin bize öğrettiği dersin maliyetine göre, kabaca küçükten büyüğe:

Cache Tekrarları (Oturumun Uzunluğu Bizim Sorunumuz)

Ajan tek bir oturumda proje bağlamını otuz kere baştan okuyorsa, o iş o kadar uzun sürdüğü için bunu yapıyor. Müşteri uzun bir oturum istemedi, çıktıyı istedi. Anthropic’in kendi fiyatlamasında cache okuma, temel girdi fiyatının onda biri civarıdır; ama yüz milyon tanesi hâlâ gerçek bir faturaya dönüşür. O faturada müşteri tarafından ısmarlanmış tek bir satır yok.

Deneme ve Geri Alma (Zanaat Bizde Kalır)

İlk denemenin açısı yanlış olduğu için yeniden yazılmış yarım bir denemenin faturada yeri yoktur. O ajansın zanaatıdır. Bunun daha ihtiyatlı bir sürümünü de denedik, denemeleri “iş sürüyor” diye kaleme atıp bir gün dayandı: müşteri faturayı okuyup haklı olarak “aynı bin kelimeyi niye iki kere ödüyorum” diye sorduğu anda çöktü. Doğru birim teslim edilen şeydir, arkasındaki denemeler değil.

Araştırma Tarafındaki Token Trafiği (Zaten Saatte Var)

Keşif, brief okuma, kendi notlarımızı yükleme: yapay zekâ araştırma sırasında da teslim sırasında olduğu gibi çalışıyor ve usage kaydında token’lar birbirinden ayırt edilemiyor. Araştırmayı zaten insan saati olarak faturalıyoruz (yapay zekâ sahneye çıkmadan çok önce de böyleydi) ve o saatlerin içinde yapay zekânın yaptığı iş bizim tarafta kalıyor. Müşteriden hem araştırmaya giden saati hem o saatte modelin tükettiği token’ı istemek şeffaflık değil, detay kılığında çift sayım.

Model Tabanlı Bekçilik (Ayda 19 Dolar, Biz Yiyoruz)

Gelen müşteri aktivitelerini küçük bir modelle ön-eleyen bir hat çalıştırıyoruz: kuyruğu çeker, bariz olanı eler, kalanı insan onayına bırakır. Tüm kitap üzerinde ayda yaklaşık 19 dolar API tutuyor. “AI operasyonları” diye faturaya eklemek içten geliyordu, reddettik. Bekçilik ajansın kendi kapı tutma işi. Müşteri bekçilik ısmarlamadı; teslimat ısmarladı. On dokuz dolar küçük bir para, ama kural rakamdan büyük: ajansın iş yapıp yapmayacağına karar vermek için çalıştırdığı her şey ajans maliyetidir, ajansın müşterinin istediği şeyi üretmek için çalıştırdığı her şey müşteri maliyetidir. Bir cümle, bir günlük tartışmayı kapatıyor.

Faturanın Aslında Gördüğü Şey

Yukarıdakilerin toplamı şu: fatura tek bir ölçüm görür, teslim edilen artefaktın token ağırlığı. Girdi token sayısı artı çıktı token sayısının beş katı. “Beş kat” bir kural değil, bir sabit. Anthropic’in şu anda yayında olan her kademesinde (Haiku, Sonnet, Opus) çıktı tokeni, girdi tokeninin tam beş katı fiyatta (Anthropic’in güncel kamuya açık fiyat sayfası). Oran iki rakamı tek rakama indiriyor.

ağırlıklı token = girdi + (5 × çıktı)
1 fatura birimi = 100.000 ağırlıklı token

1.500 kelimelik bir makale için: kabaca 5.000 girdi + 2.000 çıktı, yani 15.000 ağırlıklı token, yani 0,15 birim. Sonnet’te yaklaşık dokuz sent model maliyeti, Opus’ta kırk beş sent civarı. Faturada bunu iki katı maliyetle, yani her dış sağlayıcı satırına uyguladığımız aynı çarpanla taşıyoruz. Müşteri tarafında on sekiz sent ya da doksan sent olarak okunuyor ve marj gizli değil, açık yazılı.

Ölçümün kendisi istemci tarafındaki ajanın diske yazdığı ham JSONL oturum dosyalarından çıkıyor ve message.id üzerinden tekilleştiriliyor; çünkü transkriptlerimizdeki usage taşıyan 19.181 satırın 8.355’i aynı mesajın birden fazla okumada tekrar görünmesiydi. Toplamın naif biçimi faturayı iki katına çıkarıyor. Bu ölçüm senin tedarikçinin elindeyse, “message.id ile tekilleştiriyor musunuz” diye adıyla sormaya değer tek bir kelime var.

Ayda Ne Yiyoruz, Takas Niye Hâlâ İşe Yarıyor

Yalnızca-teslim modelini bir ay işlettikten sonra ajansın yediği şeyin kabaca şekli ortaya çıkıyor:

• Tüm müşteri oturumlarındaki cache okumaları, liste fiyatıyla ayda düşük iki haneli dolar; oturum uzunluğuna göre değişiyor.
• Triage modeli, bütün kitap üzerinde ayda yaklaşık 19 dolar.
• Araştırma anındaki yapay zekâ, saat ücretinin içine görünmez biçimde katlanmış; ayrı ölçmüyoruz.
• Ölçümü ayakta tutmanın masrafı (betikler, tekilleştirme, müşteri bazında raporlar), kendi saatimizden ödeniyor.

Müşteriye kestiğimiz faturaya kıyasla, ki o rakam şimdilik ay başına müşteri başına düşük üç haneli bir model harcamasında gezinmekte, üstlenilen genel gider model harcamasının birkaç yüzdesini buluyor. Hiç değil, ve dar bir ayda ibreyi hafif oynatıyor. Alternatif ise faturada “AI operasyonları, 40 dolar” yazan bir satır ve haklı olarak “bu nedir” diye soran bir müşteri. Cevabı ajansın usage kaydını açmadan savunamayacağı bir cevap.

Beklemediğim bir oran da işe yarar çıktı. Bir saat aktif yapay zekâ çalışması, ağırlıklı token cinsinden, kabaca 480.000 token eder. Bu Opus liste fiyatıyla yaklaşık 14 €, bizim müşteriye satış fiyatımızla marj dahil 12 € civarı. Aynı projede bir saat kıdemli insan emeği 90 € faturalanıyor, genel giderler hariç. Belirli bir saat için oran yaklaşık 1’e 7. Benchmark değil, her iş farklı. Ama sağlamasını yapan bir ölçü. Aylık faturada yapay zekâ kalemi insan kalemine yaklaşmaya başlamışsa sorun ücrette değil, ölçümde.

Bir Sonraki Sefere Üç Şeyi Farklı Yaparım

Birincisi, konuşmayı oturum toplamından değil, teslim tabanından başlat. 161 dolarlık rakam bir teşhisti, aynı zamanda kurucunun gördüğü ilk sayıydı; ilk konuşmanın tamamı o rakamdan geri sarmakla geçti. İlk sayı “makalenin modeli dokuz sent, biz on sekiz kesiyoruz” olsaydı kimse itiraz etmezdi. Aritmetiğin faturadan önce masaya gelmesi lazım.

İkincisi, tekilleştirme kuralını beşinci betiğe değil, birinci betiğe yaz. Ham transkriptlerde usage taşıyan satırların onda dörtten fazlası tekrardı. O temizlenmeden kurulan her fatura tabanı yaklaşık iki kat şişikti. Dört başarısız fiyatlama denememizin üçü, ölçüm temiz olsaydı başarısız olmayacaktı. Ders daha küçük bin biçimde tekrarlıyor: bozuk bir cetvel, tahtanın uzunluğu hakkında işe yarar bir şey söylemez.

Üçüncüsü, bekçilik giderini birinci günden sabit bir kategori olarak işaretle. 19 dolarlık triage’nin müşteri mi ajans mı sayılacağı tartışmasına bir gün verdik, kimsenin para ödemediği bir gündü. Kural artık özet kâğıdına yazılı: ajansın iş yapıp yapmayacağına karar vermek için çalıştırdığı her şey ajans maliyeti; ajansın müşterinin istediğini üretmek için çalıştırdığı her şey müşteri maliyeti. Tartışma başlamadan biten tartışmadır.

Yapay Zekâ Faturası Olan Bir Sözleşme İmzalıyorsan Dayatman Gereken Şeyler

Ajansla imzalanan bir sözleşmede faturada yapay zekâ satırları olacaksa, tedarikçiye sorabileceğin küçük bir soru seti var. Hiçbiri geliştirici olmanı gerektirmiyor. Hepsi, ciddi bir faturalama modelini “umarım dikkatli bakmazsın” diye kurulmuş bir modelden ayırıyor.

Faturadaki yapay zekâ satırları oturumu mu ölçüyor, teslim edilen artefaktı mı? “Oturumu” diye cevap gelirse veya karşı taraf aradaki farkı anlamıyorsa, kendi aletlerini sana finanse ettiriyor demektir. Usage verisi mesaj kimliğine göre tekilleştiriliyor mu? “message.id” kelimesi karşı tarafta bir anlam ifade etmeli, ya da en azından tekilleştirme kuralını bir cümlede anlatabilmeli; anlatamıyorlarsa fatura büyük ihtimalle çift sayıyor. Metre bizim tarafta kalan ne? “Cache okumaları”, “denemeler”, “araştırma saati”, “iç bekçilik” doğru cevaplar. Eğer modelin dokunduğu her şey faturaya geçiyorsa, o fatura ajansın zanaatının faturasıdır, ki onu zaten saat ücretinde ödüyordun.

Rastgele bir satırın aritmetiğini iste. “Bu kalem 0,3 birim, birim 3 €. Ne demek bu?” diye sor. Karşından şu kadar bir cümle gelmeli: model yaklaşık iki bin beş yüz kelimelik bir brief’ten bin kelimelik bir çıktı üretti, bu kabaca otuz iki bin ağırlıklı token, 0,3 birim, Anthropic liste fiyatıyla iki euro model maliyeti, bizim satış fiyatımızla üç euro. Cümle gelmiyorsa, ölçüm yok.

Gerçek bir WordPress ya da WooCommerce estate içinde aynı test bir soru değil, brief’in kendisi olarak düşer. Yapay zekâ kataloğa dokunacaksa (ürün açıklamaları, varyasyonlar, zenginleştirme), destek yığınına (yanıtlar, triage, yönlendirme), ya da içerik katmanına (editöryel taslak, çeviri, özet), angajmanın ilk sprintten önce söylemesi gereken şey şu: hangi byte’lar teslim edilen çıktı, hangi byte’lar tedarikçinin kendi iç kayıt tutma işi. Yüz SKU’luk bir test partisi, izole ölçüldüğünde iki-üç gün kurulum ve bir hafta dürüst çalışma istiyor. O koşudan çıkan fatura, bir tedarikçinin “tahminen” verdiği değil gerçek maliyeti okuyan ilk faturadır, ve çeyreklik bütçenin dayanmaya değer olduğu rakam odur.

Bu adımı atlayan alıcı, ajansına düşünmesi için mi üretmesi için mi ödediğini bilmez. İkisi farklı rakamlardır, ve çoğu ajans dikkatini çekmemeni tercih eder.

Sınırı Çekmek Ödemeye Değer

Şeffaflığın bedeli iki yönlüdür. Ajans tarafında, yapay zekâ tüketiminin kabaca yüzde dört beşini geçirmek yerine yemek. Müşteri tarafında, neyin finanse edildiğini birkaç bin token hassasiyetiyle bilmek. Yirmi küsur yıllık faturalama tecrübesi şunu öğretti: müşterinin altında ne saklı diye merak etmeden okuyabildiği fatura üçüncü yılın sonunda ilişkiyi hayatta tutan faturadır. Sözleşmeyi yenileten şey, savunmak zorunda kalmadığın rakamdır. Bunu kendi tedarikçi ilişkine kurmayı düşünüyorsan ya da ilk kez kendi ticaret estate’in içinde bu ölçümü kurmaya hazırlanıyorsan, aritmetiği biz kurduk, bir ekibi masada bu hesabın içinden geçirmekten de memnuniyet duyarız.