Bir Ajans Faturasında Yapay Zekâ Saati Aslında Nedir

Ay sonunda ajansından bir fatura geliyor ve içinde şuna benzer bir satır var: Token Usage (Opus): 34 birim × 3,00 € = 102 €. Faturanın geri kalanını nasıl okuyacağını biliyorsun, çünkü insan saati yüz yıldır faturalarda. Ama bu satır yeni, ve tasarım gereği bir kişinin masasında oturduğu ana karşılık gelmiyor. Dolayısıyla her alıcının bu çeyrekte ajansına soracağı soru teorik değil, oldukça pratik: bu birim ne anlama geliyor, ve seni dürüstçe saydığından nasıl emin olacağım.

Biz eylülde başladık müşterilere yapay zekâ kullanımını yansıtmaya. Fiyatlandırma çerçevesi oturmuş ve yazılı durumda: bir fatura kaleminin nasıl göründüğünü ve o birimin neden o olduğunu yazdık. Ama altta yatan daha küçük ve daha somut bir soruyu henüz yazmadık: işin bir kısmı dil modelinde geçtiğinde bir saat nedir, ve bu sorunun bozuk bir cevabını iki gerçek müşteriye yansıtmadan önce nasıl fark edemedik. İlk yarının cevabı, kafanda taşıyabileceğin kaba bir fiziksel denklik. İkinci yarının cevabı ise bir muhasebe kategori hatası, ve dört gün boyunca bir müşterinin raporlanan saatlerini %183 şişirdi.

Bir alıcı için bu meselenin önemi bizim muhasebe hatamızın ilginç olması değil. Aynı kategori hatası bu yıl yapay zekâ maliyeti yansıtmaya başlayan her ajansın faturasında ortaya çıkacak, ve alıcının elindeki tek gerçek kaldıraç o hatayı raporda görebilme becerisi.

Yapay Zekâ Saati Bir İnsan Saati Değildir, ve Öyleymiş Gibi Yapmak Faturayı Bozar

Faturaladığımız birim, ağırlıklı token. Girdi tokeni artı beş kere çıktı tokeni, tam 100.000 ağırlıklı token bir birim. Beş rakamı keyfi değil. Anthropic’in güncel yayınlanmış tarifesi çıktıyı her mevcut modelde girdinin tam beş katı fiyatlandırıyor: Opus 5.5 milyon başına 4 ve 20 dolar, Sonnet 5.5 için 2 ve 10 dolar, Haiku 4.5 için 1 ve 5 dolar. O tek oran girdi maliyetini ve çıktı maliyetini müşterinin faturalandırılabileceği tek bir sayıya çöktürüyor, ve Anthropic bu oranı bir gün kırarsa bizim de yeniden tasarlamamız gerekecek. O güne kadar Opus’ta bir birim maliyette 0,40 dolar; yayınlanmış iki katı çarpanımızla satışta 0,80 dolar.

Bütün bunların, işi bir rapor okumak olan biri için sorunu şurada: bu bir saat değil. Proje yönetim aracın efora saat cinsinden girdi bekliyorsa ve aynı proje altında biraz da yapay zekâ maliyeti göstermek istiyorsan, dönüştürmek gibi bir yola gitmek istiyorsun.

Biz de yaptık dönüşümü. Yoğun kullanılan iki projenin oturum kayıtlarından çıkan deneysel denklik, açıkçası, olması gerekenden istikrarlı: asistanımız saniyede yaklaşık 130 ağırlıklı token, dakikada yaklaşık 8.000, saatte yaklaşık 480.000 işliyor. Yani bir birim aktif yapay zekâ çalışmasının 12-13 dakikasına denk geliyor, bir saat aktif yapay zekâ çalışması da yaklaşık 4,8 birime. Uzun insan bekleyişleri olan oturumlarda oran anlamsızlaşıyor ve ölçüm çöp oluyor, ama sürekli işte kafada taşınacak kadar sabit. Bir saatlik faturalandırılabilir yapay zekâ maliyette yaklaşık 4 dolar, satışta yaklaşık 8 dolar. Aynı projedeki bir insan saati, kıdemli tarifemizle, yaklaşık 90 avro. Doksan mı sekiz mi, gerçek fark bu.

Bir müşterinin faturada 34 birim gördüğünde zihinde canlandırmasını istediğimiz şey bu on iki dakikaydı, birim başına. Yanlış giden şey denklik değildi. Denkliğin, o sayıyı bir saat olarak dosyalamayı meşrulaştırdığına inanmaktı.

Ne Denedik ve Her Deneme Neyi Kırdı

Zaten insan saatlerini gösterebilen bir rapora yapay zekâ maliyetini yerleştirmek için üç deneme. Her biri tek başına çalıştı. Her biri, gerçek bir haftalık rapor ikisini birlikte göstermeye kalkınca çöktü.

Birinci deneme: token birimlerini sentetik bir yapay zekâ iş tipine karşı zaman kaydı olarak yaz. Ucuz kurulum, tracker adapter’ında beş satır değişiklik, hemen çalıştı. Token kullanım girişleri görevin altında göründü, ve haftalık rapor onları insan saatleriyle beraber topladı. Hata da tam buydu. Rapor onları topladı. Rapor, aynı dönemde gerçek insan girdisi 15,51 saat olan bir projeye 43,86 saatin işlendiğini söylüyordu. Raporu okuyan yönetici yaklaşık yirmi sekiz saatlik hayali bir aşım gördü. Aşım yoktu. Vardı olan şey, saatmiş gibi sayılan 23,67 birim Token Usage, saat sayılmış 4,68 avroluk API harcaması, ve altta duran 15,51 gerçek insan saatiydi. Rapor veri konusunda yalan söylemiyordu. Sorgusunun ona söylediği şeyi yapıyordu: farklı birimlere sahip kayıtlar üzerindeki bir value alanını topluyordu.

Denemenin bedeli: iki müşteriye dört gün süren yanlış raporlama. Dört günü önemsememem mümkün değil, çünkü token kayıtları 4 Eylül’de başladı ve bir sonraki haftalık rapor 7’sinde çıktı. Müşteriye giden rapor, taahhüt edilen saatlerin çok üstünde giden bir proje gösteriyordu; aslında saatlerin epey içindeydi. Kimse şikâyet etmedi, ki bu birinin şikâyet etmesinden beter.

İkinci deneme: zaman kayıtlarını koru ama raporlama ucunu iş tipi döndüren bir uca çevir. Tracker’ın projeye kayıtlı her şeyi tek çağrıda döndüren geniş bir tracking ucu vardı. Onu seçmiştik çünkü her şeyi tek seferde veriyordu. Ama aynı listede harcamaları da zaman kayıtlarıyla birlikte döndürüyor, ve iş tipi alanını döndürmüyordu, yani onu tüketen kod bir token kullanım girişini kıdemli bir geliştiricinin saatinden ayırt edemiyordu. Proje bazlı time-records ucuna geçmek iş tipini geri verdi, karşılığında proje başına ikinci bir çağrı ve hafif bir şema ayrışması. Sorunun yarısını çözdü: insan saatleri artık yapay zekâ kullanımından ayrılabilir. Birim sorununu çözmedi, çünkü token’ı hâlâ ondalık saat olarak aynı alana yazıyorduk.

Denemenin bedeli: bir günlük iş, ve düzelttiğimize dair yanlış bir güven. Rapor şimdi doğru olarak 15,51 insan saati diyordu. Ayrı bir satırda da 28,35 birim Token Usage diyordu. O iki sayının toplamı hiçbir anlama gelmiyordu. Müşteri de haklı olarak toplamın bir şey ifade edip etmediğini sordu, ve bizim iyi bir cevabımız yoktu.

Üçüncü deneme: numarayı bırak. Tüm kaynak tüketimini zaman kaydı yüzeyinden al ve harcama yüzeyine taşı. Kalan çözüm buydu. Bir projede zaman, insan dakikası demektir. Diğer her şey, token’lar, dış API çağrıları, arama başına zenginleştirme ücretleri, sağlayıcının kendi faturalama biriminde, kendi satırında, aynı göreve bağlı olarak kaydedilen bir harcama olur. Zaten faturaladığımız kaynak tiplerini kapsayacak on iki harcama kategorisi açıldı. İki projede elli sekiz kayıt taşındı, saat sütunundan harcama sütununa toplam 86,51 avro geçti. Haftalık rapora Yapay Zekâ ve Kaynak Kullanımı başlıklı yeni bir tablo eklendi, ve insan saati toplamlarının altına da onların insan saati olduğunu söyleyen bir dipnot düşüldü.

Denemenin bedeli: bir haftalık iş ve bir dizi muhasebe göçü. Sildiğimiz her zaman kaydının önce yerini alacak harcamanın oluşturulmuş, doğrulanmış, sonra orijinalin kaldırılmış olması gerekiyordu, ki göç sırasında çalışan bir rapor toplamı bir kez görsün, iki kez ya da sıfır kez değil. Adını koymaya değer bir tuzak: tracker’ın zaman kaydındaki value alanı iki ondalığa sessizce yuvarlıyor, yani eski ondalık saat token girişlerimiz alttaki birim ölçümünden daha az hassastı. Harcama yüzeyi ise değeri para olarak alıyor, bu da ondalıkları avroya karşı iki ondalık veriyor, tarifeye karşı değil. Bu bir muhasebe tercihi değil, gerçek bir hassasiyet kazanımı.

Göçün Ürettiği Kural ve Neden Tuttuğu

Müşteri raporundaki her satır tam olarak bir soruya cevap verir, ve hiçbir satır iki soruya cevap vermez. İnsan saati bir sorudur, bir birimdedir: adlandırılmış bir kişinin dikkatinin bir dakikası. Token kullanımı farklı bir soru, farklı birim: adlandırılmış bir model katmanında 100.000 ağırlıklı token. Dış API çağrıları üçüncü bir soru, sağlayıcının belirlediği birimde fiyatlanan. Bir rapor bu üç sorudan ikisini aynı sütuna koyduğu anda, aceleyle okuyan biri yanlış anlayacak.

Baştan koymamız gereken, göç sırasında öğrendiğimiz diğer kural: sınıflandırılmamış bir iş tipi hiçbir şeye toplanmaz. Bir projede yeni bir kaynak tipi belirdiğinde ve raporlama katmanına saat mi kaynak birimi mi olduğu söylenmemişse, rapor sıfırı ve sessizliği değil, ham sayıyı ve bir uyarıyı gösterir. Gürültülü eksik, sessiz yanlıştan her zaman daha iyidir. İlk sürümümüz tam tersini yapıyordu, ve 23,67 token birimi ile 4,68 avroluk API harcamasının dört gün boyunca saat kılığında geçit töreni yapmasına izin veren şey de o hata biçimiydi.

Bugün Olsa Ne Farklı Yapardık

İki şey, ikisi de sıralama meselesi. Birincisi, veri modelini seçmeden önce müşteriye giden haftalık rapor cümlesini yazardım. Bir müşterinin pazartesi sabahı okuyacağı paragrafı sade dille taslak halinde yazsaydık, bu hafta 43,86 saat kullandın cümlesindeki muğlaklığı, o cümle gerçek bir projenin altında görünmeden önce görürdük.

İkincisi, iki yüzeyi kaynağında ayırırdım, raporda yeniden birleştirmeye çalışmak yerine. Zaman kaydı yüzeyini makine maliyeti için yeniden kullanmak bir haftalık iş kazandırdı ve o kazanılan haftadan daha uzun bir müşteri konuşmasına mal oldu. Bunun içinde gömülü genel bir ders var: mevcut bir kova yeni bir şeyi taşısın diye ayartıldığın her zaman, kovanın gösterimi seni ilk cezalandıran şey olacak.

Alıcı Bu Sayıyı Pazartesi Sabahı, Telefon Etmeden Nasıl Okur

Şimdi kendimize koyduğumuz okuyucu testi şu: bir müşteri bir haftalık raporu açıp, telefon açmadan üç şeyi bilebilmeli. Kaç insan saati işe girmiş ve kimden. Ne kadar yapay zekâ kaynağı hangi görevde kullanılmış. Ve dış API harcaması maliyetinden ne kadar geçirilmiş. Bu üç cevaptan biri belirsizliği çözmek için bir arama gerektiriyorsa, bozuk olan okuyucu değil, rapor.

Bu da bir sonraki faturasına bakan alıcıya sorulacak dört küçük soru veriyor. Yapay zekâ satır kalemi hangi birimde ve çarpan belirtilmiş mi. O birim modeller arası sabit mi, yoksa tedarikçi seni bir modelden diğerine geçirdiğinde sessizce değişiyor mu. Dış API ücretleri sağlayıcının kendi biriminde mi geçiyor, yoksa yapay zekâ satırına harmanlanmış mı. Ve ilk sorulacak olan: bir haftalık raporu okuyup ekibinin ne yaptığını, ajansının yazılımının ne yaptığını, açıklama için bir telefon açmadan söyleyebilir misin. Son sorunun cevabı hayırsa, ne dese de çerçeve henüz dürüst değil. Ve ilk üçünden herhangi birinin cevabı saatte topluyoruz ise, baktığın fatura, 7 Eylül’de kendi iki müşterimize yansıttığımız aynı kategori hatasına sahip demektir.

Bu çeyrek bir ajans seçen bir kurum için, ajansın yapay zekâ işini nasıl faturalandırdığı sadece bir tedarik ayrıntısı değil. İşe alacağın insanların sattıkları şeyin operasyonel yarısını düşünüp düşünmediğinin bildiğimiz en kısa testi. Talep edildiğinde bir yapay zekâ saatinin hangi birimde olduğunu söyleyemeyen bir tedarikçi, aralıkta faturasını okumaya çalışmak isteyeceğin bir tedarikçi değil. Şu anda baktığın faturanın yanına bizimkinin de gelmesini istersen, o konuşma buradan başlar.