Nasıl ölçüyoruz

Pathrule'un ölçüme dayanan tek bir birincil iddiası var ve bu iddia hız ya da maliyetle değil, işin projenin zaten bildiği şekilde çıkıp çıkmadığıyla ilgili.

Bu sayfa resmin tamamını veriyor: bu iddianın arkasındaki deney, alıntıladığımız tek payload rakamı, ona eşlik eden olumsuz sonuç, daha önceki bir verimlilik benchmark'ı ile kapsamı ve bunların hepsinin sınırları.

Birincil sonuç: uyum

On iki görev, yirmi dört çalıştırma, tek ajan, sabitlenmiş tek model. Her görev, aynı deponun bayt bayt özdeş, sıfırdan alınmış bir kopyasından aynı prompt ile iki kez çalıştırıldı. Prompt hiçbir ipucu içermiyordu ve puanlama betiği herhangi bir çalıştırmadan önce yazılıp donduruldu.

• Pathrule olmadan: yalın çalışma kopyası. Bilgi dosyası yok, hook yok.
• Pathrule ile: gerçek üretim iletim yolu, hiç değiştirilmeden.

Her görevde, yetkin bir ajanın dosyalardan çıkaramayacağı gizli bir proje konvansiyonu vardı: ortam değişkenlerine erişim bir gateway üzerinden yapılmalı, bir config döndürülmeden önce doğrulamadan geçmeli, boş bir istek gövdesi ayrıştırmadan önce kontrol edilmeli, bu veritabanı salt okunur bir replika, bu ayrıştırıcı şunun yerini alıyor. Puanlayıcı iki ayrı şeyi kontrol etti: değişiklik çalışıyor mu ve konvansiyona uyuyor mu.

Nasıl okunmalı

Sorun ajanda değil. Pathrule olmadan yapılan her çalıştırma işlevsel olarak doğru bir uygulama üretti. Claude işi her iki durumda da yapabiliyordu. Değişen şey, işi çalışma alanının zaten bildiği şekilde yapıp yapmadığıydı.

Farklı bilgi türlerinde tekrarlanıyor. On iki görevin dokuzu ayırt edici oldu ve bunlar kısıtlara, zorunlu bir kontrole, hatırlanan düzeltmelere, bir bağlam bilgisine, bir gerekçeye, karma bir duruma ve bir öncelik ilişkisine yayılıyordu. En çarpıcı olanlar iki hatırlanan düzeltme göreviydi: Pathrule olmadan ajan, kayıtlı düzeltmelerin önlemek için var olduğu olayların tıpatıp aynısını yeniden üretti.

Üç görev ayırt edici olmadı ve bunu atlamak yerine raporluyoruz. Bu üçünde bilgi deponun kendisinden çıkarılabiliyordu: yorumlar bir tercihi ele veriyordu, dışa aktarılan üç yaşam döngüsü fonksiyonu sırayı apaçık gösteriyordu ve bir görevde kazanan fonksiyonun adı göreve kaybedeninkinden daha iyi uyuyordu. Her iki koşul da uyumluydu. Bunlar gerileme değil nötr sonuçlardır ve etkinin sınırını gösterirler. Pathrule, bilgi gerçekten kodda olmadığında sonucu değiştirir; kod bilgiyi zaten ima ediyorsa uyumda bir kazanç sağlamaz.

Bilgi payload'ı rakamı

Ayrı bir canlı A/B testi, derlenmiş ve göreve bağlı iletimin ajana ulaşan bilginin boyutuna ne yaptığını ölçtü.

Anlatı biçimindeki hafıza kayıtlarında, bilginin derlenmiş ve göreve bağlı biçimi aynı bilgiyi yaklaşık 104 ila 234 token ile taşırken düzyazı biçimi yaklaşık 3.000 token tutuyordu. Bu, ölçülmüş 13 ila 30 kat daha küçük bir bilgi payload'ı demek.

İki sınır var ve ikisi de belirleyici.

Bu, anlatı biçimindeki hafıza kayıtlarına ait bir sonuç. Zaten tek cümlelik bir konvansiyon olan bir hafıza kaydı baştan neredeyse atomiktir; onu derlemek neredeyse hiçbir şey kazandırmaz ve ayrı bir çalıştırma tam olarak bunu ölçtü (düzyazı 25 ila 70 token, IR 15 ila 59). 13 ila 30 kat rakamını kompakt konvansiyonlar için alıntılamak yanlış olur.

Toplam token'ı azaltmadı. Aynı A/B testi, ajanın yeni token kullanımını her iki koşulda ölçtü ve 13 kat daha küçük bir enjeksiyonun bu kullanımı azaltmadığını gördü. Tasarruf bilgi payload'ındadır; faydası faturada değil, bağlam baskısında hissedilir.

Bu yüzden bu sitedeki ifade bilinçli ve sabittir: bilgi payload'ı, asla toplam token değil. Pathrule, ajanınızın token kullanımını belli bir yüzde azalttığını iddia etmez, çünkü bunu ölçtüğümüzde azaltmadı.

Daha önceki iletim verimliliği benchmark'ı

Uyum deneyinden önce ölçülen şey iletim verimliliğiydi: aynı bilgi tek bir talimat dosyasına bütünüyle dökülmek yerine yola bağlı olarak iletildiğinde bağlam yüküne ne olduğu. Bu test paketi açıktır ve github.com/pathrule/benchmarks adresinden çalıştırılabilir. Sabitlenmiş, açık kaynak bir depoyu (Fastify) klonlar, onu ekip tarzı bilgiyle besler ve aynı on prompt'u her koşul için bir kez olmak üzere iki kez sorar; puanlama mekaniktir ve her hücre için üç çalıştırma yapılır.

Birincil metriği, zor seviyedeki toplam ayak iziydi, yani modelin tur başına işlediği token'lar:

Bu karşılaştırma nedir, ne değildir. Aynı bilgi tabanını iletmenin iki yolunu karşılaştırır: her şeyin tek bir dosyada olması ile yalnızca ilgili kısmın iletilmesi. Pathrule'un tek başına çalışan bir ajana karşı ölçümü değildir ve toplam ajan harcamanıza dair bir iddiaya genellenemez. Codex satırı karışıktır ve karışık olarak yayımlanmıştır. Rapor, Pathrule'un daha pahalıya geldiği hücreleri de yayımlar. Prompt önbellekleme statik bir dökümü ucuzlattığı için, faturalanan ve önbellekten gelmeyen token'lar toplam ayak izinin yanında gösterilir.

Yukarıdaki payload sonucuyla birlikte okunduğunda ikisi tutarlı bir şey söyler: Pathrule'un gönderdiği bilgi çok daha küçüktür ve bunun genel kullanımınızı ne kadar etkileyeceği tamamen oturumlarınızda neyin baskın olduğuna bağlıdır.

Kod taraması bu açığı neden kapatmaz

Pathrule olmadan yapılan çalıştırmalar bir araç hatası değil. Ajan makul olanı yaptı: kodu okudu ve üzerinde akıl yürüttü. Eksiklik yapısaldır. İhtiyaç duyduğu bilgi kaynak kodun bir özelliği değil, bir ekip kararıydı ve ne kadar ek tarama yapılırsa yapılsın dosyaların kayda geçirmediği bir karar ortaya çıkmaz.

Uyum deneyinin aslında ölçtüğü şey budur: zaten var olan bilgiyi her oturumda yeniden keşfetmenin maliyeti. Ayrıntılar için bilginin nasıl biriktiğine bakın.

Rakamlar ne anlama gelmez

• Garanti değildir. Yukarıda anlatılan düzenlerde ölçtüklerimizdir. Sizin sonuçlarınız görevlerinize, kod tabanınıza, ekibinizin bilgisinin ne kadarının kayda geçirildiğine ve çalıştırdığınız ajana bağlıdır.
• Göreve bağlıdır. Cevabı zaten açık olan dosyada bulunan bir değişiklik uyum kazancı göstermez, çünkü kaçırılacak gizli bir şey yoktur.
• Kod tabanına bağlıdır. Etki, ekibinizin bilgisinin ne kadarının kayda geçirildiğiyle orantılı olarak büyür.
• Modele ve araca bağlıdır. Farklı ajanlar dosyaları farklı sıklıkta okur ve araçları farklı sıklıkta çağırır.
• İşe neyin ulaştığını tarif ederler, üretilen kodun boyutunu ya da kalitesini değil.

Neleri yayımlıyoruz, neleri yayımlamıyoruz

Ölçtüklerimizi, koşulları, sınırları, nötr hücreleri ve Pathrule'un daha pahalıya geldiği hücreleri yayımlıyoruz.

Sistemin hangi bilgiyi öne çıkaracağına nasıl karar verdiğini yayımlamıyoruz. İç işleyişi değil de davranışı anlamak istiyorsanız, aramanın doğru bilgiyi nasıl bulduğu sayfası gözlemleyebileceklerinizi, güvenlik ve geri dönüş sayfası da sistem emin olmadığında ne olduğunu anlatır.