Aynı elli görevde Yoystro ve altı model

Özet

Aynı elli SWE-bench Verified görevi, aynı bağımsız değerlendirme ve aynı donanımda Yoystro ve altı modelle çalıştırıldı. Ölçülen sistem Yoystro, bilişsel yapay zeka altyapısıdır.

Yoystro 48/50 görev çözdü (%96,0), tamamlanan görev başına 0,15 dolar harcadı ve elli görevin tamamını yaklaşık 64 dakika AI çalışma süresiyle bitirdi. Karşılaştırılan en iyi model 46/50 (%92,0) ve tamamlanan görev başına 0,33 dolarda kaldı; en pahalı model 42/50'yi tamamlanan görev başına 1,07 dolara çözdü. Fark model gücünden gelmiyor: Yoystro'nun kullandığı model kademesi tek başına koştuğunda 43/50'de kalıyor, aynı model Yoystro'nun altında 48/50'ye çıkıyor.

1Giriş

Yoystro bir kodlama aracı değil, bilişsel yapay zeka altyapısıdır: kurumun kendi kod tabanı hakkındaki hafızası ve bu hafızayı kullanan denetlenebilir bir iş akışı.

"Bilişsel" sıfatı bir benzetme değil, ölçülen bileşenlerin adıdır: kurumsal hafıza katmanı, kurala bağlı iş katmanı, akıllı yönlendirme ve doğrulanmış teslim. Bu raporun bütün sayıları bu dört bileşenin birlikte ölçümüdür; hiçbiri tek bir modelin yeteneğine yazılamaz.

Altyapının çözmeye çalıştığı üç problem vardır. Birincisi kullanım ekonomisidir: sürekli kullanımda model çağrılarının maliyeti ve sağlayıcı tarafındaki kullanım limitleri, işin hızını belirleyen asıl kısıt hâline gelir. İkincisi bağlam sürekliliğidir: kurumun kod tabanı hakkında bir kez öğrenilen bilgi oturumlar arasında taşınmazsa her yeni işte yeniden üretilir ve yeniden ödenir. Üçüncüsü iş dağılımıdır: kurala bağlanabilen, kurala bağlı biçimde kapanabilecek işin modele gönderilmesi hem gereksiz maliyet hem gereksiz belirsizlik üretir.

Karşılaştırmanın ekseni bu üç problemden çıkar: tamamlanan görev oranı tek başına yeterli değildir. Aynı işin kaça ve ne kadar sürede bittiği ve bilginin görevler arasında taşınıp taşınmadığı aynı tabloda durmalıdır.

2Yöntem

2.1 Küme ve bağımsız değerlendirme

Küme, SWE-bench Verified'ın 500 kaydından sabit bir tohumla seçilmiş 50 gerçek görevdir ve çalıştırmalar boyunca dondurulmuştur: farklı günlerin sayıları aynı görevleri ölçer.

Bağımsız değerlendirme, SWE-bench'in kendi ölçüm düzeneğidir, kapalı konteyner içinde, her taraf için aynı görüntü ve aynı ayıklayıcıyla koşar. Sonucu kimse elle vermez. Nihai çalıştırmada elli görevin ellisi sonuç almıştır; ölçülemeyen görev yoktur.

2.2 Karşılaştırılan taraflar

Bir tarafta Yoystro'nun tam politikası, diğer tarafta tek modelli altı komut satırı kodlama asistanı vardır; her biri kendi kod tabanı kural dosyasıyla, kendi varsayılan ayarlarında çalıştı. Yayımlanmış sürümde bu altı model sınıf adıyla anılır. Bu raporda karşılaştırılan her araç ve model yapılandırmasına kısaca "model" denir.

Karşılaştırılan altı modelin hepsi taban sürümde, temiz bir çalışma kopyasında ve görev başına on beş dakika tavanıyla çalıştı.

2.3 Adalet ilkeleri

Karşılaştırılan araçlara çözümü kolaylaştıracak hiçbir ipucu verilmedi: testler önceden uygulanmadı, başarı ölçütü söylenmedi, dosya yolu gösterilmedi. Her tarafa verilen tek girdi görevin kendi genel erişime açık sorun metnidir. Bağımsız değerlendirmenin aradığı test adları hiçbir tarafın girdisinde geçmez ve bu konteyner düzeyinde garanti altındadır.

Aynı görev kümesi, aynı bağımsız değerlendirme, aynı donanım ve aynı fiyat kaynağı iki tarafta da geçerlidir.

2.4 Dolar ve süre

Dolar. Sağlayıcı 2 modellerinde token tüketimi yayımlanmış liste fiyatıyla çarpıldı. Sağlayıcı 1 modellerinde aracın kendi bildirdiği toplam maliyet alındı ve bu değer ayrıca liste fiyatıyla çapraz doğrulandı. Hiçbir modele sıfır maliyet yazılmadı: sıfır "bedava çalıştı" anlamına gelirdi.

Süre. Araç ve model çalışma süresidir. Bağımsız değerlendirmenin konteyner çalıştırması ve kullanım limiti beklemeleri hiçbir süre sütununda yoktur.

3Sonuçlar

3.1 Ana karşılaştırma

%95 güven aralıkları (Wilson yöntemi) skor ekseninde kısmen örtüşür (Yoystro %86,5 ile %98,9; en yakın model %81,2 ile %96,8). Elli görevlik bir örneklemde bu beklenen bir sonuçtur ve raporda saklanmaz. Maliyet ekseninde örtüşme yoktur: Yoystro'nun tamamlanan görev başına 0,15 doları, en yakın rakibinin yarısından azdır.

3.2 Zorluk sınıfları

Kümenin resmî etiketiyle dağılımı 22 kolay, 20 orta ve 8 zordur. Zor sınıf, bir tarafın gerçekten ne yapabildiğini gösteren yerdir: kolay görevlerde bütün taraflar birbirine yaklaşır.

Zor sınıf tarafları ikiye ayırır: D 8/8, Yoystro ve E 7/8; A, B, C ve F ise 4/8 ile yarıya düşer. Kolay sınıfta Yoystro ve D 22/22 ile tavana oturur. Yoystro'nun toplamdaki üstünlüğü tek bir sınıftan gelmez, üç sınıfın hepsinde en üstte ya da en üste eşit durmasından gelir; iki görevlik farkı orta sınıfta üretir.

3.3 Süre ve bağlam tüketimi

Tek model Yoystro'dan kısa sürede bitiriyor: F, 61 dakikada 42 görev çözüyor; Yoystro üç dakika fazlasında altı görev fazla çözüyor. En yavaş model aynı işin altı görev eksiğini iki kattan fazla sürede bitiriyor.

Bağlam tarafındaki fark daha da büyüktür: Yoystro elli görevi 10,8 milyon okunan bağlamla bitirirken B modeli 71,2 milyon, A modeli 27,9 milyon harcıyor ve ikisi de altı ya da dört görev eksik çözüyor. Çıktı tarafında Yoystro 119 bin tokende kalıyor, B modeli 690 bine çıkıyor. Kuruma bir kez öğrenilen bilgiyi her görevde yeniden öğrenmemek, doğrudan bu sütunda görünür.

3.4 Katmanlar ve yönlendirme

3.5 Kullanım hakkı verimliliği

Sabit bir harcama penceresinde beklenen tamamlanan görev sayısı, "aynı bütçeyle ne kadar iş biter" sorusunun doğrudan cevabıdır.

Aynı yüz dolarlık pencerede Yoystro en yakın modelden %28, en pahalı modelden yaklaşık 7,3 kat daha çok görev çözüyor.

4Avantajlar

Aşağıdaki üç başlığın her biri bölüm 3'te ölçülmüş bir sayıya dayanır. Hiçbiri tek bir modelin başarısı değildir; altyapının bileşenlerinin ölçülen toplamıdır.

4.1 Maliyet: aynı iş, dörtte bir ile yedide bir arası fiyat

Tamamlanan görev başına 0,15 dolar, yedi taraflı karşılaştırmanın en düşüğüdür. En iyi skorlu karşılaştırılan model aynı işi 0,33 dolara, en pahalı model 1,07 dolara çözüyor. Elli görevin toplam faturası Yoystro'da 7,02 dolar, en pahalı modelde 44,92 dolardır. Bu fark bir indirim değil bir yapıdır: işin bir kısmı modele hiç gitmez, giden kısım da en ucuz yeterli seviyede kapanır. En pahalı model kademesinin bu çalıştırmada hiç çağrılmaması bunun göstergesidir.

4.2 Hız: bir saatin biraz üstünde elli görev

Elli görevin tamamı yaklaşık 64 dakika AI çalışma süresiyle bitti. Aynı skor bandındaki en yakın model 78, üçüncü model 84 dakika harcadı. Daha hızlı görünen tek model 61 dakikada 42 görev çözüyor; Yoystro üç dakika fazlasında altı görev fazla çözüyor. En yavaş model aynı işin altı görev eksiğini 134 dakikada bitiriyor.

Teslim tarafında da sayı vardır: kuyruk, hazırlık ve doğrulama dahil toplam teslim 138 dakikadır. Yani 138 dakika "değişiklik üretildi" değil, "değişiklik denetlendi" süresidir.

4.3 Daha iyi iş: üç zorluk sınıfında birden en üstte

48/50 yedi taraflı karşılaştırmanın en yükseğidir ve sınıf dağılımı bunun tek bir yerden gelmediğini gösterir: kolay sınıfta 22/22, orta sınıfta 19/20, zor sınıfta 7/8. Zor sınıfta bir taraf 8/8 ile bir görev önde, bir taraf 7/8 ile eşit; kalan dört taraf 4/8 ile yarıya düşüyor.

Fark modelin yeteneğinden gelmiyor ve göstergesi aynı tabloda durur: Yoystro'nun kullandığı model kademesi tek başına koştuğunda 43/50'de kalıyor, aynı model Yoystro'nun altında 48/50'ye çıkıyor. Beş görevlik bu fark bir model yükseltmesiyle değil, işin sürülme biçimiyle kazanıldı.

5Sonuç

Aynı elli görevde Yoystro 48/50 çözüyor, tamamlanan görev başına 0,15 dolar harcıyor ve elli görevi yaklaşık 64 dakika AI çalışma süresiyle bitiriyor. Karşılaştırılan en iyi model 46/50'yi tamamlanan görev başına 0,33 dolara çözüyor.

Fark modelden gelmiyor: Yoystro'nun kullandığı model kademesi tek başına koştuğunda 43/50'de kalıyor, aynı model Yoystro'nun altında 48/50'ye çıkıyor ve iki görev hiç modele gitmeden kapanıyor.

Ek A. Fiyat sınıfları ve dolar çevrimi

Sağlayıcı 2 modellerinde dolar, token tüketiminin yayımlanmış liste fiyatıyla çarpımıdır. Önbellekten okunan girdi ayrı fiyatlandırılır.

Sağlayıcı 1 modellerinde dolar, aracın kendi bildirdiği toplam maliyettir (düşünme tokeni dahil). Bu değer ayrıca liste fiyatıyla çapraz doğrulandı; iki modelde çevrim aracın bildirdiğinin altında, bir modelde üstünde çıktı ve tablo her üç durumda da aracın kendi bildirdiğini kullandı.

Ek B. Bağımsız değerlendirme raporları

Aşağıdaki tablo elli görevin her biri için bağımsız değerlendirmenin sonucunu ve test sonuçlarını taşır. FAIL_TO_PASS, değişikliğin geçirmesi gereken testlerdir; PASS_TO_PASS, değişikliğin bozmaması gereken testlerdir. Görev kimlikleri SWE-bench Verified'ın kamuya açık kimlikleridir. Tablo yalnız ana ürün çalıştırmasını kapsar.

Ek C. Üretilen değişiklikler

Elli görev için üretilen değişikliklerin tamamı ayrı bir belgededir: Doğrulama verileri: bağımsız değerlendirme raporları ve üretilen değişiklikler. O belge her görev için bağımsız değerlendirmenin özet sonucunu ve değişikliğin tamamını taşır. Ham dosyalar (bağımsız değerlendirme raporları, çalıştırma günlükleri ve değişiklikler) tek bir doğrulama paketi arşivinde de dağıtılır.