http://www.hbrturkiye.com/blog/inovasyon/yalin-girisimde-deney-tasarimi
Çoğu girişim, fikirlerini doğrulamak için gereken deney ya da test sürecini planlamakta zorlanıyor. Daha da kötüsü; önce fikirlerini öne sürüyor, gereken geliştirmeleri yapıyor fakat hipotezlerini ancak bundan sonra ve yarattıkları ürün ya da özelliği temel alarak test etmeye çalışıyorlar. Burada problem insan beyninin, harcanan çabanın boşa gitmemesi için fikrini doğrulamaya daha meyilli hale gelmesi. Genel eğilim, fikrin ürüne sağlayacağı artı ve eksileri belirlemek için gereken test ortamını ve çıkan sonuçları analiz ederken kısa yolu seçmek oluyor.
Hepimizin yakından takip ettiği Lean Startup (Yalın Girişim) metodolojisiyle hayatımıza giren yarat-ölçümle-analiz edip öğren döngüsü burada tam anlamıyla işleyemiyor. Dolayısıyla deney sürecini tasarlamak için bu döngüyü şu şekilde güncellemek gerekiyor.
- Neyi öğrenmek istediğini belirle
- Bunu nasıl ölçeceğini belirle (Ölçülecek metrikleri, hedefleri ve yapılacak deneyi tanımla)
- Elde etmek istediğin veriye ulaşmak için nasıl bir özellik eklemek gerektiğini belirle
- Ölç
- Sonuçları analiz et
DOE nedir?
DOE, mühendislik problemlerinin çözümünde geçerli ve kabul edilebilir sonuçları garantilemek için, bilgi toplama aşamasında uygulanacak yöntemlerle sistematik ve titiz bir yaklaşım sunuyor. Tüm bu süreç, yalın girişimle uyumlu olacak şekilde zaman, para ve işgücünü etkin kullanıp doğru sonuç almaya ve öğrenmeye odaklanıyor. Deney tasarımı yöntemleriyle testlerin oluşturulmasını ve yönetilirken de değişkenlerin zekice kurgulanıp en yüksek verim alınmasını sağlıyor.
Nerede ve neden kullanmalı?
DOE birden çok etkenin istenen hedefe ne kadar faydası olacağını aynı anda belirlemeye yarıyor. Bu faktörlerin aynı anda test edilmesi, her faktörün tek başına test edildiği bir yaklaşımda gözden kaçabilecek unsurlar arası ilişkileri belirlemeye yardımcı oluyor. Tüm olası kombinasyonları (full factorial) veya olasılıkların sadece bir kısmını (fractional factorial) test etmeniz mümkün. Diyelim ki, bir web uygulamasının üye olma akışında yapılacak iki farklı değişikliğin, üye olma sayfasında vazgeçme oranının yüzde 30’un altına düşürmesi hedefleniyor. Bu varsayımı test edip en etkili sonuca ulaşmak için dört farklı test yapılması gerekir.
DOE, birden çok girdinin çıktıyı etkilediğinden şüphe ettiğiniz durumlarda işinize en çok yarayacak yöntem. Yani, yalın girişimle sürekli ortaya attığımız sebep sonuç varsayımlarının analizleri için birebir. En çok tartışılan varsayımlara örnekler vermek gerekirse; üye olma formları, havalı başlıklar, buton renkleri, altbilgi alanı, konulacak filtreler ve bilgi verici yazıların konumunu sayabiliriz. Bu sayfalara DOE metodu uygulamak için, A/B testi uygularken yaptığımız gibi radikal iki farklı tasarım ortaya çıkarmak yerine iki farklı üyelik formu, üç farklı başlık, dört farklı filtre oluşturup, uyarı mesajının konumu için farklı denemeler yapabiliriz. Fakat burada dikkat çekilmesi gereken nokta, tüm bu kombinasyonları denemek için günlük olarak ciddi bir trafik çekiyor olmamız gerektiği. Testler tamamlandıktan sonra hangi versiyonun daha iyi sonuç verdiği, oranlarla kendini gösterecektir.
Deney tasarımı yaklaşımının en büyük faydası belirli unsurlar yapılan testler sonucunda elde edilen verinin, ileriki akış ve sayfa tasarımlarında kullanılabilir olması. Söz konusu unsurlar ve onların diğer unsurlarla ilişkileri üzerine yapılan analizler bağlamdan bağımsız şekilde tekrar kullanılabilir.
Yaklaşımın en büyük sınırlaması, yukarıda bahsettiğim gibi tüm olasılıkların test edilmesi için büyük oranda bir trafiğe ihtiyacı duyması. Ayrıca, eklenen her yeni unsur, yapılacak test kombinasyonunu arttırıyor. Dolayısıyla yaklaşımın test süreci içindeki konumunu iyi planlanmak gerekiyor. Yapılacak değişiklikler için harcanacak kaynaklar düşünülünce, bazen sadece A/B testi de yeterli olabilir.
