Kəşf Metrikaları: Kəşf səylərinizin effektivliyini necə ölçmək olar

Unsplash-də Noble Mitchell-in şəkli

Ən yaxşı Məhsul qrupları, məhsullarında əsas dəyəri, istifadəni, texniki imkanları və biznes risklərini azaltmaq üçün səy göstərərək həftədə bir neçə fərziyyə sınayırlar. Bəs bu düşüncə tərzini komandanıza necə aşılaya bilərsiniz və bunun məhsulunuz üçün sürücülük dəyəri olduğunu necə bilirsiniz?

Dekabr ayında Teresa Torres tərəfindən SuperAwesome-da Teresanın imkan həll ağacını necə tətbiq etdiyimiz haqqında ProductTalk məqaləsində yer aldım. Bu təqib məqaləmdə bunu necə davam etdirdiyimizi və məhsulumuzun kəşfinin effektivliyinə verdiyi təsirini ölçmək üçün bir yol tapdığımı izah edirəm.

Fürsət-Həll ağacından istifadə etmək

Buradakı fürsət həlli ağacı haqqında ətraflı məlumat verməyəcəyəm, çünki bu əvvəlki məqalədə göstərilmişdir. Bir sözlə, məhsulunuz üçün müəyyən bir ölçülə bilən nəticəni çatdırmaq üçün qrupunuzun müəyyən etdiyi imkanlar ətrafında düşüncənizi təşkil etmək üçün əla bir yoldur.

Bunun xaricində, orijinal nəticəni və nəticələr, imkanlar və həll yolları arasındakı əlaqəni seyr edərkən hər fürsətə çatdıran müxtəlif həll yollarını izləməyə imkan verir. Ağacın çıxışı, komandanın hər bir həll ətrafında fərziyyələrini sınamaq üçün işlədəcəyi təcrübələr toplusudur. Bu təcrübələrin nəticələri fərqli həlləri müqayisə etmək və zidd etmək üçün istifadə edilə bilər və nəticədə seçilmiş fürsəti çatdırmaq və istədiyiniz nəticəni əldə etmək üçün ən yaxşı yolu tapır.

SuperAwesome-da Fürsət-Həll Ağacını uyğunlaşdırırıq

SuperAwesome-də bu əla vasitəni istifadə edərkən, modeldə təkrarlamağa davam edirik və məhsul komandalarımızda müxtəlif yollarla uyğunlaşdırdıq. Bu, daha vizual ağac diaqramından fərqli olaraq asanlıqla süzülə bilən və yenidən qurula bilən cədvəlli bir quruluşa üstünlük verənlər üçün onu bir cədvəl formatına uyğunlaşdırmağı əhatə etmişdir.

"Çözümlər" və "təcrübələr" arasındakı ağaca "fərziyyələr" hissəsini də əlavə etdik. ProductTalk məqaləsində izah etdiyim kimi, bu mümkün olanı ən yaxşı şəkildə həll etdiyimizə əmin olmaq üçün təsdiqlənməli olan əsas ehtimallara dair həll yollarımızı parçalayarkən daha diqqətli olmaq istəyirik. Bəzən müəyyən bir məhsul KPI-də sürücülük inkişafının uğurlu olub olmadığını öyrənmək üçün xüsusiyyəti qurmağımızı və AB-ni sınamağımızı hiss etdik və fərziyyələrimizi etibarsızlaşdırmaq üçün gördüyümüz işləri minimuma endirdiyimizi təmin etmək istədik. Buradakı açıq bir problem, həll edilən nəticənin əldə edilmədiyini tapsaq bu səyin boşa çıxması idi.

Ağacın seçilmiş quruluşundan və ya fərqli komandaların görüntüləməyi seçməsindən asılı olmayaraq, yadda saxlamağın vacib olanı əsas prosesin eyni qalmasıdır. Bu prosesi fürsət təhlili kimi düşünməyə başladım. Bunun nəticələrini verəcəyinə inandığımız həll yolları ilə yaxşı tanış olmağa meylli olduğumuz üçün, problem məkanını daha yaxşı başa düşmək üçün vaxt ayırmaq çox vaxt daha az mürəkkəb və ya istifadəçilərimizin ehtiyaclarını daha yaxşı ödəyən alternativ həllər ortaya qoya bilər. Bu sayədə fürsət təhlili etməsəydik, göz ardı edə biləcəyimiz daha təsirli bir həll tapa bilərik.

Fürsəti bu şəkildə təhlil etmək, bu prosesi həqiqətən dəyərli edən şeydir. Fürsətimizi sınanması lazım olan fərziyyələr ətrafında düşünməyə kömək edən həll ediləcəyimiz qədər araşdırmağı öyrədir.

Beləliklə, nə ölçürük?

Bu addımı daha bir addım ataraq, kəşf proseslərimizin sürətini və keyfiyyətini ölçmək üçün bir yol tapmaq istədik. Bu, fürsət həlli ağacından istifadə etməyimizin arzuolunan effekti verib-verməməyimizi göstərir. Bunu inkişafın çatdırılma mərhələsi üçün etdiyimizi düşündük və buna görə də eyni yanaşmanı kəşfə tətbiq etmək mənası verildi. Çatdırılma üçün Gene Kim, Jez Humble və Nicole Forsgren, "Sürətləndirin: Yağsız Proqram və Devopların Elmləri" kitabı və DevOps Dövləti ilə əlaqəli hesabatların müəllifləri tərəfindən təyin edilmiş ölçülərdən istifadə edirik. Tədqiqatları bu ölçüləri təşkilat fəaliyyətinin (gəlirlilik, bazar payı, məhsuldarlıq və s.) Proqnozlaşdırıcı olduğunu göstərdi.

Bu çatdırılma ölçmələri keyfiyyət ölçüsü olaraq "bərpa etmək üçün vaxt" (MTTR) və "uğursuzluq dərəcəsidir", eləcə də keçid ölçüsü olaraq "qurğuşun vaxtı" və "yerləşdirmə tezliyi" dir. Bu ölçümlərdən istifadə, bir məhsul komandasının keyfiyyət və ötürmə qabiliyyəti arasında güzəşt tapması barədə mifi aradan qaldırmağa kömək etdi. Bunun əvəzinə, müəyyən ən yaxşı təcrübələrə riayət etməklə hər iki sahədə yaxşılaşdırma məqsədini irəli sürürlər.

Müştərilərimizə ən çox dəyər (keyfiyyət) verə biləcəyimizə dair ən yaxşı qərarlar qəbul etməyimizi təmin etmək və istifadəçilərimizin ehtiyaclarını və ehtiyaclarını öyrəndiyimiz sürəti maksimum dərəcədə artırmağı təmin etmək üçün oxşar modeli kəşfimizə tətbiq etdik. davranış (ötürmə qabiliyyəti).

Ümumi komanda ölçümlərimizin bir hissəsi olaraq iki yeni ölçü təqdim etdik. Bunlar "hər bir sprint üzrə sınaqdan keçirilmiş fərziyyələrin sayı" (ötürmə qabiliyyəti) və "həftədə göndərilən ölçülmüş dəyər" (keyfiyyət) idi. Bu "sınanmış fərziyyələr" hər sınaqdan keçirdiyimiz təcrübədən nə qədər öyrəndiyimizi ölçməkdir; "Göndərilən ölçülən dəyər" nə qədər dəyərli məhsul yaxşılaşdırıldığını ölçür. Buradakı müddət arasındakı fərq davamlı çatdırılmanı dəstəkləmək və sprint boyunca sərbəst buraxılmağımızı təmin etmək idi.

Bunları özümlə hər komandadan Məhsul Meneceri arasında bir dəfə bir yayınma yolu ilə ölçürük. "Göndərilən ölçülmüş dəyər" maddələri ilə danışırıq və hər bir maddə üçün aşağıdakı dörd suala cavab verməyə çalışırıq:

  1. Xüsusiyyət / dəyişiklik / inkişaf nədir?
  2. Bundan nə qazanacağımızı gözlədiyimiz dəyər nədir?
  3. Uğuru necə ölçdük?
  4. Nəticə nə oldu?

Nəticənin dəyişikliyin istədiyiniz nəticəni göstərdiyini təsdiqlədikdən sonra onu "ölçülmüş dəyər" maddəsi saymaq olar. Yuxarıdakı suallarda nəzərə alınsa da, bu metrikanın bir hissəsi olaraq bir xüsusiyyətin ölçüsünü, səyini və təsirini nəzərə almırıq. Nəticədə məqsəd məhsul təkmilləşdirmələrinin ölçülə bilən dəyərlə nəticələnməsini təmin etməkdir, lakin fərqli maddələrə subyektiv ağırlıqlar təyin etməkdən bezmək istəmirik.

Bənzər bir yanaşmanı "sınanmış fərziyyələr" ilə izləyirik, bu dəfə aşağıdakı dörd suala cavab veririk:

  1. Test ediləcəyi ehtimal / fərziyyə nə idi?
  2. Bunu necə sınadıq?
  3. Nəticə nə oldu?
  4. Nəticə fərziyyəmizi doğruldur və ya etibarsız etdi?

Bu suallara kifayət qədər cavab verdikdən sonra bunu "sınanmış bir fərziyyə" olaraq qiymətləndirə bilərik. Burada qeyd edilməli vacib fərq ondan ibarətdir ki, “sınaqdan keçirilmiş fərziyyələrə” keçid ölçüsü kimi baxdığımızda fərziyyənin sayılmaq üçün təsdiqlənməsinə ehtiyac yoxdur, çünki nəticədən asılı olmayaraq bir şey öyrənmişik.

Bu tədbirlər sonra hamısı bir cədvəldə ələ keçirilir və hər bir metrik üçün təyin etdiyimiz hədəflərlə birlikdə bir qrafikdə görüntülənir. Bu, hər bir məhsul komandasına hədəfə qarşı necə göründüklərini göstərir. Müvəffəqiyyətlərimizi və uğursuzluqlarımızı zaman keçdikcə prosesimizi yaxşılaşdırmaq üçün bir-birimizə çağıra biləcəyimiz bir qrup komandası nəzərdən keçirmə sessiyasında paylaşırıq. Məqsəd komandaları eksperimentlərin daha sürətli, daha ucuz yollarını tapmağa təşviq etməkdir. İdeal olaraq, bu, mümkün olduğu yerdə heç bir kod yazmadan ediləcəkdir. Sonra eyni zamanda komandalarımızın həqiqətən dəyərli xüsusiyyətləri inkişaf etdirmək üçün ən riskli fərziyyələri sınamasını təmin etmək istəyirik.

Bunun təsiri nədir?

Fürsət həlli ağacından istifadə etməyimiz, az və ya çox inkişaf etdirməməyi tələb edən paralel olaraq çoxsaylı təcrübələr aparmaq üçün məhsul qruplarımız arasında bir zehn dəyişikliyinə səbəb oldu. Bu da Mühəndislər, Dizaynerlər və Məhsul Menecerləri ilə birlikdə sürətli təcrübə və birgə öyrənmə generativ mədəniyyətimizin bir hissəsi olaraq qəbul edilən məhsul qərarlarına töhfə verən məhsul kəşfinə dair ortaq bir yanaşmamızı gücləndirdi.

Kəşf ölçümlərimizi yuxarıda göstərilənlərlə birlikdə istifadə etməyimiz dəyişikliklərin təsirini ölçməyə imkan verdi. Gördüklərimiz hər komandanın hər bir sprint başına apardığı təcrübələrin sayının üç qat artması və müştərilərimizə çatdıra biləcəyimiz ölçü dəyərinin davamlı artmasıdır.

Kəşf səylərimizə kömək etmək və interneti uşaqlar üçün daha təhlükəsiz etmək istəyirsiniz? İşə qəbul edirik!