Thử nghiệm A/B Testing là gì?

Câu hỏi

Nghe vài người nói về phương pháp thử nghiệm A/B Testing. Nó được dùng nhiều trong marketing. Vậy A/B Testing là gì? Làm sao để áp dụng hiệu quả và những lỗi cần tránh là gì?

AB Testing là gì?

Đang trả lời 0
Nam Châm 2 tuần 2 Câu trả lời 50 lượt xem 0

Câu trả lời ( 2 )

  1. Clip mô tả sinh động về A/B Testing: https://youtu.be/-Kh0xCKoNvU

    Đây là quy trình điển hình khi chạy A/B testing:

    Thu thập mẫu (gather samples) -> Chia nhóm (assign buckets) -> Áp dụng thử nghiệm (apply treatments) -> Đo lường kết quả (measure outcomes) -> So sánh kết quả (make comparisons).

    Nghe có vẻ đơn giản phải không? Ngược lại, A/B testing là một quy trình chưa được nhìn nhận đúng mực và đòi hỏi nhiều thủ thuật trong phân tích, và đó là một kỹ năng mà hiếm khi được dạy trong nhà trường. Ta lần lượt khảo sát 5 pha của quy trình này:

    Thu thập mẫu (gather samples) – Chúng ta cần bao nhiêu mẫu dữ liệu? Ta nên chia bao nhiêu người dùng vào từng nhóm thử nghiệm? Chúng ta có đảm bảo các thử nghiệm đạt được chỉ số power?

    Chia nhóm (assign buckets) – Ai đủ điều kiện để đưa vào thử nghiệm? Có nên đưa một số người dùng được chỉ định để thử nghiệm nhưng không được phép thấy tính năng này không?

    Áp dụng thử nghiệm (apply treatment) – Có team nào trong tổ chức cũng đang chạy thực nghiệm trên cùng tính năng của ứng dụng này hay không? Làm thế nào để đối phó với các thực nghiệm trùng lặp và đảm bảo dữ liệu của chúng ta không bị xáo trộn?

    Đo lường kết quả (measure outcome) – Những giả thuyết của thử nghiệm là gì? Các số liệu thành công và thất bại của thí nghiệm này là gì? Chúng ta có thể theo dõi chúng không? Và làm thế nào? Ta cần thêm những thông tin gì trong quá trình ghi file log?

    So sánh kết quả (make comparisons) – Giả sử chúng ta thấy rằng số lượng người dùng đăng nhập vào gia tăng đáng kể, dữ liệu này có bị nhiễu không? Làm thế nào chúng ta biết kết quả như vậy là có ý nghĩa (significant)? Nếu thật sự có ý nghĩa thì trong thực tế điều này còn đúng không?

    Kỹ năng cần có:

    – Kiểm định giả thuyết thống kê (Hypothesis Testing): Statistical test, p-values, statistical significance, power, effect size, multiple testing.

    – Những cạm bẫy trong thí nghiệm (Pitfalls of Experimentation): Carryover effect, metrics cherry-picking, data dilution, bucket anomaly.

    (Nguồn: medium.com/@rchang/my-two-year-journey-as-a-data-scientist-at-twitter-f0c13298aee6)

    Dịch bởi Ong Xuan Hong

    Bình chọn là câu trả lời hay nhất
  2. A/B Testing là gì?

    A/B Testing (hay còn được gọi là split testing hay bucket testing) là một phương pháp để so sánh giữa 2 phiên bản của webpage hoặc ứng dụng nào đó, từ đó tìm ra được phiên bản nào hiệu quả tốt hơn.

    Thử nghiệm A/B về cơ bản là một cuộc thử nghiệm mà trong đó, hai hoặc nhiều biến thể của trang được hiển thị cho người dùng một cách ngẫu nhiên. Và những phân tích thống kê được sử dụng để xác định biến thể nào hoạt động tốt hơn cho mục tiêu chuyển đổi nhất định.

    Việc sử dụng AB testing để so sánh trực tiếp một biến thể với trải nghiệm hiện tại cho phép bạn có thể đặt ra câu hỏi về các thay đổi cho trang web hoặc ứng dụng. Và sau đó, bạn có thể thu thập dữ liệu về hiệu quả của những sự thay đổi đó.

    Testing sẽ đưa ra những phỏng đoán về việc tối ưu hóa trang web và cho phép đưa ra các quyết định về thông tin dữ liệu mà sẽ chuyển các cuộc hội thoại kinh doanh từ “chúng tôi nghĩ” sang “chúng tôi biết“.

    Bằng cách đo lường thay đổi của những biến đổi trong số liệu, bạn có thể đảm bảo rằng mọi thay đổi đều mang lại kết quả tích cực.

    Test link

    Test link là một hệ thống quản lý kiểm tra dựa trên web tạo điều kiện đảm bảo chất lượng phần mềm. Nó được phát triển và duy trì bởi Teamtest. Nền tảng cung cấp hỗ trợ cho các trường hợp thử nghiệm, bộ thử nghiệm, kế hoạch thử nghiệm, dự án thử nghiệm và quản lý người dùng, cũng như các báo cáo và thống kê khác nhau.

    Quy trình A/B Testing

    Có nhiều cách triển khai a/b testing khác nhau nhưng cách hiệu quả nhất khi triển khai quy trình A/B Testing là gì? Dưới đây là quy trình A/B Testing mẫu bạn có thể sử dụng để bắt đầu cuộc thử nghiệm:

    – Thu thập data: Những phân tích của bạn thường sẽ cung cấp cái nhìn sắc nét, rõ ràng về nơi bạn có thể bắt đầu tối ưu hóa. Nó giúp bạn bắt đầu với các khu vực có lưu lượng truy cập cao của trang web hoặc ứng dụng. Vì điều này sẽ cho phép bạn thu thập dữ liệu nhanh hơn. Việc tìm kiếm các trang có tỷ lệ chuyển đổi thấp hoặc tỷ lệ rơi (drop-off) cao có thể được cải thiện.

    – Xác định mục tiêu: Mục tiêu chuyển đổi của bạn là số liệu mà bạn đang sử dụng để xác định xem biến thể có thành công hơn phiên bản gốc hay không. Mục tiêu có thể là bất cứ thứ gì từ việc click vào nút hoặc liên kết đến trang web bán hàng.

    – Tạo ra giả thuyết: Khi bạn đã xác định được mục tiêu, bạn có thể bắt đầu tạo ra các ý tưởng và giả thuyết AB Testing về lý do tại sao bạn nghĩ rằng chúng sẽ tốt hơn phiên bản hiện tại. Một khi bạn có một danh sách các ý tưởng, hãy ưu tiên chúng theo mức độ tác động dự kiến ​​và độ khó khi thực hiện.

    Tạo các biến thể: Sử dụng phần mềm A/B Testing của bạn (chẳng hạn như Optimizely). Điều này giúp thực hiện các thay đổi theo ý muốn đối với một thành phần của trang web hoặc trải nghiệm ứng dụng di động của bạn.

    Điều này có thể chỉ đơn giản là:
    – Thay đổi màu của một nút CTA
    – Hoán đổi thứ tự các thành phần trên trang
    – Ẩn các thành phần điều hướng hoặc một thứ đó có thể hoàn toàn tùy chỉnh được.
    – Nhiều công cụ A/B Testing hàng đầu có trình chỉnh sửa trực quan sẽ giúp những thay đổi này trở nên dễ dàng hơn. Hãy đảm bảo thử nghiệm của bạn có thể hoạt động đúng như mong đợi.

    – Chạy thử nghiệm: Hãy bắt đầu thử nghiệm của bạn và chờ người dùng truy cập vào!
    Ở bước này, khách truy cập vào trang web hoặc ứng dụng của bạn sẽ được chỉ định ngẫu nhiên để kiểm soát hoặc thay đổi trải nghiệm của bạn. Sự tương tác của họ với từng trải nghiệm được đo lường, tính toán và so sánh để xác định cách thức từng cách hoạt động.

    – Phân tích kết quả: Khi thử nghiệm của bạn hoàn tất, đã đến lúc phân tích kết quả.

    Phần mềm A/B Testing của bạn sẽ xuất ra dữ liệu từ thử nghiệm và cho bạn thấy sự khác biệt giữa cách hai phiên bản trang web đang hoạt động. Và liệu có sự khác biệt đáng kể về mặt thống kê hay không?

    Nếu biến thể của bạn đã thành công thì xin chúc mừng! Để xem bạn có thể áp dụng các bài học rút ra từ thử nghiệm trên các trang khác của website không và tiếp tục lặp lại các thử nghiệm để cải thiện kết quả.

    Nếu thử nghiệm của bạn tạo ra kết quả âm hoặc không mang lại kết quả, đừng lo lắng. Hãy xem thử nghiệm đó như một kinh nghiệm học tập và tạo ra giả thuyết mới mà bạn có thể kiểm tra.

    Bất kể kết quả của cuộc thử nghiệm của bạn là gì, hãy sử dụng kinh nghiệm của bạn để áp dụng cho những bài test khác trong tương lai. Và lặp đi lặp lại không ngừng trong việc tối ưu hóa ứng dụng hoặc website của bạn.

    A/B Testing SEO

    Google cho phép và khuyến khích A/B Testing và đã tuyên bố rằng: Việc thực hiện A/B Testing hoặc đa biến không gây ra những sự cố hay rủi ro nào cho xếp hạng tìm kiếm trên website. Tuy nhiên, nó có thể gây bất lợi cho thứ hạng tìm kiếm của bạn nếu lạm dụng công cụ A/B Testing cho các mục đích như che giấu.

    Google đã cung cấp một số ví dụ cụ thể để đảm bảo rằng điều này không xảy ra:

    – Không che giấu – Che giấu là cách website của bạn hiển thị nội dung trên các công cụ tìm kiếm khác với những gì mà khách truy cập thông thường sẽ thấy. Che giấu có thể khiến website của bạn bị rớt top hoặc thậm chí bị xóa khỏi kết quả tìm kiếm.

    Để ngăn chặn việc “che giấu”, bạn không nên lạm dụng những phân đoạn khách truy cập để hiển thị nội dung khác nhau cho Googlebot dựa trên địa chỉ người dùng hoặc đại lý IP.

    – Sử dụng thẻ rel = “canonical” – Nếu như bạn thử nghiệm riêng biệt với nhiều URL, bạn nên sử dụng thuộc tính rel = “canonical” để hướng các biến thể trở lại phiên bản gốc của trang. Làm như vậy sẽ ngăn chặn việc Googlebot bị nhầm lẫn bởi nhiều phiên bản của cùng một trang.

    – Sử dụng redirect 302 thay vì 301s – Nếu như bạn thử chuyển hướng URL gốc sang URL biến thể, hãy sử dụng redirect 302 (tạm thời) so với redirect 301 (vĩnh viễn). Điều này giúp cho các công cụ tìm kiếm như Google biết rằng việc chuyển hướng này là tạm thời. Và họ nên giữ URL gốc được lập chỉ mục thay vì URL được kiểm tra.

    – Chỉ chạy thử nghiệm khi cần thiết – Việc thử nghiệm lâu hơn mức cần thiết, đặc biệt khi bạn đang sử dụng một biến thể của trang cho một tỷ lệ lớn người dùng. Điều này có thể được coi là một nỗ lực để đánh lừa các công cụ tìm kiếm. Google khuyên bạn nên cập nhật trang web của mình và xóa tất cả các biến thể kiểm tra trang web của bạn ngay khi thử nghiệm kết thúc. Và đặc biệt, tránh chạy thử nghiệm lâu không cần thiết.

    4 lỗi Testing A/B thường gặp và cách khắc phục chúng

    #1 Công cụ testing của bạn bị lỗi

    Sự nổi tiếng là một con dao hai lưỡi và điều này vẫn luôn đúng ngay cả với phần mềm A/B testing.

    Sự phổ biến của phương pháp testing A/B đã tạo ra nhiều phần mềm với chi phí thấp và tuyệt vời, nhưng về chất lượng thì lại không nhất quán.

    Nhiều công cụ khác nhau dĩ nhiên sẽ có chức năng khác nhau nhưng có vài điểm khác biệt bạn cần phải lưu ý. Và nếu bạn không ý thức được những điểm khác biệt đó thì quá trình A/B testing sẽ gặp khó khăn từ trước khi bạn bắt đầu.

    Thực tế đã chỉ ra rằng trung bình mỗi lần load trang kéo dài thêm 1 giây cũng làm giảm đi 11% lượt viewvà kèm theo đó, tỉ lệ chuyển đổi cũng giảm 7%. Điều này tạo ra một cơn ác mộng thực sự khi mọi nỗ lực cải thiện website bằng A/B testing lại cản trở tiến trình làm việc của bạn.

    Và ngay cả khi bạn nghĩ, mọi chuyện không thể tồi tệ hơn được nữa, thì chính quyết định lựa chọn phần mềm A/B testing nào của bạn cũng sẽ tác động đến kết quả của việc kiểm tra.

    Neil Patel là một chủ doanh nghiệp và là một người có sức ảnh hưởng. Patel đã phát hiện rằng phần mềm A/B Testing anh ấy hiện đang sử dụng có những điểm khác biệt rõ rệt. Nhưng khi ông tạo một trang mới thì lại không nhận thấy sự thay đổi trong việc chuyển đổi.

    Nguyên nhân thật ra bắt nguồn từ công cụ testing (testing tool) bị lỗi.

    Vậy những việc bạn nên làm để đảm bảo hiệu quả hoạt động của phần mềm testing A/B là gì trong vô vàn bẫy ngầm đang đợi bạn?

    Cách giải quyết – Chạy A/A test

    Trước khi chạy A/B test, bạn nên chạy A/A test với phần mềm của mình để đảm bảo phần mềm vẫn hoạt động mà không tác động đến tốc độ và hiển thị nội dung của trang.

    Đối với dân nghiệp dư, A/A test cũng giống như A/B test. Điểm khác nhau chính là trong A/A test, cả 2 nhóm người dùng đều nhìn thấy cùng một trang web.

    Đúng vậy, điều phải làm ở đây là bạn cần phải so sánh trang web đó với chính bản thân nó.

    Nghe có vẻ hơi vô lý, nhưng khi chạy A/A test, bạn sẽ nhận ra nhiều vấn đề bắt nguồn từ phần mềm kiểm tra.

    Riêng đối với A/A test, bạn sẽ muốn kết quả kiểm tra của mình vô vị một tí.

    Bởi nếu bạn thấy tỉ lệ chuyển đổi bị giảm ngay khi bạn bắt đầu kiểm tra thì có lẽ công cụ bạn đang dùng đang làm chậm nó. Và nếu bạn thấy có nhiều sự khác biệt đáng kể giữa 2 trang thì có lẽ phần mềm của bạn mới là thứ bị lỗi.

    #2 Ngừng test ngay khi kết quả đạt mức

    Về mặt thống kê số liệu, việc này giống như là ôm banh rồi về nhà vậy. Thực ra, khi tiến hành A/B testing, việc ngừng test ngay khi bạn thấy kết quả mong muốn không chỉ đơn thuần là hành động phi thể thao, mà nó còn khiến kết quả mà bạn tạo ra trở nên vô nghĩa.

    Rất nhiều công cụ dung túng cho hành vi này bằng cách cho phép người dùng ngưng kiểm tra ngay khi đạt được kết quả mong muốn.

    Nhưng nếu bạn thực sự muốn cải thiện trang web của mình, bạn cần phải thay đổi ngay ý định muốn kết thúc quá trình A/B Testing sớm.

    Vấn đề ở đây được gọi là “false positives”: những kết quả đó sai lầm khi chỉ ra sự khác biệt giữa các trang với nhau. Bạn càng kiểm tra kết quả thường xuyên, bạn sẽ càng có nhiều cơ hội nhận được kết quả vốn tưởng là đúng nhưng bị khẳng định nhầm.

    Điều này sẽ không thành vấn đề nếu bạn bình tĩnh và tiếp tục kiểm tra thêm. Tuy nhiên nếu bạn kết thúc quá trình kiểm tra ngay khi bạn thấy kết quả khả quan thì có lẽ bạn đã bị “false positives” lừa rồi.

    Công ty phân tích Heap đưa ra kết quả mô phỏng cho thấy việc kết thúc kiểm tra quá sớm sẽ nguy hại đến kết quả của bạn như thế nào.

    Bằng phương pháp kiểm tra số liệu, sau đó kiểm tra kết quả từ 1000 người dùng cho thấy có 5% là “false positives”.

    Nếu người kiểm tra xem lại kết quả từ cùng nhóm người dùng đó 10 lần, khả năng gặp “false positives” sẽ tăng lên đến 19.55%. Và nếu kiểm tra 100 lần, thì 5% ban đầu sẽ gấp 8 lần, lên đến 40,1%.

    Những con số này sẽ giúp cảnh tỉnh bạn nếu lần kế tiếp bạn háo hức muốn kết thúc sớm với kết quả khả quan.

    Cách giải quyết – Bám theo một kích cỡ mẫu được định sẵn

    Hiểu được false positives là gì là một chuyện, còn để đối đầu với false positives là một chuyện khác. Để đối đầu với false positives, bạn phải đặt ra quy tắc. Bạn nên có một bộ mẫu trước khi chạy A/B test và chống lại cám dỗ khiến bạn muốn kết thúc sớm.

    Dù kết quả có khả quan ra sao đi nữa, cũng đừng băn khoăn không biết bộ mẫu phải lớn đến bao nhiêu. Trên mạng có rất nhiều công cụ giúp bạn tính toán kích cỡ tối thiểu. Vài công cụ phổ biến có thể kể đến Optimizely và VWO,…

    Lưu ý: Về kích cỡ số liệu mẫu, hãy nhớ rằng bạn cần một kích cỡ mẫu thực tế cho trang web của mình.

    Thực tế, ai cũng muốn có hàng triệu người dùng để thử nghiệm, nhưng không phải ai cũng có thể làm được điều đó. Tôi nghĩ bạn nên ước tính bạn sẽ thử nghiệm trong bao lâu để đạt đến bộ kích cỡ mẫu.

    #3 Bạn chỉ tập trung vào chuyển đổi

    Khi bạn đang lặn ngập trong những lần A/B test thì rất dễ bỏ qua bức tranh toàn cảnh. Để tôi giải thích cho bạn dễ hiểu hơn. Khi nói đến A/B testing, bạn thường tập trung vào mỗi việc chuyển đổi mà quên mất kết quả kinh doanh lâu dài.

    Dĩ nhiên là thêm nhiều bản sao vào web của bạn sẽ khiến tỉ lệ chuyển đổi cao hơn. Và nếu vậy thì người dùng đã qua chuyển đổi với chất lượng thấp hơn nhưng có tỉ lệ chuyển đổi cao hơn cũng sẽ không mang lại kết quả tốt cho doanh nghiệp.

    Bạn sẽ dễ bị những thứ phù phiếm thu hút sự quan tâm khi đang tiến hành AB testing. Nhưng bạn phải nhớ rằng, những thứ đó chỉ đánh lạc hướng bạn khỏi kết quả sinh lời thực sự.

    Nếu bạn đang thử nghiệm chiến thuật kêu gọi hành động nhằm dẫn đến landing page, bạn không nên chỉ chú tâm vào việc chuyển đổi đến trang landing page này. Thay vào đó bạn nên tính toán những đường dẫn tới trang và ràng buộc nó với lợi nhuận được sinh ra.

    Cách giải quyết: Kiểm chứng giả thuyết

    Trước khi tiến hành A/B test, bạn nên lập nên một giả thuyết bạn muốn chứng minh hoặc bác bỏ. Và khi tập trung giả thuyết này vào mục tiêu kinh doanh nhằm thúc đẩy kết quả doanh nghiệp, bạn sẽ tránh được những cám dỗ phù phiếm.

    Đặt ra giả thuyết để giải quyết các vấn đề

    Quá trình chạy A/B test nên được đánh giá dựa trên mức độ ảnh hưởng đến mục tiêu kinh doanh chứ không phải bất kỳ số liệu nào khác. Nên nếu bạn muốn tăng lượt đăng ký, hãy chú tâm vào số lượng người đăng ký chứ không phải lượt truy cập (traffic) hay traffic vào trang “Đăng ký” hay trang chủ chứa form đăng ký của mình.

    Trong khi đang kiểm chứng để chứng minh hoặc bác bỏ giả thuyết, đừng bỏ qua bất kỳ kết quả nào không quan trọng mà hãy dùng chúng cho những lần kiểm chứng tiếp theo.

    #4: Bạn chỉ chú tâm tới những thứ nhỏ nhặt

    Thực ra, A/B Testing không chỉ đơn giản là một yếu tố riêng lẻ nào đó (như test màu của nút CTA chẳng hạn). Nó còn gồm nhiều yếu tố khác nữa. Chính việc bạn chỉ test màu của các nút CTA đã làm hỏng việc tiến hành A/B testing của bạn.

    Nếu những trang web lớn sẽ có cú lội ngược dòng ngoạn mục chỉ nhờ vào việc thay đổi màu nút CTA. Thì với đại đa số các trang web thông thường, những thứ nhỏ nhặt (như màu nút CTA) sẽ không cho ra kết quả ý nghĩa nào.

    A/B testing sẽ gò ép chúng ta vào việc cải thiện những thứ lắt nhắt, nhưng nếu làm vậy chúng ta sẽ bỏ lỡ những cơ hội to lớn hơn.

    (Nguồn: gtvseo.com/ab-testing-la-gi)

    Bình chọn là câu trả lời hay nhất

Trả lời