Bài viết dưới đây là sự thảo luận giữa Colette Kolenda và Kristie Savage về quy trình gồm 3 bước để kết hợp các phương pháp định tính và định lượng, tránh sự xung đột về dữ liệu và ảnh hưởng đến quyết định sản phẩm.

Nghiên cứu phương pháp hỗn hợp tại Spotify

Tại Spotify, chúng tôi đã tìm hiểu người dùng sâu sắc dựa trên việc áp dụng nhiều phương pháp nghiên cứu bổ sung. Nhóm nghiên cứu Product Insights của chúng tôi bao gồm cả các nhà nghiên cứu người dùng và các kĩ sư khoa học dữ liệu.

Như chúng ta có thể hình dung các phương pháp luận nhờ vào framework “What-Why”, các nhà nghiên cứu và kĩ sư khoa học dữ liệu người dùng là đối tác tự nhiên của nhau. Các nhà khoa học dữ liệu xem xét toàn bộ xu hướng có quy mô lớn trong hành vi của người dùng thông qua các phương pháp như A/B test và mô hình thống kê – statistical modeling. Các nhà nghiên cứu người dùng áp dụng các phương pháp như phỏng vấn và khảo sát, để khám phá trải nghiệm người nghe, từ đó hiểu thêm hành vi và nhận thức người dùng về Spotify.

Nghiên cứu người dùng kết hợp khoa học dữ liệu có thể hỗ trợ nhau cung cấp các quan điểm bổ sung cho nhau. Bằng cách kết hợp các nguyên tắc này, chúng ta có thể hiểu biết toàn diện về nhiều dạng dữ liệu và giảm thiểu các điểm mù của một phương pháp nghiên cứu duy nhất.

Xung đột giữa dữ liệu và người dùng

Điều gì xảy ra khi các phương pháp khác nhau mang lại các kết quả khác nhau, thậm chí trái ngược nhau? Và điều này đã xảy ra với nhóm của chúng tôi, khi chúng tôi đang nghiên cứu thử nghiệm quảng cáo có thể bỏ qua ở Úc. Trong thử nghiệm này, người nghe Spotify Free có thể bỏ qua quảng cáo âm thanh và video giữa các bài hát của họ.

Là một nhà khoa học dữ liệu, Kristie đã chạy thử nghiệm A/B trong đó gồm nhóm thử nghiệm nhận được tính năng quảng cáo có thể bỏ qua và nhóm có trải nghiệm quảng cáo Spotify bình thường. Cô đã xác định ba nhóm người dùng có mức độ tương tác khác nhau với tính năng mới này: nhóm người dùng bỏ qua quảng cáo tức thì, nhóm người dùng bỏ qua quảng cáo trung bình và nhóm người không bao giờ bỏ qua một quảng cáo nào. Để hiểu rõ hơn lý do tại sao lại có ba nhóm người dùng trong một tính năng, hãy cùng nhà nghiên cứu người dùng tiếp tục phỏng vấn người nghe từ mỗi nhóm.

Chúng tôi đã rất ngạc nhiên khi người dùng trong các cuộc phỏng vấn đã nói một điều khác so với kết quả từ thử nghiệm A/B đưa ra. Một số người nghe thuộc nhóm người dùng bỏ qua quảng cáo tức thì từ thử nghiệm A/B thực sự có một số nhầm lẫn về những quảng cáo mà họ có thể bỏ qua. Những người dùng này bối rối và không cho rằng mình thuộc nhóm người dùng bỏ qua quảng cáo tức thì, như dữ liệu của chúng tôi đã đưa ra.

Mental model là thứ chúng ta chỉ có thể học được từ dữ liệu định tính nghiên cứu người dùng. Kết quả từ thử nghiệm A/B thực sự chưa thuyết phục hay do người dùng có sự nhầm lẫn, có sự khác biệt lớn giữa dữ liệu của chúng tôi và những gì người nghe của chúng tôi nói.

Sự khác biệt này được phát hiện khi chúng tôi kết hợp làm việc giữa các vị trí: từ khoa học dữ liệu với bài kiểm tra A/B đến nghiên cứu người dùng với các cuộc phỏng vấn người dùng. Đây là cách làm việc teamwork điển hình, nhưng trong thực tế, hai ngành học này không liên quan đến nhau. Mặc dù chúng tôi đã sử dụng các phương pháp bổ sung trong dự án này, nhưng kết quả lại mâu thuẫn với nhau.

Chúng tôi cần phải hợp tác lên cấp độ tiếp theo, để hợp lý hóa giữa nghiên cứu người dùng và khoa học dữ liệu bằng cách chỉ ra các phương pháp khác nhau trong cùng một nhóm người nghe cùng một lúc.

3 bước để kết hợp các phương pháp khác nhau một cách hiệu quả: phương pháp Đạc Tam giác đồng thời

Chúng tôi phác họa một quy trình kết hợp các phương pháp khác nhau mang lại hiệu quả hơn. Chúng tôi gọi nó là phương pháp Đạc Tam Giác đồng thời (simultaneous triangulation).

Bước 1: Trau chuốt câu hỏi nghiên cứu của bạn.

Xác định rõ ràng các mục tiêu nghiên cứu giúp xác định các cơ hội kết hợp dễ dàng hơn.

Bước 2: Kết hợp các phương thức trong các góc phần tư khác nhau của “What-Why Framework”.

Tìm các phương pháp khác nhau trong các góc phần tư để đối trọng với điểm mạnh và điểm yếu của từng phương pháp.

Bước 3: Thực hiện đồng thời các phương pháp để mang lại kết quả toàn diện.

Thay vì triển khai từng phương pháp riêng biệt, hãy thiết kế để nghiên cứu của bạn có tất cả các phương pháp vào một nhóm người dùng cùng một lúc. Điều này sẽ giảm thiểu rủi ro cho những khác biệt không thể giải thích được.

Phương pháp này khác thế nào so với thực tế

Bước 1: Hoàn thiện câu hỏi nghiên cứu

Mặc dù có một số khác biệt trong giai đoạn đầu nghiên cứu, chúng tôi vẫn có được những thông tin hữu ích mặc dù có nhiều người dùng chưa có được những tính năng hoàn hảo.

Ở giai đoạn thứ hai của nghiên cứu này, chúng tôi muốn khám phá tất cả các trình điều khiển và trình chặn tính năng để hiểu lý do đằng sau hành vi bỏ qua quảng cáo. Dựa trên các kinh nghiệm trước, chúng tôi đã tạo ra các câu hỏi nghiên cứu cụ thể cho bước hai giúp mang lại hiểu biết sâu sắc hơn về các lĩnh vực trọng tâm: nhận thức, hiểu biết và khả năng sử dụng của quảng cáo có thể bỏ qua.

Bước 2: Kết hợp các phương pháp trong các góc phần tư khác nhau của “What-Why Framework”

Để hiểu một cách toàn diện những câu hỏi nghiên cứu này, chúng tôi đã kết hợp nghiên cứu diary study nằm trong góc phần tư thứ thứ tư phần định tính và data tracking nằm trong góc phần tư thứ hai phần định lượng Framework What-Why.

Hai phương pháp này cung cấp quan điểm bổ trợ lẫn nhau. Trong nghiên cứu diary study, chúng tôi đã tuyển dụng những người tham gia vào nghiên cứu kéo dài ba tuần, chúng tôi yêu cầu họ kể về trải nghiệm nghe hàng ngày và phản ứng của họ đối với quảng cáo. Đối với data tracking, chúng tôi đã yêu cầu mỗi người tham gia phải xem xét dữ liệu nhật ký hành vi của họ phù hợp với các phiên nghe. Chúng tôi có thể hiểu trải nghiệm tổng quát của họ từ data tracking và kinh nghiệm nhận thức của họ thông qua nghiên cứu diary stydy.

Bước 3: Thực hiện các phương pháp đồng thời để mang lại hiểu biết toàn diện

Sự hiểu biết sâu sắc về trải nghiệm người dùng của chúng tôi từ việc áp dụng cả hai phương pháp vào một nhóm người nghe cùng một lúc. Trong khi người tham gia điền vào các mục diary study, chúng tôi cũng có thể kiểm tra dashboard để đánh giá trải nghiệm dữ liệu hành vi của họ. Đối với mỗi mục nghiên cứu diary, chúng tôi không chỉ hiểu được trải nghiệm từ báo cáo của họ về nơi và cách họ nghe, phản ứng của họ đối với quảng cáo, mà chúng tôi còn có thể hiểu hành vi trải nghiệm từ dữ liệu – chẳng hạn như họ đã nghe trong bao lâu, số lượng quảng cáo họ nhận được và quảng cáo nào họ bỏ qua.

Hạn chế việc chỉ sử dụng một phương pháp duy nhất. Nếu không có dashboard dữ liệu, trải nghiệm hành vi của họ sẽ rơi vào điểm mù và nếu không có nghiên cứu diary, chúng tôi sẽ không có cái nhìn sâu sắc về trải nghiệm nhận thức của họ.

Lần này, khác biệt dữ liệu là sự theo dõi thú vị

Trong thiết kế nghiên cứu mới này, sự khác biệt giữa dữ liệu hành vi và nghiên cứu diary thực sự là những thông tin hữu ích! Nếu chúng ta thấy một xu hướng thú vị trong dữ liệu của người nghe, chúng ta có thể dựa vào nghiên cứu diary để tìm hiểu thêm về lý do đứng sau hành vi của họ.

Ví dụ, Kristie nhận thấy rằng một người tham gia chỉ bỏ qua tối đa sáu quảng cáo trong rất nhiều quảng cáo một ngày. Điều này thật thú vị với chúng tôi, vì người dùng này không giới hạn về số lượng quảng cáo có thể bỏ qua. Nhưng thống kê theo dữ liệu hành vi số lượng quảng cáo người dùng này bỏ qua được tính theo cấp số mũ. Tuy nhiên, người dùng này không bao giờ đề cập đến điều này trong các mục nghiên cứu diary của mình. Một lần nữa, chúng tôi phải đối mặt với sự khác biệt dữ liệu!

Dữ liệu đã nói lên một điều – khả năng sử dụng của người dùng bị giới hạn. Trong khi người dùng lại nói – tính năng này hoạt động tốt với họ. Thông qua quá trình Đạc Tam Giác đồng thời, chúng tôi đã có thể theo dõi để hiểu thêm Mental model của người dùng và lý do đằng sau sự khác biệt này. Người dùng tham gia đã trả lời: “Tôi chỉ có thể bỏ qua sáu quảng cáo, vì tôi chỉ nhận được sáu lần bỏ qua bài hát. Tôi nghĩ bỏ qua quảng cáo phải tuân theo quy tắc tương tự”. Trên Spotify Free, người dùng chỉ có thể bỏ qua sáu bài hát mỗi giờ. Anh ta nghĩ quy tắc này cũng phân bổ cho quảng cáo. Anh ấy đã hình thành Metal modal của riêng mình về giới hạn bỏ qua quảng cáo.

Lần này, sự khác biệt là những cơ hội mới thú vị để đào sâu hơn. Thông qua việc kết hợp đồng thời dashboard dữ liệu hành vi và diary study, chúng tôi đã có kinh nghiệm về các trình điều khiển và trình chặn quảng cáo.

Hiểu biết sâu sắc để quyết định sản phẩm.

Nhà nghiên cứu người dùng đã xác định các Mental model khác nhau về nhận thức, hiểu biết và khả năng sử dụng tính năng mới này. Tuy nhiên, phương pháp diary study chỉ mang tính định lượng vì chúng ta sẽ không biết những vấn đề ảnh hưởng khác từ những người dùng không tham gia khảo sát.

Vì vậy, chúng tôi đã hợp tác để xác định các dữ liệu hành vi có tác động sâu sắc. Ví dụ: chúng tôi đã giới hạn phạm vi nhóm những người có sự nhầm lẫn về việc “giới hạn bỏ qua quảng cáo”, bằng cách xác định những người dùng nhầm lẫn về số lần bỏ qua quảng cáo mỗi ngày qua proxy.

Với các bên liên quan đến sản phẩm và thiết kế, chúng tôi đã nghĩ ra các giải pháp để giải quyết từng vấn đề chưa được khám phá trong nghiên cứu. Chúng tôi đã quyết định gửi thông điệp hướng dẫn đến các nhóm người nghe để giúp họ nhận thức, hiểu biết và có khả năng sử dụng đúng sản phẩm. Đối với những người nghe đã nhầm lẫn về “giới hạn bỏ qua quảng cáo”, chúng tôi có thể gửi cho họ một tin nhắn thông báo rằng thực tế không có giới hạn về số lần bỏ qua quảng cáo.

Các thông điệp này nhằm giảm sự nhầm lẫn của người dùng, do đó chúng tôi đã thấy số liệu thành công của tính năng tăng gấp đôi. Bằng cách kết hợp các phương pháp, chúng tôi có thể tự tin hơn về hiểu biết của mình và đảm bảo các quyết định sản phẩm dựa trên số liệu thực tế.

Kết luận

Phép Đạc Tam Giác đồng thời là một công cụ vô cùng mạnh mẽ để tạo ra những phát hiện toàn diện và xác minh kịp thời. Nếu bạn chỉ sử dụng một phương pháp, bạn có thể có các điểm mù. Nếu bạn sử dụng các phương thức một cách tuần tự thay vì cùng lúc, bạn có thể gặp phải những mâu thuẫn không thể giải thích được, như chúng tôi đã làm lúc đầu.

Hãy cân nhắc sử dụng quy trình ba bước để giảm thiểu các điểm mù và biến sự khác biệt thành các cơ hội học tập. Chọn các phương thức từ các góc phần tư khác nhau của ‘What-Why Framework” để cung cấp các phối cảnh bổ sung. Áp dụng các phương pháp này cùng một lúc, cho cùng một nhóm người dùng.

Bạn có thể áp dụng chiến lược này vào thực tiễn của mình: chỉ cần làm theo các bước với bất kỳ phương pháp nghiên cứu nào bạn có quyền truy cập. Không nhất thiết bạn phải thuộc nhóm Product Insights của Spotify, hay bắt buộc bạn phải có chuyên môn về nghiên cứu người dùng hay khoa học dữ liệu, bạn có thể thực hiện phép Đạc Tam giác cùng lúc như một bộ công cụ của riêng bạn.

Với nhiều câu hỏi nghiên cứu phía trước, chúng tôi rất vui mừng tiếp tục sử dụng phương pháp này để đưa ra các quyết định chiến lược công nghệ, sản phẩm và thiết kế phức tạp. Chúng tôi đã thành công và chúc bạn cũng đạt thành công cho sản phẩm của mình!

Biên tập: Thao Lee
Theo Nhà nghiên cứu Colette Kolenda và nhà khoa học dữ liệu Kristie Savage
Nguồn: spotify