Batch là tập hợp một nhóm/ toàn bộ test case của một hoặc một nhóm chức năng theo tiêu chí nào đó (module, mức độ ưu tiên…phụ thuộc vào mục đích của batch).
Thực thi batch nhằm mục đích đánh giá tổng quan project theo mục đích của việc phân chia batch nên hệ thống chỉ hỗ trợ xây dựng batch steps từ test case.
1.6 Một số phương thức phân chia batch
Dự án có thể phân chia batch theo mục đích kiểm thử như smoke test, sanity testing, checklist online…
1.6.1 Smoke testing
Để thực hiện smoke testing, dự án có thể thực hiện run nhiều batch đồng thời, phụ thuộc vào batch có được chia theo module, nền tảng kiểm thử, mức độ ưu tiên…
Các batch phục vụ smoke testing cần đảm bảo có thể kiểm thử đầy đủ chức năng chính của ứng dụng/ hệ thống.
Thực thi batch phục vụ smoke testing giúp đánh giá nhanh khả năng phát hành của bản build.
1.6.1.1 Sanity testing
Với mỗi một phiên bản/ bản build của ứng dụng/ phần mềm được kiểm thử, cần thực hiện kiểm thử chi tiết liên quan đến phần thay đổi, chỉnh sửa, đảm bảo fix đúng lỗi, hoạt động đúng chức năng.
Batch phục vụ sanity testing cần có mô tả cụ thể cho những tính năng cần kiểm tra.
Thực thi batch sanity testing giúp phát hiện sớm lỗi phát sinh (nếu có).
1.6.1.2 Checklist online
Người dùng có thể thực hiện xây dựng batch cho mục đích checklist hàng ngày đối với ứng dụng cần kiểm thử.
Việc tạo batch cho checklist có thể đảm bảo thực hiện đủ các trường hợp kiểm thử cần thiết theo quy định của dự án.
Để tạo batch, tham chiếu mục “Tạo mới batch”
1.6.2 Check list before run batch
Trước khi run batch, nhân viên kiểm thử cần đảm bảo batch đã sẵn sàng để được thực thi thông qua kiểm tra checklist:
|
Hạng mục |
Bắt buộc |
Mục đích |
|
Các test case trước khi được add vào batch phải được nhập đầy đủ data và run ít nhất 01 lần |
Có |
Đảm bảo test case không phát sinh fail do cấu hình của kịch bản kiểm thử |
|
Chuẩn bị đầy đủ data và hợp lệ cho quá trình run batch |
Có |
Data của run batch bao gồm các yếu tố về tài khoản, danh bạ, khoản vay, số hóa đơn, hạn mức giao dịch…(nếu có), đặc biệt những test case về giao dịch tài chính cần đảm bảo số dư cho toàn bộ test case của batch. Đích của giao dịch (tài khoản thụ hưởng) của toàn bộ test case trong batch không là tài khoản thực hiện bất kỳ giao dịch nào (trừ trường hợp kịch bản kiểm thử yêu cầu thực hiện chuyển tiền qua lại giữa 02 device/ tài khoản) Những test case được gắn nhãn “Data cannot be reused” (data không thể tái sử dụng) cần được cập nhật trước khi run batch. |
|
Device sẵn sàng thực thi |
Có |
Áp dụng với kiểm thử trên mobile Device cần được thiết lập device parameter đúng với môi trường thực thi Đối với ANDROID, tài khoản thực thi trên thiết bị cần được add vào whitelist của ứng dụng |
|
Đảm bảo những test case cần thực thi đều đã add vào batch |
Có |
Đảm bảo lần Run batch không bỏ sót trường hợp cần kiểm thử |
|
Toàn bộ những test case không còn phù hợp với version thực thi cần được remove khỏi batch hoặc inactive |
Có |
Đảm bảo batch chạy đúng mục đích, phạm vi kiểm thử của batch |
1.1.2 Run batch
Tham chiếu Runbatch
1.6.3 Cancel batch run
Trong trường hợp người
Trên màn hình Batch Testing, tại batch đang ở trạng thái running, click vào icon “Cancel”, hệ thống hiển thị popup xác nhận Cancel
Click “Continue”, hệ thống thực hiện cancel toàn bộ steps có trạng thái Processing.
1.6.3.1 Rerun
Trên màn hình Batch Testing, click vào test batch muốn rerun
Hệ thống hiển thị màn hình kết quả Run của test batch, nhấn biểu tượng “Rerun”
Hệ thống hiển thị thông tin ngày giờ Rerun, click OK
Giao diện hệ thống thông báo “Rerun successful”
1.6.4 Đánh giá kết quả run batch testing
Trên màn hình kết quả run batch, dựa vào status của batch để thực hiện đánh giá batch.
1.6.4.1 Nếu run batch status là Pass: batch pass
1.6.4.2 Nếu run batch status là Warning
Bước 1: Click Download result để Export result run batch
Bước 2: Phân tích, đánh giá từ kết quả lỗi của data, nếu kết quả có thể cân nhắc đánh giá pass, kết thúc quy trình run batch với kết quả pass
Bước 3: Nếu fail, phân tích, xác định những test case/ data khi rerun/ restart có khả năng pass và thực hiện restart/ rerun (thường fail do các nguyên nhân khách quan như tốc độ mạng, phản hồi của thiết bị...). Những data/ steps fail do cấu hình, dữ liệu (có thể xảy ra khi up verison của ứng dụng được kiểm thử) cần được chạy lẻ để đánh giá lại tỷ lệ pass của batch
Bước 4: Sau khi rerun/ restart data/ steps, nếu kết quả của batch được cập nhật là Pass, kết thúc quy trình run batch với kết quả pass.
Bước 5: Tại bước 4, nếu kết quả của batch là warning và được đánh giá là fail, kết thúc quy trình run batch với kết quả Fail
1.6.4.3 Nếu run batch status là Fail
Bước 1: Click Download result để Export result run batch
Bước 2: Phân tích, xác định những test case/ data khi rerun/ restart có khả năng pass và thực hiện restart/ rerun (thường fail do các nguyên nhân khách quan như tốc độ mạng, phản hồi của thiết bị..). Những data/ steps fail do cấu hình, dữ liệu (có thể xảy ra khi up verison của ứng dụng được kiểm thử) cần được chạy lẻ để đánh giá lại tỷ lệ pass của batch
Bước 3: Sau khi rerun/ restart data/ steps, nếu kết quả của batch được cập nhật là Pass, kết thúc quy trình run batch với kết quả pass.
Bước 4: Tại bước 3, nếu kết quả của batch là warning và được đánh giá là fail, kết thúc quy trình run batch với kết quả Fail