Xây dựng chiến lược automation cho dự án thật

Tiêu chí

Đầu mục check

Kiểm tra

Thực hiện

Mục tiêu và Phạm vi Kiểm thử tự động

Xây dựng MasterPlan cho dự án auto

1. Đánh giá Hệ thống có nên thực hiện auto test hay không? Các tiêu chí xác định
2. Phạm vi các chức năng sẽ auto
3. Kế hoạch phân bổ nhân sự cho từng chức năng
4. Mốc timeline chung cho từng GĐ/ gói, phạm vi yêu cầu
5. Mốc timeline chi tiết cho từng chức năng với từng nhân sự đảm nhiệm

Các đầu mục cần chuẩn bị trước khi thực hiện

Cài đặt công cụ

Kiểm tra truy cập hệ thống LLQ QA Platform

Truy cập và có account login thành công hệ thống LLQ:
Nếu chưa có account login request đến leader hoặc nhân sự phụ trách để được cấp account

Cài đặt agent cá nhân

Cài đặt thành công agent trên thiết bị

Cài đặt agent lên máy tính theo Hướng dẫn cài đặt

Keyword

Hiểu đúng ý nghĩa các keyword sử dụng khi cấu hình auto

Link mô tả các keyword trên LLQ:
https://llqcompany-my. sharepoint.com/:x:/g/personal
/hoatt_llq_vn
/EZACfaTfpjhLtvgB6pBkZ70BJS K3t0Z7O2QD363IO4rTwQ?
rtime=4pBc0Zgk3Ug

Thiết bị

Số lượng thiết bị farrm sử dụng

Dự kiến được số lượng và thời gian sử dụng cho dự án có cần bao nhiêu thiết bị trên farm  Lưu ý:
- Máy AND: có thể sử dụng agent cá nhân + farm
- Máy IOS: sử dụng trên farm
=> Có thể gửi request đến người quản lý farm để xin phân bổ thiết bị trên farm

Môi trường test

Đối với auto cho ứng dụng mobile app

1/ Đối với MT SIT, UAT, Pilot...:
AND: có bản build whitelist dành cho auto trên AppTester
Bản build AND: báo leader dev của dự án đó để build theo môi trường mong muốn test cho auto
Lưu ý: các bản build dùng cho auto sẽ có phần note gồm các thông tin sau: (để auto có thể tự động lấy bản build và cài đặt tự động theo mong muốn)
+ Key: "auto test" (bắt buộc)
+ Môi trường  (bắt buộc)
+ Ghi chú: nội dung mô tả các phần update cho bản build này (nếu có)
IOS: không cần add whitelist có thể sử dụng được luôn bản build trên TestFlight
2/ Đối với MT live (áp dụng cho phần check các bản đóng gói golive):
- AND: có bản build whitelist đóng gói production trên App Tester (do bản build trên Apptester mới có whitelist, đối với bản app Chợ sẽ không add được whitelist) - IOS: sử dụng bản build production trên Testflight (ios không cần whitelist)

Đối với auto cho WebClient/ BO/ BE

Kiểm tra việc mở kết nối
- Nếu dùng agent cá nhân: Kiểm tra kết nối từ IP máy cá nhân đến IP đích link test
- Nếu dùng agent trên farm: Kiểm tra kết nối từ IP của farm đến IP đích link test
==> Trong trường hợp không truy cập được gửi request mở kết nối nội bộ

Đối với auto cho api

1. Nếu dùng agent cá nhân
- Kiểm tra kết nối từ IP máy cá nhân đến IP đích của API
2. Nếu dùng agent trên farm
- Nếu dùng agent rên farm: Kiểm tra kết nối từ IP của thiết bị farm đến IP đích của API

Element template

Đối với Web/Mobile/Windows Application

1. Nghiên cứu ứng dụng cần kiểm thử
2. Thực hiện xây dựng element template

Các đầu mục kiểm tra trong quá trình thực hiện

Setting project

1. Phạm vi các chức năng sẽ auto
2. Kế hoạch phân bổ nhân sự cho từng chức năng
3. Mốc timeline chung cho từng GĐ/ gói, phạm vi yêu cầu
4. Mốc timeline chi tiết cho từng chức năng với từng nhân sự đảm nhiệm

Cấu hình các version tương ứng của dự án

Enviroment

Cấu hình các environment tương ứng của dự án

Module

Cấu hình các module tương ứng của dự án

Cấu trúc thư mục theo chuẩn quy định:
- Thư mục repponsitory
- Thư mục test script, testcase, test suite, share steps

Khai báo sẵn các thư mục theo dạng sau:
Nền tảng > Tên module cụm chức năng
> Tên chức năng
Tham khảo cấu trúc như ảnh: https://prnt.sc/-q4fuftRpJal

Viết testcase auto

Testcase viết đúng theo mẫu quy định

Template: Triển khai theo chuẩn template testcase auto theo quy định
Review TC: Leader thực hiện review TC auto đã viết

Import testcase auto

Thực hiện import testcase từ file excel testcase auto đã viết

Chuẩn bị data test

Viết script/ suite/ Sharestesp

QC thực hiện viết theo sự phân công của leader

Review test script

Review: Leader auto+ test leader thực hiện review để đảm bảo tiêu chí: tối ưu, chính xác, đúng quy định, dễ dàng cho maintain cho sau này

Chạy test plan

Thực hiện chạy batch theo phạm vi đã hoàn thành
Chạy test plan với các môi trường test: SIT, UAT, Pilot, Production và gửi report báo cáo đầy đủ cho các đầu mối liên quan

Xử lý phát sinh trong quá trình thực hiện

Báo với leader để trao đổi và tìm hướng giải quyết

Các đầu mục kiểm tra kết quả đầu ra

Kịch bản kiểm thử tự động (testcase auto)

Template

Đúng mẫu template testcase auto theo quy định
File testcase phải import trên hệ thống LLQ thành công và không bị phát sinh lỗi
Đảm bảo đúng Testing convention và Template Testcase auto

Phạm vi nghiệp vụ

Cover đủ các luồng gồm: positive, negative của chức năng

Phạm vi auto

Đảm bảo:
+ Các case có thể auto: đều được triển khai auto
+ Các case không thể auto: chuyển test manual
+ Các case có thể auto nhưng tốn thời gian hơn manual, tần suất test lặp lại không nhiều: chuyển test manual

Kịch bản kiểm thử tự động (testcase auto)

Kết quả testcase

File Test case đã có trạng thái test run = Complete và Kết quả run = Pass

Cấu hình auto: script/ testcase/ suite/ sharesteps/ batch

Tính đúng đắn, đầy đủ

Thực hiện đúng luồng và nghiệp vụ, các tính năng hoặc chức năng trong script có được kiểm tra đầy đủ không
Các thông số về param input, output đúng và đủ theo yêu cầu: tham chiếu thêm mục Testing convention cho phần Test script

Độ tin cậy

Output phải ổn định, không thay đổi theo từng lần chạy
Chạy lại script nhiều lần để xem kết quả có ổn định không.
Đảm bảo không có sự thay đổi bất ngờ trong output, trừ khi có lý do hợp lý

Shared steps

Đánh giá đúng phạm vi sử dụng share steps Các cấu hình tham số input, output của shared stesp trả đúng, đủ, đúng rule quy ước theo chuẩn chung  của dự án

Test plan

Xây dựng test plan run đủ bản build theo các môi trường
Có báo cáo batch tướng ứng
Phạm vi bacth: run đủ các testcase
Đảm bảo chạy đủ trên các version OS của các HDH IOS/ AND theo quy định chung của team test Các cấu hình của batch đảm bảo đúng rule (Tham chiếu testting convention)
Data: Chuản bị các cấu hình, setup data cần thiết cho từng case trước khi run
Kết quả sau khi run đảm bảo như sau:
Phạm vi sanitycheck: Pass 60%
Phạm vi smoke test: Bắt buộc: Pass 100% cho mỗi bản delivery Phạm vi regression test: Pass 95%

Report

Đẩy đủ, chính xác, kịp thời

Báo cáo tiến độ dự án có kèm kết quả auto test hằng tuần theo quy định