테스트에서 단계 실패가 발생하는 한 가지 이유는 애플리케이션의 버전이 업데이트되는 경우입니다. 한 애플리케이션 버전에서 테스트를 레코딩합니다. 예를 들어 새 단추 또는 새 오브젝트 위치가 있는 새 버전의 애플리케이션에서 테스트를 다시 사용하는 경우 테스트가 재생될 때 이러한 오브젝트를 찾을 수 없습니다. 단계가 실패하는 다른 이유로 테스트가 레코딩된 시간 이후에 테스트의 데이터가 변경된 경우가 있습니다(예: 날짜).
테스트 레코딩 중에 오브젝트 특성이 캡처되어 모바일 및 웹 UI 데이터 보기의 특성 테이블에 읽기 전용으로 표시됩니다. 재생하는 동안 테스트의 애플리케이션에서 오브젝트를 찾기 위해 테스트 워크벤치는 레코딩 중에 캡처된 오브젝트의 특성을 테스트 편집기의 사용자 조치 세부사항에 표시된 특성에 대한 설명과 비교합니다. 이러한 특성은 Android, iOS 또는 웹 UI 애플리케이션에 따라 다릅니다.
레코딩된 테스트에서 단계를 선택할 때 조치가 수행된 오브젝트 특성이 테스트 편집기에 표시됩니다. 오브젝트 특성이 오브젝트 식별 기준 필드에 나열되고, 그 다음에 연산자 필드와 특성 값에 대한 삽입 필드가 있습니다.
컨텍스트 메뉴를 사용하여 모바일 및 웹 UI 데이터 보기 또는 테스트 편집기의 사용자 조치 세부사항 영역에서 이러한 매개변수(특성, 연산자, 특성 값)를 변경할 수 있습니다. 테스트 컨텐츠 목록에서 조치를 선택하면 모바일 및 웹 UI 데이터 보기가 선택된 단계에 대한 화면 캡처를 표시하기 위해 자동으로 동기화됩니다. 컨텍스트 메뉴를 사용하여 화면 캡처 탭, 요소 탭 또는 특성 테이블에서 특성을 수정할 수 있습니다.
테스트가 실행될 때 테스트의 그래픽 오브젝트가 자동으로 발견되어야 하지만 일부 경우에는 조치가 수행되는 요소를 식별하기 어려울 수도 있습니다. 이 경우 조치를 수행할 오브젝트를 찾으려면 테스트 스크립트를 업데이트하고 더 정확한 정보를 제공해야 합니다.
예를 들면 다음과 같습니다. 테스트를 레코딩합니다. 한 가지 단계는 '컨텐츠가 'August 30th, 2013'인 텍스트 편집 클릭'입니다. 테스트가 자동으로 재생되면 날짜가 더 이상 August 30, 2013이 아닌 경우 실패합니다. 단계를 수정하여 조치를 수행할 오브젝트를 찾기 위한 더 정확한 정보를 제공해야 합니다. 이를 통해 테스트가 실행될 때 오브젝트를 찾아서 자동으로 사용할 수 있습니다. 테스트 워크벤치는 오브젝트를 식별하여 찾고 테스트 스크립트 안정성을 늘리는 다양한 방법을 제공합니다.
테스트 워크벤치에서는 Android, iOS 및 웹 애플리케이션에 대한 다양한 오브젝트 위치 연산자를 사용하여 테스트할 애플리케이션에서 오브젝트를 식별할 수 있습니다. 오브젝트는 테스트 편집기의 사용자 조치 세부사항 영역에 있는 오브젝트 위치 필드에 표시됩니다. 테스트 단계에서는 두 개의 오브젝트 위치를 사용하여 위치 조건을 설정하고 테스트의 대상 오브젝트를 찾을 수 있습니다. 자세한 정보는 테스트 스크립트에서 오브젝트 위치 조건 설정의 내용을 참조하십시오.
테스트에서 오브젝트를 식별하는 여러 가지 방법에 대한 데모가 포함된 교육용 비디오를 보려면 모바일 및 데스크탑 웹 애플리케이션에 대한 강력한 테스트 스크립트를 작성하는 방법을 참조하십시오.
테스트가 레코딩될 때 조치가 수행되는 오브젝트는 일반적으로 텍스트 특성인 기본 특성으로 식별됩니다. 때때로 텍스트 특성을 쉽게 식별할 수 없는 경우가 있습니다. 예를 들어 특성 설명이 없거나 레이블이 없어서 테스트 단계에서 대상 요소를 식별하지 못하는 경우입니다. 이 경우 테스트 생성기는 이미지 특성을 사용하여 테스트 단계에서 요소를 식별합니다.
가능한 이미지 인식 문제를 수정하기 위해 테스트 워크벤치는 이미지 상관을 사용하여 재생 중에 오브젝트를 인식하고 관리합니다. 조치가 수행되는 이미지(참조 이미지)는 테스트 레코딩 중에 캡처되어 재생 시 테스트의 애플리케이션 이미지(후보 이미지)와 비교됩니다. 인식 임계값을 사용하여 참조 이미지와 후보 이미지 간의 차이에 대해 조정 가능한 비율을 허용하며 이미지가 일치하는지 여부를 평가합니다. 기본 인식 임계값은 80으로 설정되며 기본 허용 오차 비율은 20으로 설정됩니다.
어떤 경우에는 테스트의 애플리케이션에 사용자 정의 오브젝트나 테스트 워크벤치에서 찾을 수 없는 오브젝트가 있을 수 있습니다. 다른 경우에 선택된 이미지는 부적합하며 테스트에 실패합니다. 재생 시 인식 문제가 발생하는 경우 테스트 단계에서 대상 오브젝트를 식별하는 데 사용된 이미지를 수정하거나 편집된 테스트에서 임계값 스코어와 허용 오차 비율을 변경할 수 있습니다.
임계값을 0으로 설정하면 동일한 이미지가 없어도 참조 이미지와 가장 유사한 후보 이미지가 선택됩니다. 임계값을 100으로 설정하면 이미지가 약간만 달라도 이미지 인식이 실패합니다. 예를 들어 임계값이 100으로 설정되면 동일한 이미지라도 태블릿 디바이스에서 재생될 때 이미지 크기가 조정되어 너비나 높이가 다른 이미지는 선택되지 않습니다. 화면 비율이 다른 디바이스에서 테스트가 실패하거나 재생 시 애플리케이션에서 사용 가능한 이미지가 테스트가 레코딩될 때의 이미지와 다른 경우 가로 세로 비율 허용 오차를 수정할 수 있습니다.
테스트 워크벤치는 테스트 편집기에서 인식 임계값을 설정할 때 이미지 일치 미리보기 보기를 표시하여 테스트 재생 시 테스트 오브젝트를 식별하는 정확한 이미지를 찾는 데 도움을 줍니다. 가장 좋은 후보 이미지는 초록색이고, 스코어가 임계값을 초과한 가장 부적절한 이미지는 노란색이며, 임계값 미만인 이미지는 빨간색입니다. 이러한 후보 이미지는 참조 이미지와 일치하지 않습니다.
테스트 실행이 완료되면 표시되는 테스트 보고서에서 이미지 상관 세부사항을 찾을 수 있습니다.
자세한 정보는 이미지를 기본 특성으로 사용하여 단계 대상 수정의 내용을 참조하십시오.
일부 애플리케이션은 응답형 디자인을 사용하는데, 이는 애플리케이션 동작이나 그래픽 표시가 사용 대상 디바이스에 맞게 조정됨을 의미합니다. 예를 들어 화면 크기나 화면 방향 또는 사용 운영 체제의 버전 및 기타 이와 같은 매개변수에 따라 그래픽 요소의 형식을 변경하도록 디자인된 애플리케이션이 점차 늘어나고 있습니다.
다른 애플리케이션에서는 사용자가 로그인하여 사용자 위치를 제공해야 합니다. 또한 여전히 학습서를 재생하여 애플리케이션을 처음 설치하고 실행할 때 애플리케이션을 사용하는 방법에 대해 설명합니다. 그러나 학습서가 표시되지 않습니다. 이러한 상황으로 인해 테스트가 실패할 수 있습니다.
이러한 테스트 실패 문제를 수정하기 위해 변수 조치 선택에 대한 실행 조건을 설정할 수 있습니다. 이러한 방식으로는 테스트가 처음 실행될 때 조치 블록이 실행되지만 다음에 테스트 조치가 실행될 때는 조치 블록이 실행되지 않습니다. 이는 응답형 디자인 조건의 예입니다. 세부사항은 테스트에서 응답형 디자인 조건 작성의 내용을 참조하십시오. 이 기능은 테스트 워크벤치의 버전 8.7.1에서만 Android 애플리케이션용으로 사용할 수 있습니다.