תוצאות הבדיקה של CTS ממוקמות בקובץ:
CTS_ROOT/android-cts/results/start_time.zip
אם יצרתם את ה-CTS בעצמכם, CTS_ROOT דומה ל-
out/host/linux-x86/cts אבל הוא שונה בהתאם לפלטפורמה. זהו הנתיב שבו פרסתם את ה-CTS הרשמי שהורדתם מהאתר הזה.
בתוך קובץ ה-ZIP, הקובץ test_result.xml מכיל את התוצאות בפועל.
הצגת תוצאות של Android מגרסה 10 ואילך
קובץ test_result.html קיים בארכיון ה-ZIP, ואפשר לפתוח אותו ישירות בכל דפדפן אינטרנט שתואם ל-HTML5
הצגת תוצאות של מכשירים עם Android מגרסה שלפני 10
פותחים את הקובץ test_result.xml בכל דפדפן אינטרנט שתואם ל-HTML5 כדי לראות את תוצאות הבדיקה.
אם מוצג דף ריק בקובץ הזה כשמשתמשים בדפדפן Chrome, צריך לשנות את הגדרות הדפדפן כדי להפעיל את התכונה הניסיונית --allow-file-access-from-files בשורת הפקודה.
קריאת תוצאות הבדיקה
הפרטים של תוצאות הבדיקה תלויים בגרסת ה-CTS שבה אתם משתמשים:
- CTS v1 ל-Android 6.0 וגרסאות קודמות
- CTS v2 ל-Android מגרסה 7.0 ואילך
פרטי המכשיר
ב-CTS גרסה 1 ובגרסאות קודמות, בוחרים באפשרות 'פרטי המכשיר' (הקישור מעל 'סיכום הבדיקה') כדי לראות פרטים על המכשיר, הקושחה (יצרן, דגם, גרסת הקושחה, פלטפורמה) והחומרה של המכשיר (רזולוציית המסך, לוח המקשים, סוג המסך). ב-CTS v2 לא מוצג מידע על המכשיר.
סיכום הבדיקה
בקטע Test Summary (סיכום הבדיקה) מופיעים פרטים על תוכנית הבדיקה שהופעלה, כמו שם תוכנית ה-CTS ושעת ההתחלה ושעת הסיום של ההפעלה. הוא גם מציג סיכום מצטבר של מספר הבדיקות שעברו, נכשלו, חרגו מזמן הקצוב או שלא ניתן היה להריץ אותן.
סיכום בדיקות לדוגמה של Android 10 CTS
איור 1: סיכום בדיקה לדוגמה של Android 10 CTS
סיכום בדיקה לדוגמה של CTS v2
איור 2: סיכום בדיקה לדוגמה של CTS v2
סיכום בדיקה לדוגמה של CTS v1
איור 3: סיכום בדיקה לדוגמה של CTS v1
דוח בדיקה
בקטע הבא, דוח הבדיקה של CTS, מופיע סיכום של הבדיקות שעברו בהצלחה לכל חבילה.
אחרי זה מופיעים פרטים על הבדיקות בפועל שבוצעו. בדוח מפורטים חבילת הבדיקה, חבילת הבדיקות, מקרה הבדיקה והבדיקות שהופעלו. הוא מציג את התוצאה של הרצת הבדיקה – pass (עברה), fail (נכשלה), timed out (פג הזמן) או not executed (לא בוצעה). במקרה של כשל בבדיקה, מסופקים פרטים שיעזרו לכם לאבחן את הסיבה לכשל.
בנוסף, דוח קריסות של הכשל זמין בקובץ ה-XML, אבל לא נכלל בדוח כדי לשמור על תמציתיות. כדי לראות את הפרטים של שגיאת בדיקה, צריך לפתוח את קובץ ה-XML באמצעות כלי לעריכת טקסט (מחפשים את התג [Test] שמתאים לבדיקה שנכשלה, ואז מחפשים בתוכו את התג [StackTrace]).
הצגת דוח בדיקה לדוגמה של CTS v2
איור 4: דוח בדיקה לדוגמה של CTS v2
הצגת דוח בדיקה לדוגמה של CTS v1
איור 5: דוח בדיקה לדוגמה של CTS v1
בדיקת test_result.xml כדי לראות אם יש מודולי בדיקה לא שלמים
כדי לקבוע את מספר המודולים הלא שלמים בסשן בדיקה נתון, מריצים את הפקודה 'list results'. המספר של המודולים שהושלמו והמספר הכולל של המודולים מופיעים עבור כל סשן קודם. כדי לדעת אילו מודולים הושלמו ואילו לא, פותחים את הקובץ test_result.xml וקוראים את הערך של המאפיין done בכל מודול בדוח התוצאות. מודולים עם הערך done = "false" לא הופעלו עד הסוף.
מיון של כשלים בבדיקות
ההצעות הבאות יעזרו לכם לנתח את הסיבות לכישלון הבדיקות.
- אם בדיקה נכשלת בגלל תנאים מוקדמים שגויים, צריך לוודא שסביבת ה-CTS מוגדרת בצורה נכונה. ההגדרה כוללת את הסביבה הפיזית, את הגדרת המחשב ואת הגדרת מכשיר Android.
- אם בדיקה מסוימת נראית לא יציבה מדי, צריך לבדוק את יציבות המכשיר, את הגדרת הבדיקה או את הבעיות בסביבה.
- אם הבדיקה עדיין נכשלת, כדאי לנסות אותה שוב בנפרד.
- בודקים אם יש גורמים חיצוניים שגורמים לכשלים בבדיקה, למשל:
- הגדרת הסביבה. לדוגמה, יכול להיות שהגדרת מחשב שולחני לא נכונה היא הסיבה לכישלונות בבדיקות שמתרחשים בכל המכשירים שנבדקים (DUT) (כולל מכשירי הפניה).
- תלויות חיצוניות. לדוגמה, אם הבדיקה נכשלת בכל המכשירים בכמה אתרים החל מנקודת זמן מסוימת, יכול להיות שכתובת URL פגומה היא הסיבה לכך.
- אם ה-DUT לא כולל את תיקון האבטחה, צפוי שהבדיקה שלו תיכשל.
- מאמתים ומנתחים את ההבדלים בין מכשירים שעברו את הבדיקה לבין מכשירים שנכשלו בה.
- מנתחים את הטענה, היומן, דוח הבאגים ומקור ה-CTS. ב-HostTest, הטענה והיומן יכולים להיות כלליים מאוד, ולכן כדאי לבדוק גם את logcat של המכשיר ולצרף אותו.
- שליחת תיקון לשיפור הבדיקה כדי להפחית את כשלים בבדיקה.
שמירת תוצאות חלקיות
Tradefed לא שומר תוצאות בדיקה חלקיות אם הפעלת הבדיקה נכשלת.
אם Tradefed לא מייצר תוצאות בדיקה, זה מרמז שהתרחשה בעיה חמורה במהלך הרצת הבדיקה, ולכן אי אפשר לסמוך על תוצאת הבדיקה. התוצאה החלקית נחשבת ללא מועילה כי היא לא מספקת ערך כשבודקים בעיה במכשיר.