מידע על אינטראקציה קולית

Voice Interaction Service API מספק הפשטה של אפליקציות שונות לאפשרויות של שליטה קולית. אפשר לפתח הטמעות בהתאם להנחיות שמפורטות במאמר פיתוח אפליקציות. התוכן במדריך השילוב הזה מתאר איך לשלב את האפליקציות האלה בתמונת מערכת ספציפית של Android Automotive OS‏ (AAOS).

טרמינולוגיה

המונחים הבאים מופיעים במדריך הזה:

  • נתוני אסיסט. כשמתחילים סשן אינטראקציה קולית, המערכת יכולה לתעד תצוגות ומסכי צילום ולהעביר את המידע הזה לסשן. אפליקציות יכולות לחשוף מידע נוסף על ידי הטמעת Activity#onProvideAssistData() ו-Activity#onProvideAssistContent().
  • לחיצה לשיחה (PTT). לחצן פיזי לשליטה קולית, בדרך כלל בגלגל ההגה.
  • RecognitionService‏ (RS). שירות זיהוי קול שמשמש אפליקציות דרך ה-API ‏SpeechRecognizer . בקשות VIA חייבות לכלול גם את VoiceInteractionService וגם את RecognitionService.
  • הקשה לדיבור (TTT). לחצן לניהול קול בתוכנה, בדרך כלל כחלק מממשק המשתמש של המערכת). ב-Android הפעולה הזו נקראת גם תנועת עזרה.
  • VoiceInteractionService. שירות מערכת קל שמוטמע על ידי מפתח VIA. השירות שנבחר מחויב משירות המערכת בזמן האתחול, והוא תמיד פועל.
  • VoiceInteractionSession‏ (VIS) הכיתה הזו מכילה את הלוגיקה העסקית של האינטראקציה עם המשתמש. הוא אחראי להצגת הסטטוס של האינטראקציה הקולית למשתמש, לטיפול בבקשות של VoiceInteractor ולקבלת נתונים של עזרה וצילומי מסך.
  • VoiceInteractionSessionService‏ (VSS). שירות, שהוא חלק מ-VIA, שאחראי לטיפול בסשן של אינטראקציה קולית. השירות הזה מקושר משירות המערכת של Android במהלך אינטראקציה קולית עם משתמש. כל הלוגיקה העסקית של הסשן הזה מיושמת בכיתה VoiceSession. השירות הזה מובטח לפעול רק במהלך סשן קול של משתמש יחיד.
  • אפליקציית אינטראקציה קולית (VIA). אפליקציה ל-Android שמיועדת לשליטה קולית (שנקראת עוזרת). אפשר לזהות את האפליקציות האלה על ידי הוספת VoiceInteractionService למניפסט שלהן. אפשר לבחור רק אפליקציה אחת מתוך האפליקציות האלה בתור ברירת המחדל בכל פעם במערכת. רק אפליקציית ברירת המחדל תישאר פעילה (מקושרת משירות מערכת), והיא תהיה המכשיר שיקבל אירועי לחיצה לדיבור (PTT) או הקשה לדיבור (TTT).

תחומי האחריות

בטבלה הבאה מתוארות האחריות של כל אחד מהצדדים.

יצרני כלי רכב (OEM) AOSP מפתחי אפליקציות
  • פיתוח מערכת מידע ובידור תואמת עם AAOS.
  • הטמעת קלט ופלט אודיו, כולל אפשרות לתמיכה בזיהוי של מילות מפתח חמות ב-DSP.
  • הענקת הרשאות עם הרשאות מערכת לשירותי האינטראקציה הקולית.
  • לפעול בהתאם לדרישות של VoiceInteractionService לגבי הגישה למסכי ההגדרות של האפליקציה.
  • הגדרה ופיתוח של VoiceInteractionService וממשקי API קשורים.
  • לספק למפתחי VIA מסמכי תיעוד של ממשקי API, קוד לדוגמה וחומרים תומכים אחרים.
  • מתן הנחיות לגבי חוויית המשתמש עם דרישות והמלצות.
  • מטמיעים את ה-API של VoiceInteractionService, את ה-API של RecognitionService ואת ה-API של NotificationListenerService (תיאור מפורט זמין בקטע פיתוח אפליקציות).
  • ממשק משתמש שניתן להתאמה אישית, ש-OEMs יכולים לשנות בהתאם לכל מערכת עיצוב של רכב.

דרישות UX

יצרני ציוד מקורי אחראים בסופו של דבר לספק ללקוחות חוויית משתמש טובה. יצרני ציוד מקורי חייבים לוודא שכל שירותי האינטראקציה הקולית המותקנים מראש עומדים בדרישות שמפורטות במאמר עוזרות שהוגדרו מראש: הנחיות לגבי חוויית המשתמש.

חוויית Assistant בסיסית

אפליקציית אינטראקציה קולית לכלי רכב (VIA) מבצעת את הפעולות הבאות:

  • [חובה] להגיב לטריגרים של אינטראקציה קולית שמנוהלים על ידי המערכת (PTT, ‏ TTT).
  • [חובה] להציג ייצוג חזותי של ההתקדמות שלהם (לדוגמה, האזנה, עיבוד וביצוע).
  • [חובה] להשתמש בקול או בצלילים כדי לציין הבנה והשלמה של בקשות המשתמשים.
  • [חובה] לשמש ככלי לזיהוי דיבור באפליקציות אחרות (ראו SpeechRecognizer API).
  • [צריך] להגיב לטריגר של מילת הפעלה.
  • [יכול להיות] הצגת פעילות הגדרות שבה המשתמשים יכולים להגדיר את ה-VIA הזה (לדוגמה, הרשאות, הגדרת מילות מפתח והרשמה).
  • [MAY] טיפול בנתוני Assist (Intent#ACTION_ASSIST)
  • [MAY] תמיכה באינטראקציה קולית ממסך הנעילה.

רכיבים

באופן כללי, אפליקציית אינטראקציה קולית יוצרת אינטראקציה עם הגורמים הבאים:

גורמים מעורבים באינטראקציה קולית

איור 1. גורמים מעורבים באינטראקציה קולית

פרטים:

  • VoiceInteractionManagerService. שירות המערכת הזה אחראי לניהול ה-VIA שמוגדר כברירת מחדל, ולחשיפה של הפונקציונליות שלו לשאר המערכת.
  • RecognitionService. השירות הזה חושף יכולות של זיהוי דיבור לאפליקציות אחרות במערכת.
  • SoundTrigger. מיישם ניהול של מילות מפתח חמות, והוא זמין ל-VIA דרך AlwaysOnHotwordDetector.
  • MediaRecorder. הרשאה שמספקת גישה לקלט אודיו לזיהוי מילות מפתח (כשמשתמשים ב-CPU) ולזיהוי דיבור.
  • PhoneWindowManager/CarInputService. השירותים האלה אחראים (בין היתר) לטיפול באירועים חשובים, ניתוב PTT ל-VIA באמצעות VoiceInteractionManagerService.
  • User. המשתמש יוצר אינטראקציה עם VIA באמצעות טריגרים (PTT, ‏ TTT, ‏ Hotword) או באמצעות ממשק המשתמש של Voice Plate.
  • CarService,‏ Notifications,‏ Media,‏ Telephony,‏ ContactsProvider וכו'. שירותים ואפליקציות שבהם משתמש VoiceInteractionSession כדי לבצע את הפקודות של המשתמש.

מושגים ספציפיים לכלי רכב

AAOS שונה מ-Android בהיבטים הבאים:

  • בנוסף לפונקציונליות הרגילה של Assistant, מכשירי AAOS VIA יכולים לשלוט בפונקציות הרכב (לדוגמה, בקרת אקלים, מושבים ותאורה פנימית). אפשר לשלב את הפונקציות האלה באמצעות CarPropertyManager API (מידע נוסף זמין במאמר קריאת מאפיין של רכב), בתנאי שיצרני ציוד מקורי מגדירים את הגישה בצורה נכונה כפי שמתואר במאמר הוספה לרשימת ההיתרים של הרשאות עם הרשאות.
  • התאמה אישית ועקביות רלוונטיות יותר לתחום הרכב מאשר לכל גורם צורה אחר. מידע נוסף על הטמעת ההנחיות האלה זמין במאמר התאמה אישית.