מציאות רבודה - אפליקציות עם שימושים מדהימים

מהי מציאות רבודה ובמה היא שונה ממציאות מדומה

מציאות רבודה (Augmented Reality) היא שם כולל לטכנולוגיה שמציגה במקביל שני סוגי מידע: את מה שקורה בעולם האמיתי, ומידע ממוחשב שנוסף עליו. התוספת יכולה להיות טקסט, מספר, חץ, אובייקט תלת ממדי או אנימציה, והיא מוצגת בזמן אמת ובאופן שמגיב למשתמש. כשמזיזים את המכשיר, מתקרבים או מסתובבים, המידע הממוחשב מתעדכן בהתאם.

רבים מתבלבלים בין מציאות רבודה למציאות מדומה, אבל ההבדל ביניהן מהותי. במציאות רבודה העולם האמיתי נשאר במרכז והמידע הממוחשב נוסף עליו, ואילו במציאות מדומה העולם האמיתי נעלם לגמרי ומוחלף בעולם וירטואלי. מי שמרכיב משקפי מציאות מדומה מנותק מהחדר שבו הוא נמצא; מי שמשתמש במציאות רבודה ממשיך לראות את הרחוב, את השולחן או את הרגל שלו, ופשוט מקבל עליהם שכבת מידע נוספת.

הדוגמה הוותיקה והמוכרת ביותר מגיעה מעולם התעופה הצבאית. בזכוכית החופה של מטוסי קרב הטייס רואה את השמיים שבחוץ, ובמקביל מוקרנים לו על הזכוכית נתוני טיסה כמו מהירות, גובה וכיוון. התצוגה הזו נקראת תצוגה עילית (HUD), והיא משמשת במטוסי קרב מסוף שנות ה-80. הטייס לא צריך להוריד את המבט אל לוח המחוונים, כי המידע החשוב נמצא בדיוק בקו הראייה שלו.

מאז, הרעיון עבר מתאי הטייס אל הכיס של כל אחד. הטלפון החכם, עם מצלמה, חיישני תנועה ומעבד חזק, הפך לפלטפורמה הנפוצה ביותר למציאות רבודה. משחקים, אפליקציות קניות, כלי מדידה, ניווט ותרגום עושים בה שימוש יומיומי, ולעיתים קרובות המשתמש כלל אינו יודע שזה שם הטכנולוגיה שהוא מפעיל.

איך נוצרת מציאות רבודה: מסך שקוף מול מצלמה

יש שתי דרכים עיקריות ליצור מציאות רבודה, וההבדל ביניהן משפיע על החוויה, על הבטיחות ועל המכשירים שבהם אפשר להשתמש בה.

מסך שקוף שדרכו רואים את העולם

בשיטה הראשונה המשתמש מסתכל דרך משטח שקוף או שקוף למחצה, בדרך כלל זכוכית, ועליו מוקרן המידע הממוחשב. זה העיקרון של התצוגה העילית במטוסי קרב, וזה גם העיקרון של משקפיים חכמים ושל תצוגות שמוקרנות על השמשה הקדמית של רכב. היתרון הגדול הוא שהעין רואה את המציאות עצמה, ולא צילום שלה, ולכן שדה הראייה נשמר כמעט במלואו.

מצלמה שמצלמת והתוכנה מוסיפה

בשיטה השנייה מצלמה מצלמת וידאו חי, התוכנה מזהה את הסצנה ואת מיקום המכשיר ביחס אליה, ומוסיפה על התמונה טקסט, אובייקטים או אנימציה. כך עובדת מציאות רבודה בטלפון: המסך אינו שקוף, ולכן הוא מציג את מה שהמצלמה רואה יחד עם התוספות הממוחשבות. רוב אפליקציות המציאות הרבודה שזמינות היום לציבור מבוססות על השיטה השנייה, כי היא דורשת רק טלפון עם מצלמה ולא ציוד ייעודי.

מידע צף מול מידע מעוגן

המידע הממוחשב יכול להופיע בשתי צורות. הוא יכול לצוף על המסך בנפרד מהסביבה, כמו כיתוב קבוע בפינה שאינו קשור ישירות למה שמצולם. הוא יכול גם להיות מעוגן למציאות: קחו לדוגמה רובוט וירטואלי שרוקד על שולחן אמיתי. כשמסתובבים עם הטלפון סביב השולחן, הרובוט נשאר במקומו על השולחן, והזווית והגודל שבהם הוא מוצג משתנים לפי המרחק והכיוון של המשתמש. העיגון הזה הוא מה שגורם לאובייקט הווירטואלי להיראות כחלק מהחדר, והוא דורש מהמכשיר להבין את המרחב התלת ממדי שהוא מצלם. ככל שהחיישנים והתוכנה משתפרים, העיגון נעשה מדויק ויציב יותר.

מציאות רבודה בטלפון כבר היום: מדידה, קניות ותרגום

חלק מהשימושים שנשמעים עתידניים כבר זמינים בטלפונים נפוצים. אלה הבולטים שבהם, לצד המגבלות שכדאי להכיר. מי שמתקין אפליקציות שמקבלות גישה למצלמה ולמיקום ייטיב לעשות כמה פעולות שמגנות על הסלולרי ועל המידע שבו, כמו בדיקת ההרשאות שכל אפליקציה מבקשת.

מדידת מרחקים ואורכים באפליקציית Measure

באפליקציית Measure (מדידה) של אפל אפשר למדוד מרחק בין שתי נקודות: מכוונים את המצלמה, מסמנים נקודת התחלה ונקודת סיום על המסך, והאפליקציה מחשבת את האורך ביניהן לפי המרחק שהיא מזהה לכל נקודה. כך אפשר למדוד אורך קיר, רוחב חדר מקיר לקיר או גודל של רהיט. בדגמים נתמכים יש גם תצוגת סרגל (Ruler view), שמציגה על הקו הנמדד יחידות אורך מפורטות.

מדידת גובה של אדם בדגמי iPhone עם סורק LiDAR

באותה אפליקציה אפשר למדוד גם גובה של אדם, מהרצפה ועד קצה הראש, השיער או הכובע, ואפשר למדוד גם גובה בישיבה. מדידת הגובה זמינה רק בדגמי iPhone שיש בהם סורק LiDAR (חיישן עומק): דגמי Pro ו-Pro Max מ-iPhone 12 Pro ועד iPhone 18 Pro. כדי למדוד, מכוונים את הטלפון כך שהאדם נראה על המסך במלואו, מכף רגל ועד ראש. אחרי רגע מופיע קו מעל הראש, ומתחתיו הגובה שנמדד.

מקור: מדריך המשתמש של iPhone באתר התמיכה של אפל - דגמים עם סורק LiDAR

הדמיית רהיטים ובניינים לפני רכישה

אפליקציות של חנויות רהיטים ועיצוב מאפשרות להציב רהיט וירטואלי בסלון האמיתי ולראות אם הוא מתאים בגודל ובסגנון. אפשר להסתובב בחדר, והתצוגה מתעדכנת כך שהרהיט נראה מהזווית הנכונה. אותו רעיון משמש גם בנדל"ן ובאדריכלות: הדמיה של בניין שעדיין לא נבנה, מוצבת בתוך השכונה האמיתית, עוזרת להבין איך הוא ישתלב בסביבה ואיך ייראה הנוף ממנו.

מדידת נעליים וירטואלית

אפליקציות של חברות נעליים מאפשרות "למדוד" נעל בלי לצאת מהבית: מכוונים את מצלמת הטלפון אל כף הרגל, והדגם שנבחר מופיע על המסך כאילו הוא נעול. אפשר להזיז את הרגל, לקרב ולהרחיק ולבחון את הנעל מכמה זוויות. מדידת בגדים מלאים מורכבת יותר, כי צריך לעקוב אחרי כל הגוף ואחרי תנועה של בד, ולכן הטכנולוגיה בתחום הזה עדיין מתפתחת.

תרגום שלטים בעזרת המצלמה

ב-Google Translate (מתרגם גוגל) מכוונים את המצלמה אל טקסט, והתרגום מוצג על המסך. התרגום במצלמה עובד גם בלי חיבור לאינטרנט, בתנאי שהשפות הורדו מראש דרך בורר השפות שבמסך המצלמה. התכונה אינה מושלמת: טקסט קטן, לא ברור או כתוב בגופן מסוגנן עלול לא להיות מתורגם היטב, ובתאורה חלשה אפשר להפעיל פלאש כדי לשפר את הזיהוי. היא זמינה רק בחלק מהמכשירים. למטיילים בחו"ל זה כלי שימושי במיוחד לקריאת תפריטים, שלטי דרכים והוראות בתחבורה ציבורית.

ניווט ברגל עם המצלמה במפות גוגל

בניווט רגלי רגיל מסתכלים על מפה ומנסים להבין לאיזה כיוון לפנות. בניווט עם מציאות רבודה מרימים את הטלפון אל הרחוב, והחצים וההוראות מופיעים על תמונת המצלמה, במקום שבו צריך לפנות. בעמוד העזרה של Google התכונה מופיעה היום תחת השם Lens in Maps, והתצוגה במצלמה בזמן ניווט רגלי נקראת Live View. ההגדרה נמצאת בתפריט Settings, תחת Navigation ואז Walking options. מי שמתעניין בכיוון שאליו הולך הניווט בטלפונים יכול לקרוא גם על הדרך החדשה לניווט במערכת אנדרויד.

מה התנאים כדי שהתכונה תעבוד

• היא זמינה רק במדינות נבחרות.
• המכשיר צריך לתמוך ב-ARCore (מערכת המציאות הרבודה של אנדרויד) או ב-ARKit (המערכת המקבילה של אפל).
• באזור צריך להיות כיסוי טוב של Street View, כי הזיהוי נשען על תמונות הרחוב.
• צריך להיות בחוץ, באזור מואר.
• יש לכוון את המצלמה אל בניינים ושלטים שמעבר לרחוב, ולא אל המדרכה או השמיים.

איך משתמשים בה נכון

בברירת המחדל, הטיית הטלפון מחליפה בין תצוגת המצלמה לתצוגת המפה: מרימים כדי לראות חצים על הרחוב, ומורידים כדי לחזור למפה. Google ממליצה להפעיל את תצוגת המצלמה רק בתחילת המסלול, בפניות ולקראת ההגעה, ולהכניס את הטלפון לכיס כשהכיוון ברור. הטלפון רוטט כשמגיעים לשלב הבא במסלול, כך שאין צורך להחזיק אותו מול העיניים לאורך כל ההליכה. התכונה אינה מיועדת לשימוש ברכב נוסע.

יש בה גם תכונות נוספות: זיהוי ציוני דרך סביב המשתמש עם המרחק אליהם, וצפייה בסיכה של מי שמשתף מיקום, כולל התחלת ניווט רגלי אליו. זה שימושי, למשל, כשנפגשים עם חבר באזור הומה ולא ברור באיזו פינה הוא עומד.

ומה לגבי ניווט ברכב

הכיוון המתבקש לניווט ברכב הוא תצוגה על השמשה הקדמית, בדומה לתצוגה העילית במטוסי קרב: הנחיות, פניות ויציאות שנראות כאילו הן מצוירות על הכביש, בתצוגה עדינה ושקופה שאינה מסתירה את מה שקורה בדרך. כאן הבטיחות היא השיקול המרכזי. כל מידע שמוצג לנהג צריך להיות מינימלי, כדי שלא יסיח את הדעת מהכביש. מי שבוחר רכב חדש ושוקל מערכות בטיחות ותצוגה מתקדמות יכול לעיין גם במדריך על קניית רכב מליסינג מול רכב יד שנייה.

משחקים, ספורט וחינוך

הפנאי הוא התחום שבו רוב הציבור פגש לראשונה מציאות רבודה, אבל ההשפעה שלה מגיעה גם לשידורי ספורט ולכיתות הלימוד.

פוקימון גו והמשחקים שבאו אחריו

הדוגמה המפורסמת ביותר היא פוקימון גו, שהושק ב-6 ביולי 2016. המשתמשים הסתובבו ברחוב עם מצלמת הטלפון, ופגשו על המסך דמויות וירטואליות שהופיעו על הקרקע או ליד ציוני דרך אמיתיים. בשיאו היו למשחק כ-45 מיליון משתמשים פעילים ביום, וכבר באוגוסט 2016 המספר ירד לכ-30 מיליון. המשחק פותח על ידי Niantic בשנים 2016-2025, ומ-2025 המפתחת שלו היא Scopely.

מאז הופיעו משחקים מרובי משתתפים שמנצלים את אותו עיקרון: חברים נפגשים בפארק, מכוונים את הטלפונים זה אל זה ומשחקים במשחק יריות וירטואלי, כשכל פגיעה מתעדכנת בזמן אמת אצל השחקן שנפגע. השלב הבא שמפתחים שואפים אליו הוא משחקים שמבינים את המרחב התלת ממדי של הבית, כך שדמויות יוכלו לצאת מאחורי הספה או לקפוץ מעבר לדלפק המטבח. המגבלה העיקרית היא היכולת של הטלפון למפות את החדר בדיוק ובמהירות.

שידורי ספורט ושיפוט

בשידורי ספורט מציאות רבודה כבר נמצאת בשימוש רחב: צופים בטלוויזיה רואים שלטי פרסומת או אנימציות על הפרקט, למרות שבאולם עצמו אין שם דבר, והגרפיקה זזה בהתאמה מלאה לתנועת המצלמה. כדי שזה ייראה טבעי, הגרפיקה צריכה להיות מעובדת בתוך 16 אלפיות שנייה, כדי לעמוד בקצב של 60 פריימים בשנייה. בתחום השיפוט, אחד הרעיונות שנבחנים הוא משקפיים לקוון בכדורגל שיסמנו לו את קו השחקן האחרון של ההגנה, כדי לעזור בהחלטות על נבדל. החלטות על עבירות ומגע בין שחקנים עדיין דורשות שיקול דעת אנושי.

חינוך

בלימודים, מציאות רבודה יכולה להפוך דף בספר לחוויה תלת ממדית. קחו מקרה טיפוסי: תלמיד שלומד על מבנה המולקולות במוצק, בנוזל ובגז סורק בטלפון קוד שמודפס בספר, ועל המסך מופיעה אנימציה של המולקולות ליד הדף או מעליו. הדמיה כזו עוזרת להבין מושגים מופשטים שקשה לדמיין מתוך ציור שטוח. מורים יכולים לשלב כלים כאלה גם בשיעורים מרחוק, לצד שיחות ועידה בווידאו.

רפואה, צבא ומשקפיים חכמים: לאן התחום מתקדם

בחלק מהתחומים מציאות רבודה עדיין בשלבי פיתוח, וההבטחה גדולה מהיישום. כדאי להבחין בין מה שקיים לבין מה שנמצא בתכנון.

רפואה

ברפואה טרם נמצאו לטכנולוגיה שימושים נרחבים שמשנים את העבודה היומיומית, אבל הכיוון ברור. מנתח שמרכיב משקפיים שקופים יכול לקבל בזווית העין את הדופק ואת המדדים החיוניים של המטופל, בלי להסיט את המבט אל מוניטור שעומד בצד. בהמשך, ייתכן שאפשר יהיה להקרין צילומי רנטגן, MRI או CT ישירות על גוף המטופל, באזור המתאים, בזמן הניתוח.

צבא וביטחון

הצבא הוא אחד המשתמשים הוותיקים של התחום, כפי שמעידה התצוגה העילית במטוסי קרב. הרעיון שנבחן הוא הרחבה של אותו עיקרון ללוחמי רגלים, למשל מידע שמוצג על זכוכית הקסדה. לצד זה, הטכנולוגיה מעוררת גם חששות אבטחה: כשפוקימון גו יצא, צה"ל אסר על חיילים לשחק בו בבסיסים מטעמי אבטחת מידע, כי משחק שמבוסס על מצלמה ומיקום עלול לחשוף מידע רגיש.

המשקפיים החכמים והמספרים שמאחורי התחום

החלום של מציאות רבודה בלי להחזיק טלפון הוא משקפיים חכמים, אבל הדרך לשם ארוכה. עד אפריל 2025 הושקעו בתחום יותר מ-150 מיליארד דולר, ועדיין המשקפיים היחידים שזכו להצלחה מסחרית מסוימת היו משקפי ריי-באן ומטא, עם כ-2 מיליון זוגות שנמכרו. לסיפור של החברה שמאחורי מטא אפשר להתוודע במאמר על מארק צוקרברג ואיך יצר את העושר שלו.

מקור: ויקיפדיה העברית - מציאות רבודה, וערך פוקימון גו בוויקיפדיה (קישור בסעיף המקורות).

הסכנות: למה מסך מול העיניים מסיח את הדעת

למציאות רבודה בטלפון יש מחיר בטיחותי, והוא נובע מהדרך שבה היא נוצרת. כשהמידע מוצג על מסך שמציג תמונת מצלמה מצומצמת, המשתמש מתרכז במסך ומאבד את הראייה ההיקפית שלו. הוא רואה את מה שהמצלמה רואה, אבל לא את הבור בצד, את העמוד שמימין או את הרכב שמגיע מאחורי הפינה.

ימים ספורים אחרי השקת פוקימון גו דווח על תאונות של שחקנים שלא נזהרו, כולל שחקנים ששיחקו בזמן נהיגה. היו דיווחים על אנשים שנפלו, נתקלו בקירות או חצו כביש בלי להסתכל, כי היו עסוקים במרדף אחרי הדמות הבאה. זו הסיבה ש-Google ממליצה להשתמש בניווט עם המצלמה רק בנקודות המפתח של המסלול ולהכניס את הטלפון לכיס בשאר הזמן.

מכאן נגזרת גם התחזית לגבי התחום: הכיוון הוא מעבר מהקרנה על מסך טלפון להקרנה על משטח שקוף שדרכו רואים את המציאות עצמה, כמו זכוכית חופה, שמשה קדמית או משקפיים. בשיטה הזו העין ממשיכה לראות את כל הסביבה, והמידע הממוחשב רק נוסף עליה.

עד שזה יקרה, כמה כללים פשוטים מצמצמים את הסיכון:

• לא לשחק ולא לנווט עם מצלמה בזמן חציית כביש.
• לא להפעיל אפליקציות מציאות רבודה בזמן נהיגה, בשום מצב.
• לעצור במקום בטוח לפני שמרימים את הטלפון לבדוק כיוון.
• להגדיר לילדים כללים ברורים לגבי משחקים מבוססי מיקום, כולל אזורים שבהם אסור לשחק.
• לבדוק אילו הרשאות מיקום ומצלמה כל אפליקציה מקבלת, ולבטל הרשאות שאינן נחוצות.

טיפ: מי שנוהג ונעזר בטלפון לניווט מוטב שיסתפק בהנחיות קוליות ובמפה רגילה בתושבת, ולא בתצוגת מצלמה. תאונה שנגרמת מהסחת דעת עלולה להיות גם עניין ביטוחי מורכב; על ההבדלים בין סוגי הכיסוי אפשר לקרוא במדריך על ביטוח רכב חובה מול מקיף.

מקורות

• ויקיפדיה העברית - מציאות רבודה
• ויקיפדיה העברית - פוקימון גו
• אפל, מדריך המשתמש של iPhone - מדידת מידות באפליקציית Measure
• אפל, מדריך המשתמש של iPhone - מדידת גובה של אדם
• אפל, מדריך המשתמש של iPhone - דגמים עם סורק LiDAR
• Google Maps, מרכז העזרה - Lens in Maps וניווט Live View
• Google Translate, מרכז העזרה - תרגום טקסט באמצעות המצלמה