ראיית תלת מימד היא תחום רב תחומי העוסק בגרפיקה ממוחשבת, ראייה ממוחשבת ובינה מלאכותית. מטרתו היא לאפשר למכונות להבין ולעבד מידע במרחב תלת מימדי-, תוך השגת תפיסת עומק, זיהוי והבנה של אובייקטים וסצינות.
משימות עיקריות
שחזור תלת מימד
הערכת עומק של סצנות תלת מימד או דגימה דיגיטלית של משטחי אובייקט, כמו גם עיבוד ותצוגה של נתוני תלת מימד; שחזור מונוקולרי, שחזור דו-עיני, שחזור מבוסס אור- מובנה, שחזור מבוסס- לייזר; שחזור תלת מימד בקנה מידה- גדול, שחזור תלת מימד נייד.
הערכת תנוחה
חישוב המיקום והכיוון של מצלמות או עצמים במרחב פיזי תלת מימדי- ומעקב בזמן אמת-.
הבנת תלת מימד
זיהוי, זיהוי ושליפה של אובייקטים, כמו גם פילוח ותיוג סמנטי של סצנות או אובייקטים.
עקרונות עבודה
הדמיית ראייה תלת מימדית היא אחת השיטות החשובות ביותר לתפיסת מידע ברובוטים תעשייתיים, וניתן לחלק אותה לשיטות הדמיה אופטית ולא-אופטית. נכון לעכשיו, שיטות אופטיות הן הנפוצות ביותר.
שיטת-הטיסה-(TOF).
שיטה זו מחשבת את המרחק לאובייקט על ידי מדידת הפרש הזמן בין פליטת אור לקליטה. אם לוקחים מצלמת TOF כדוגמה, כל פיקסל משתמש בהפרש הזמן של טיסה קלה כדי לקבל את עומק האובייקט. בשיטות מדידה קלאסיות, מערכת הגלאים מתחילה לתזמן כאשר היא פולטת דופק אור, מאחסנת את זמן הנסיעה הלוך ושוב כאשר היא קולטת את הד אור המטרה, ומעריכה את מרחק המטרה לפי נוסחה.
הוא מחולק ל-TOF ישיר (DTOF) ול-TOF עקיף (I-TOF). DTOF משמש בדרך כלל במערכות -לטווח נקודות בודדות, והשגת הדמיה תלת-ממדית בשטח- מצריכה לעתים קרובות טכנולוגיית סריקה; I-TOF מחלץ בעקיפין את זמן הנסיעה הלוך ושוב ממדידות-מוגדרות בזמן של עוצמת האור, ומבטל את הצורך בתזמון מדויק, וכיום מהווה פתרון ממוסחר למיקסרים אלקטרוניים ואופטיים המבוססים על מצלמות TOF. הדמיית TOF יכולה לשמש עבור שדה ראייה גדול,-למרחקים ארוכים, דיוק-נמוך, ובעלות{10}}נמוכה, ומשמשת לתפיסה סביבתית במערכות בלתי מאוישות חכמות (כגון רובוטים, כלי רכב בלתי מאוישים, מל"טים וכו').
הדמיה תלת מימדית של הקרנת אור מובנית
הדמיה תלת מימדית של הקרנת אור מובנית היא כיום השיטה העיקרית לתפיסת ראייה תלת מימדית ברובוטים. מקרן מקרין דפוס תאורה ספציפי של אור מובנה על אובייקט המטרה, כגון פסים או דפוסי קוד אפור, ומצלמה לוכדת את התמונה המווסתת על ידי המטרה. עקב גליות פני האובייקט, תבנית האור המובנית מעוותת על פני האובייקט. על ידי עיבוד תמונות ושימוש במודלים חזותיים להשוואת הדפוסים לפני ואחרי עיוות, וניתוח עיוות הדפוס, ניתן לחשב את מידע הקואורדינטות התלת מימדי של כל נקודה על פני השטח של אובייקט היעד.
ביישומי מערכת-יד רובוטית, עבור תרחישים שבהם לא נדרש דיוק גבוה למדידת תלת-ממד (כגון פלטיזציה, הסרת משטחים ואחיזה תלת-ממדית), השיטה של הקרנת דפוסי כתמים פסאודו- אקראיים כדי להשיג מידע תלת-ממדי של יעד היא פופולרית למדי. שיטה זו משמשת בדרך כלל בבדיקה תעשייתית ומידול תלת מימד, והיא יכולה להשיג במהירות נתוני תלת מימד של פני האובייקט. מערכת הדמיית אור מובנית מורכבת ממספר מקרנים ומצלמות. צורות מבניות נפוצות כוללות: מקרן יחיד-מצלמה יחידה, מקרן יחיד-מצלמה כפולה, מקרן יחיד-מרובות מצלמות, מקרנים כפולים-מצלמות בודדות ומקרנים מרובים במצלמה אחת-.
עקרון העבודה הבסיסי של הדמיה תלת מימדית של הקרנת אור מובנה הוא כדלקמן: המקרן מקרין דפוס תאורה ספציפי של אור מובנה על אובייקט המטרה, המצלמה לוכדת את התמונה המווסתת על ידי המטרה, ואז המידע התלת מימדי של אובייקט המטרה מתקבל באמצעות עיבוד תמונה ומודלים חזותיים. סוגים נפוצים של מקרנים כוללים: תצוגת גביש נוזלי (LCD), הקרנת אפנון אור דיגיטלי (DLP: כגון התקני מיקרו מראה דיגיטליים (DMD)), והקרנה ישירה של דפוסי לייזר LED.
בהתבסס על מספר הקרנות האור המובנות, ניתן לחלק הדמיה תלת-ממדית של הקרנת אור מובנית לשיטות צילום תלת-ממד-יחיד ו-3-ממד מרובה--צילום. אור מובנה-יחיד משתמש בעיקר בקידוד ריבוי מרחבי ובקידוד ריבוי תדרים. צורות קידוד נפוצות כוללות: קידוד צבע, אינדקס בגווני אפור, קידוד צורות גיאומטריות ודפוסי כתמים אקראיים. נכון לעכשיו, ביישומי מערכת עין-יד רובוטית, עבור תרחישים שבהם אין צורך בדיוק גבוה למדידת תלת-ממד, כגון פלטיזציה, הסרת משטחים ואחיזה תלת-ממדית, נעשה שימוש נרחב בשיטה של הקרנת דפוסי כתמים פסאודו- אקראיים להשגת מידע תלת-ממדי של יעד.
שיטות ריבוי-תלת מימד משתמשות בעיקר בקידוד ריבוי זמן-. צורות קידוד דפוסים נפוצות כוללות: קידוד בינארי, קידוד רב-תדרים של שלב-, ושיטות קידוד היברידיות (כגון קוד אפור ופאזה-הסטת שוליים). העיקרון הבסיסי של הדמיית תלת מימד מובנית באור מוצג באיור למטה. תבנית אור מובנית נוצרת באמצעות מחשב או מכשיר אופטי מיוחד, ולאחר מכן מוקרנת על פני האובייקט הנבדק באמצעות מערכת הקרנה אופטית. התקן רכישת תמונה (כגון מצלמת CCD או CMOS) משמש כדי ללכוד את תמונת האור המובנית המווסתת ומעוותת על ידי פני האובייקט. לאחר מכן משתמשים באלגוריתמים לעיבוד תמונה כדי לחשב את ההתאמה בין כל פיקסל בתמונה לבין הנקודות על קו המתאר של האובייקט. לבסוף, מידע המתאר התלת-ממדי של האובייקט מחושב באמצעות מודל מבנה המערכת וטכנולוגיית הכיול שלו. ביישומים מעשיים, נעשה שימוש נפוץ בהקרנת קוד אפור, הקרנת שלב סינוסואיד-משמרת שוליים, או טכנולוגיית תלת-ממד היברידית של קוד אפור ושלב סינוסואידי-.
עבור משטחים מחוספסים, ניתן להקרין אור מובנה ישירות על פני האובייקט לצורך מדידת הדמיה חזותית; עם זאת, עבור מדידה תלת-ממדית של משטחים חלקים מחזירי אור וחפצים במראה, הקרנת אור מובנית לא יכולה להיות מוקרנת ישירות על פני השטח הנבדקים, ומדידה תלת-ממדית מחייבת שימוש בטכניקות השתקפות ספקקולרית.
בתכנית זו, השוליים אינם מוקרנים ישירות על קו המתאר של האובייקט הנבדק, אלא על מסך פיזור, או שמסך גביש נוזלי (LCD) משמש להצגת השוליים ישירות. המצלמה רוכשת את המידע השולי המאופנן על ידי שינויי העקמומיות של פני השטח הבהירים דרך נתיב האור המוחזר, ולאחר מכן מחשבת את מורפולוגיית המתאר התלת-ממדית-.
סריקת הדמיה תלת מימדית
ניתן לחלק את שיטות ההדמיה בתלת-ממד לסריקת טווח סריקה, טריאנגולציה אקטיבית ושיטות קונפוקאליות כרומטיות. סריקת טווחים משתמשת בקרן אור מאוזנת כדי לסרוק את כל משטח המטרה למדידה תלת מימדית. שיטות טווח סריקה אופייניות כוללות: שיטות-נקודת זמן-יחידה של-טיסה, כגון אפנון תדר גל מתמשך (FM-CW) וטווחי דופק (LiDAR); אינטרפרומטריית פיזור לייזר, כגון אינטרפרומטרים המבוססים על הפרעות אורכי גל מרובי-, הפרעות הולוגרפיות, הפרעות אור לבן ועקרונות הפרעות כתמים; ושיטות קונפוקאליות, כמו ריכוז כרומטי ומיקוד אוטומטי.
בשיטות סריקה תלת-ממדיות של-נקודות בודדות, שיטת-זמן הטיסה-היחידה-מתאימה לסריקה למרחקים ארוכים-, אך דיוק המדידה נמוך יחסית, בדרך כלל בטווח המילימטרים. שיטות אחרות לסריקה-נקודתית כוללות התערבות לייזר-יחידה, מיקרוסקופיה קונפוקלית ומשולש לייזר פעיל-יחידה. שיטות אלו מציעות דיוק מדידה גבוה, אך הראשונה דורשת סביבה מבוקרת. סריקת קווים מציעה דיוק בינוני ויעילות גבוהה. משולש לייזר אקטיבי ומיקרוסקופיה קונפוקלית כרומטית מתאימים במיוחד למדידה תלת-ממדית בקצה האפקטור של זרוע רובוטית. טריאנגולציה אקטיבית מבוססת על עקרון הטריאנגולציה, באמצעות קרן קולימטית או קרן מישורית אחת או יותר כדי לסרוק את משטח המטרה למדידה תלת מימדית.
אלומת האור מתקבלת בדרך כלל בדרכים הבאות: קולימציה לייזר, התרחבות אלומה מנסרת משטח גלילי או מרובע, אור לא-קוהרנטי (כגון אור לבן, מקור אור LED) המוקרן דרך חורים קטנים, חריצים (סרגים) או עקיפה של אור קוהרנטי. ניתן לחלק משולש פעיל לשלושה סוגים: סריקה-נקודתית בודדת, סריקה-קו בודדת וסריקה מרובה-קו. נכון לעכשיו, רוב המוצרים הזמינים מסחרית עבור מפעילי קצה רובוטיים של זרועות הם סורקים -נקודתיים ויחיד-קו אחד.
בשיטות סריקה מרובות-קו, זיהוי אמין של מספרי שוליים הוא אתגר. כדי לזהות במדויק מספרי שוליים, שתי קבוצות של מטוסי אור מאונכים מצטלמים בדרך כלל במהירות גבוהה לסירוגין. זה גם מאפשר סריקת "טריאנגולציה מעופפת", שתהליך הסריקה והשחזור התלת מימדי שלה מוצג באיור למטה. הקרנת-קווים מרובים והדמיית הבזק-יחידה מייצרים תצוגה תלת-ממדית דלילה. מספר רצפים של תצוגות תלת-ממד נוצרות באמצעות סריקת הקרנת שוליים אורכיים ורוחביים, ולאחר מכן נוצר מודל משטח תלת-ממדי ברזולוציה גבוהה, שלם וצפוף באמצעות רישום תמונה תלת-ממדית.
מיקרוסקופיה כרומטית קונפוקלית נראית מסוגלת לסרוק ולמדוד אובייקטים אטומים ושקופים מחוספסים וחלקים, כגון משטחים מחזירי אור ומשטחי זכוכית שקופים, ונמצאת כיום בשימוש נרחב בתחומים כגון בדיקת תלת מימד של כיסויי טלפון נייד. לסריקה קונפוקלית כרומטית יש שלושה סוגים: סריקת מדידת מרחק אבסולוטי-יחידה-יחידה-ממדית, סריקת מערך מרובת-נקודות וסריקת קו רציף. האיור שלהלן מציג דוגמאות למדידת מרחק מוחלט וסריקת קו רציף. סריקת קו רציף היא גם סוג של סריקת מערך, אך עם מערך גדול וצפוף יותר של נקודות.
Stereo Vision 3D הדמיה
ראיית סטריאו מתייחסת בדרך כלל לשחזור המבנה התלת-ממדי או מידע העומק של אובייקט מטרה על ידי רכישת שתי תמונות או יותר מנקודות מבט שונות. ניתן לחלק רמזים חזותיים לתפיסת עומק לרמזים עיניים ולסממנים דו-עיניים (הפרש בינקולרי). נכון לעכשיו, ניתן להשיג ראייה סטריאו תלת-ממדית באמצעות ראייה חד-קולרית, ראייה דו-עינית, ראייה מרובה-ראייה והדמיה תלת-ממדית בשדה אור (מצלמת עין מורכבת אלקטרונית או מערך). רמזים לתפיסת עומק ראייה חד-עינית כוללים בדרך כלל: פרספקטיבה, הבדלי אורך מוקד, הדמיה מרובה-תצוגות, חסימה, צללים, פרלקסת תנועה וכו'.
בראייה רובוטית, ניתן להשיג זאת גם באמצעות הדמיית מראה וצורות אחרות-מ-שיטות X. רמזים חזותיים של תפיסת עומק ראייה דו-עינית כוללים: מיקום התכנסות עיניים ופער דו-עיני. בראיית מכונה, שתי מצלמות משמשות לרכישת שתי תמונות נקודת מבט של אותה סצינת מטרה משתי נקודות מבט, ואז הפער בין הנקודות המתאימות בשתי תמונות נקודת המבט מחושב כדי לקבל את מידע העומק התלת-ממדי של סצנת המטרה. תהליך חישוב אופייני של ראיית סטריאו בינוקולרית כולל את ארבעת השלבים הבאים: תיקון עיוות תמונה, תיקון צמד תמונות סטריאו, רישום תמונה וחישוב מפת פערי הקרנת משולש מחדש.
הדמיית ראייה מרובה-, או הדמיית סטריאו מרובה-, משתמשת במצלמות בודדות או מרובות כדי להשיג תמונות מרובות של אותה סצנת יעד מנקודות מבט מרובות כדי לשחזר את המידע התלת מימדי של סצינת היעד.
הדמיית סטריאו מרובה-תצוגה משמשת בעיקר בתרחישים הבאים: שימוש במספר מצלמות מנקודות מבט שונות כדי להשיג תמונות מרובות של אותה סצינת יעד, ולאחר מכן שימוש בשחזור סטריאו מבוסס תכונה-ואלגוריתמים אחרים כדי להשיג מידע על עומק הסצנה ומבנה מרחבי; שימוש בטכניקת המבנה-מתוך-תנועה (SFM), תוך שימוש באותה מצלמה עם הפרמטרים הפנימיים שלה ללא שינוי, כדי לרכוש תמונות מרובות מנקודות מבט שונות כדי לשחזר את המידע התלת מימדי של סצינת היעד. טכנולוגיה זו משמשת בדרך כלל למעקב אחר מספר רב של נקודות בקרה בסצנת מטרה, תוך שחזור רציף של המידע המבני התלת-ממדי של הסצינה, כמו גם את תנוחת המצלמה ומיקום המצלמה. הדמיה בשדה אור שונה מעקרונות ההדמיה המסורתיים של המצלמה. מצלמות מסורתיות יוצרות תמונה דו-ממדית ישירות על מישור ההדמיה לאחר שאור עובר דרך העדשה.
מצלמות שדה אור מוסיפות מערך עדשות מיקרו מול מישור החיישן. אור הנכנס דרך העדשה הראשית עובר שוב דרך כל מיקרועדשה ונקלט על ידי המערך הרגיש לאור, ובכך משיג מידע על הכיוון והמיקום של קרני האור. זה מאפשר לעבד את תוצאות ההדמיה מאוחר יותר, השגת אפקט "תצלום קודם, התמקד מאוחר יותר", ומאפשר שחזור של המבנה התלת--ממדי של הסצנה באמצעות מידע זה. בתחומים כמו מציאות מדומה ומציאות רבודה, טכנולוגיית הדמיה בשדה אור מסייעת לספק חוויה חזותית מציאותית יותר ומאפשרת תפיסה ואינטראקציה תלת מימדית מדויקת יותר- עם הסצנה.
העיקרון של הדמיה תלת מימדית בשדה אור שונה מבחינה מבנית מעקרונות ההדמיה של מצלמות CCD ו-CMOS מסורתיות. מצלמות מסורתיות מצלמים אור ישירות אל מישור ההדמיה לאחר שהוא עובר דרך העדשה, ובדרך כלל מייצרים תמונה דו-ממדית. מצלמות שדה אור מוסיפות מערך מיקרו-עדשות בחזית מישור החיישן, מה שגורם לאור הנכנס דרך העדשה הראשית לעבור שוב דרך כל מיקרו-עדשה ולהתקבל על ידי המערך הרגיש לאור, ובכך לקבל מידע על כיוון ומיקום קרני האור. זה מאפשר עיבוד שלאחר-של תוצאות ההדמיה, השגת אפקט "תצלום קודם, התמקד מאוחר יותר".