Ευθυγράμμιση εικονικών κεφαλών με πραγματικά πρόσωπα σε ενότητα χρησιμοποιώντας το MediaPipe

Προκλήσεις στην εικονική τοποθέτηση κεφαλής για την ανάπτυξη AR

Η εργασία σε ένα έργο επαυξημένης πραγματικότητας (AR) μπορεί να είναι συναρπαστική και προκλητική. Κατά την ανάπτυξη μιας εφαρμογής Android με το Unity, είχα στόχο να συνδυάσω απρόσκοπτα τον ψηφιακό και τον πραγματικό κόσμο, τοποθετώντας ένα εικονικό κεφάλι πάνω σε πρόσωπα του πραγματικού κόσμου. Αυτή η δυνατότητα βασίζεται σε μεγάλο βαθμό στην ακρίβεια για τη δημιουργία μιας καθηλωτικής εμπειρίας. 🕶️

Για να το πετύχω αυτό, χρησιμοποίησα το MediaPipe της Google για να ανιχνεύσω σημεία του προσώπου όπως μάτια, μύτη και στόμα. Στη συνέχεια δημιουργήθηκε η εικονική κεφαλή και τοποθετήθηκε με βάση αυτά τα βασικά σημεία. Ήταν συναρπαστικό να βλέπεις πώς τα σύγχρονα εργαλεία μπορούσαν να μεταμορφώσουν τις δυνατότητες AR, αλλά το ταξίδι δεν ήταν τέλειο.

Το πρόβλημα προέκυψε όταν η εικονική κεφαλή δεν ευθυγραμμίστηκε με το πραγματικό πρόσωπο όπως αναμενόταν. Ανεξάρτητα από τη γωνία ή τη συσκευή, η τοποθέτηση ήταν πάντα λίγο "off", οδηγώντας σε ένα αφύσικο αποτέλεσμα. Ήταν σαν να είχε αποσυνδεθεί η εικονική αναπαράσταση από την πραγματικότητα. Αυτό πυροδότησε μια σειρά πειραμάτων αντιμετώπισης προβλημάτων.

Από την προσαρμογή των ρυθμίσεων της κάμερας του Unity μέχρι τον πειραματισμό με τον αλγόριθμο του MediaPipe, κάθε προσπάθεια έφερε σταδιακές βελτιώσεις αλλά όχι οριστική λύση. Αυτό το άρθρο εξετάζει τον πυρήνα του προβλήματος, τα διδάγματα και τις πιθανές λύσεις για προγραμματιστές που αντιμετωπίζουν παρόμοιες προκλήσεις. 🚀

Βελτίωση της ακρίβειας AR με το Unity και το MediaPipe

Το πρώτο σενάριο που εξερευνήσαμε επικεντρώνεται στη χρήση των ιδιοτήτων φυσικής κάμερας του Unity. Με την ενεργοποίηση χρήση PhysicalProperties, προσαρμόζουμε τη συμπεριφορά της κάμερας ώστε να ταιριάζει καλύτερα με την οπτική του πραγματικού κόσμου. Αυτό είναι ιδιαίτερα σημαντικό όταν εργάζεστε με AR, όπου ακόμη και μικρές αποκλίσεις στην εστιακή απόσταση ή το οπτικό πεδίο μπορεί να κάνουν τα εικονικά αντικείμενα να φαίνονται εσφαλμένα. Για παράδειγμα, η ρύθμιση της εστιακής απόστασης σε μια ακριβή τιμή όπως τα 35 mm μπορεί να βοηθήσει στην ευθυγράμμιση της εικονικής κεφαλής με το πρόσωπο που έχει εντοπιστεί. Αυτή η προσαρμογή μοιάζει με τη λεπτομέρεια ενός τηλεσκοπίου για να φέρει τα μακρινά αντικείμενα σε τέλεια εστίαση, διασφαλίζοντας ότι η εμπειρία AR είναι φυσική και καθηλωτική. 📸

Ένα άλλο κρίσιμο στοιχείο του σεναρίου είναι η ανάκτηση της θέσης και της περιστροφής του προσώπου που ανιχνεύτηκε χρησιμοποιώντας faceMesh.GetDetectedFaceTransform(). Αυτή η λειτουργία παρέχει ενημερώσεις σε πραγματικό χρόνο από το πλέγμα προσώπου του MediaPipe, το οποίο είναι απαραίτητο για τον συγχρονισμό της εικονικής κεφαλής με τις κινήσεις του χρήστη. Φανταστείτε να παίζετε ένα βιντεοπαιχνίδι όπου το κεφάλι του χαρακτήρα σας δεν κινείται σε συγχρονισμό με το δικό σας. η εμπειρία θα ήταν τρομακτική. Εξασφαλίζοντας ακριβή ευθυγράμμιση, αυτό το σενάριο μετατρέπει το AR από καινοτομία σε εργαλείο που μπορεί να υποστηρίξει εφαρμογές όπως εικονικές συσκέψεις ή προηγμένα παιχνίδια.

Το δεύτερο σενάριο εμβαθύνει στον προγραμματισμό shader, ειδικά για την αντιμετώπιση της παραμόρφωσης του φακού. Το shader διορθώνει τις παραμορφώσεις στην τροφοδοσία της κάμερας, χρησιμοποιώντας ιδιότητες όπως _DistortionStrength για να χειριστεί τον τρόπο με τον οποίο οι συντεταγμένες UV αντιστοιχίζονται στην υφή. Αυτό είναι ιδιαίτερα χρήσιμο όταν αντιμετωπίζετε ευρυγώνιους φακούς ή κάμερες με μοναδικά προφίλ παραμόρφωσης. Για παράδειγμα, εάν μια εικονική κεφαλή φαίνεται μεγαλύτερη ή μικρότερη από την πραγματική όψη ανάλογα με τη γωνία, η προσαρμογή των ρυθμίσεων παραμόρφωσης εξασφαλίζει καλύτερη ευθυγράμμιση. Είναι σαν να προσαρμόζετε το πλαίσιο ενός καθρέφτη για να εξαλείψετε ένα εφέ διασκέδασης, κάνοντας τις αντανακλάσεις πιο ρεαλιστικές. 🎨

Τέλος, οι δοκιμές μονάδας από το τρίτο σενάριο επικυρώνουν τις λύσεις. Αυτές οι δοκιμές συγκρίνουν την αναμενόμενη θέση και περιστροφή της εικονικής κεφαλής με τα πραγματικά αποτελέσματα, διασφαλίζοντας ότι οι προσαρμογές διαρκούν υπό διάφορες συνθήκες. Χρησιμοποιώντας το NUnit Επιβεβαιώστε.Είναι ίσοι, οι προγραμματιστές μπορούν να προσομοιώσουν διαφορετικά σενάρια, όπως η γρήγορη κίνηση του κεφαλιού ή η κλίση του σε ακραίες γωνίες, για να επιβεβαιώσουν την ευθυγράμμιση. Για παράδειγμα, κατά τη διάρκεια της ανάπτυξης, παρατήρησα ότι η ευθυγράμμιση λειτούργησε καλά όταν κοιτούσα προς τα εμπρός, αλλά παρέσυρε όταν το κεφάλι γύριζε στο πλάι. Αυτές οι δοκιμές μονάδας τόνισαν το ζήτημα και καθοδήγησαν περαιτέρω βελτιώσεις, ενισχύοντας τη σημασία των ενδελεχών δοκιμών για τη δημιουργία ισχυρών εφαρμογών AR. 🚀

// Import necessary Unity libraries
using UnityEngine;
using Mediapipe.Unity;

public class VirtualHeadAdjuster : MonoBehaviour
{
    public Camera mainCamera; // Assign Unity's physical camera
    public GameObject virtualHead; // Assign the virtual head prefab
    private MediapipeFaceMesh faceMesh; // MediaPipe's face mesh component

    void Start()
    {
        // Enable Unity's physical camera
        mainCamera.usePhysicalProperties = true;
        mainCamera.focalLength = 35f; // Set a standard focal length
    }

    void Update()
    {
        if (faceMesh != null && faceMesh.IsTracking)
        {
            // Update the virtual head's position and rotation
            Transform detectedHead = faceMesh.GetDetectedFaceTransform();
            virtualHead.transform.position = detectedHead.position;
            virtualHead.transform.rotation = detectedHead.rotation;
        }
    }
}

Shader "Custom/LensDistortionCorrection"
{
    Properties
    {
        _DistortionStrength ("Distortion Strength", Float) = 0.5
    }

    SubShader
    {
        Pass
        {
            CGPROGRAM
            #pragma vertex vert
            #pragma fragment frag

            float _DistortionStrength;

            struct appdata
            {
                float4 vertex : POSITION;
                float2 uv : TEXCOORD0;
            };

            struct v2f
            {
                float4 pos : SV_POSITION;
                float2 uv : TEXCOORD0;
            };

            v2f vert (appdata v)
            {
                v2f o;
                o.pos = UnityObjectToClipPos(v.vertex);
                o.uv = v.uv;
                return o;
            }

            fixed4 frag (v2f i) : SV_Target
            {
                float2 distUV = i.uv - 0.5;
                distUV *= 1.0 + _DistortionStrength * length(distUV);
                distUV += 0.5;
                return tex2D(_MainTex, distUV);
            }
            ENDCG
        }
    }
}

using NUnit.Framework;
using UnityEngine;
using Mediapipe.Unity;

[TestFixture]
public class VirtualHeadAlignmentTests
{
    private VirtualHeadAdjuster adjuster;
    private GameObject testHead;

    [SetUp]
    public void Init()
    {
        GameObject cameraObject = new GameObject("MainCamera");
        adjuster = cameraObject.AddComponent<VirtualHeadAdjuster>();
        testHead = new GameObject("VirtualHead");
        adjuster.virtualHead = testHead;
    }

    [Test]
    public void TestVirtualHeadAlignment()
    {
        Vector3 expectedPosition = new Vector3(0, 1, 2);
        Quaternion expectedRotation = Quaternion.Euler(0, 45, 0);

        adjuster.virtualHead.transform.position = expectedPosition;
        adjuster.virtualHead.transform.rotation = expectedRotation;

        Assert.AreEqual(expectedPosition, testHead.transform.position);
        Assert.AreEqual(expectedRotation, testHead.transform.rotation);
    }
}

Βελτιώστε την τοποθέτηση AR μέσω τεχνικών βελτιωμένης βαθμονόμησης

Μια πτυχή που συχνά παραβλέπεται στα ζητήματα ευθυγράμμισης AR είναι η σημασία της βαθμονόμησης της κάμερας. Σε έργα AR, όπως η τοποθέτηση μιας εικονικής κεφαλής πάνω από μια πραγματική, του φακού εγγενείς παραμέτρους παίζουν ζωτικό ρόλο. Αυτές οι παράμετροι περιλαμβάνουν την εστιακή απόσταση, το οπτικό κέντρο και τους συντελεστές παραμόρφωσης. Όταν αυτές οι τιμές δεν είναι ακριβείς, η εικονική κεφαλή μπορεί να φαίνεται εσφαλμένη ή παραμορφωμένη. Για να αντιμετωπιστεί αυτό, μπορούν να χρησιμοποιηθούν εργαλεία βαθμονόμησης για τον υπολογισμό αυτών των παραμέτρων για τη συγκεκριμένη κάμερα συσκευής. Για παράδειγμα, λογισμικό όπως το OpenCV προσφέρει ισχυρά βοηθητικά προγράμματα βαθμονόμησης για τη δημιουργία ακριβών μητρών κάμερας και προφίλ παραμόρφωσης. 📐

Μια άλλη προσέγγιση περιλαμβάνει τη μόχλευση του Unity στοίβα μετά την επεξεργασία. Εφαρμόζοντας εφέ όπως διορθώσεις βάθους πεδίου ή χρωματικές εκτροπές, μπορείτε να εξομαλύνετε τις αποκλίσεις μεταξύ της αποδοθείσας εικονικής κεφαλής και του πραγματικού περιβάλλοντος. Η μετα-επεξεργασία προσθέτει ένα στρώμα γυαλίσματος που γεφυρώνει το χάσμα μεταξύ εικονικών αντικειμένων και φυσικών χώρων. Για παράδειγμα, ένα λεπτό εφέ θολώματος μπορεί να μειώσει τις σκληρές άκρες που κάνουν εμφανείς τις λανθασμένες ευθυγραμμίσεις. Αυτό είναι ιδιαίτερα χρήσιμο σε καθηλωτικές εφαρμογές όπου οι χρήστες είναι ιδιαίτερα εστιασμένοι στη σκηνή.

Τέλος, μην υποτιμάτε τη δύναμη της δυναμικής προσαρμογής κατά τη διάρκεια του χρόνου εκτέλεσης. Η ενσωμάτωση μοντέλων μηχανικής εκμάθησης στη διοχέτευση AR μπορεί να επιτρέψει στο σύστημα να μάθει και να προσαρμόσει την τοποθέτηση με την πάροδο του χρόνου. Για παράδειγμα, ένα μοντέλο τεχνητής νοημοσύνης θα μπορούσε να αναλύσει τα σχόλια των χρηστών ή να ανιχνεύσει ασυνέπειες και να ρυθμίσει τη στοίχιση δυναμικά. Αυτό καθιστά το σύστημα πιο στιβαρό και ικανό να αντιμετωπίζει διακυμάνσεις στον φωτισμό, την απόδοση της συσκευής ή τη συμπεριφορά του χρήστη. Αυτές οι βελτιώσεις εξασφαλίζουν μια απρόσκοπτη εμπειρία AR, κάνοντας τον εικονικό και τον πραγματικό κόσμο να νιώθουν πραγματικά ενοποιημένοι. 🚀