C#-Uniform Render Streaming WebRTC:llä kaksisuuntaiseen tekstiviestintään Unity Client -sovelluksesta JavaScript-palvelimeen

Reaaliaikaisen viestinnän mahdollistaminen Unityn ja JavaScriptin välillä WebRTC:n avulla

Sovellusten reaaliaikaisen viestinnän kasvavan kysynnän myötä kehittäjät hyödyntävät WebRTC:tä siirtääkseen videota, ääntä ja dataa saumattomasti. Tässä yhteydessä Unity Render Streaming tarjoaa tehokkaan kehyksen videon suoratoistoon JavaScript-palvelimelta Unity-asiakkaalle. Kaksisuuntaisen viestinnän luominen, kuten tekstiviestien lähettäminen takaisin Unitysta JavaScript-palvelimelle, voi kuitenkin olla haaste.

Tässä projektissa pyrimme rakentamaan suoratoistosovelluksen käyttämällä Unity Render Streaming -laajennusta yhdessä WebRTC-protokollan kanssa. Vaikka videon suoratoisto-osa on määritetty onnistuneesti, seuraava vaihe sisältää tiedonsiirron sallimisen RTCDataChannelin kautta. Tämä sallii tekstiviestien lähettämisen Unity-asiakassovelluksesta aktiivisten videostriimien aikana.

Tutkimme, kuinka olemassa olevia koodinäytteitä voidaan muokata näiden vaatimusten mukaisiksi. JavaScript-pohjainen verkkosovellus hallitsee videon suoratoistoa, kun taas Unity-asiakas yrittää lähettää malliviestin, kuten "Hello World", takaisin palvelimelle. Käymme läpi kohtaamat konfigurointihaasteet ja niiden mahdolliset ratkaisut.

Tässä artikkelissa käsitellään myös ongelmia, kuten puuttuvia nimiavaruuksia ja ratkaisemattomia viittauksia Unityssa. Arvioimme, onko nykyinen koodi oikealla tiellä, ja tarjoamme ratkaisuja yleisten ongelmien, kuten "SingleConnection" -virheen, korjaamiseen. Loppujen lopuksi pyrimme luomaan sujuvan, kaksisuuntaisen tekstiviestiputken Unityn ja JavaScriptin välille WebRTC:n avulla.

Unity-to-JavaScript-viestintäjärjestelmän rakentaminen WebRTC:n avulla

Tämän projektin tavoitteena on käyttää Unity Render -suoratoisto WebRTC-liitännäinen videon siirtämiseksi JavaScript-palvelimelta Unity-asiakkaalle ja samalla dataviestien lähettämiseen takaisin Unitysta. JavaScript-komentosarjan ensimmäinen vaihe sisältää mediavirran määrittämisen. Käytämme `captureStream()-menetelmää videosisällön suoratoistamiseen HTML5-elementistä ja RTCPeerConnection objekti hallitsee yhteyttä kahden vertaisryhmän välillä. Tähän yhteyteen luodaan DataChannel, joka mahdollistaa ei-mediadatan (kuten tekstin) siirtämisen videovirran rinnalle.

Unity-puolella alustamme WebRTC-yhteyden ReceiverSample.cs-komentosarjassa määrittämällä RTCDataChannel. Tämä kanava vastaa sekä tekstitietojen lähettämisestä että vastaanottamisesta JavaScript-palvelimelle. Korutiinitoimintoa käytetään toistuvasti "Hello World" -viestin lähettämiseen kahden sekunnin välein vain, jos kanavan tila on "Avoin". Kun JavaScript-palvelimen DataChannel vastaanottaa viestin, se kirjaa sisällön konsoliin varmistaakseen yhteyden onnistumisen.

Tämän prosessin aikana korostettu kriittinen ongelma on puuttuva viittaus SingleConnection-nimiavaruuteen Unity-koodista, mikä aiheuttaa käännösvirheitä. Tämä viittaa siihen, että joko vaadittu paketti puuttuu tai projektin kokoonpanossa on virheellinen riippuvuus. Tämän ratkaisemiseksi suosittelemme varmistamaan, että kaikki tarvittavat riippuvuudet, kuten Unity WebRTC -paketti, on asennettu oikein ja että niihin viitataan oikein. Jos pakettia ei ole saatavilla, luokka on ehkä korvattava standardilla RTCPeerConnection esine.

Lopuksi molempien komentosarjojen virheenkäsittelymekanismi varmistaa, että epäonnistuneet yhteydet raportoidaan konsoliin, mikä auttaa virheenkorjauksessa. Unity-skripti sisältää "StartCoroutine()"-toiminnon asynkronisten viestien hallintaan, mikä on hyödyllistä ylläpitää reaaliaikaista tiedonvaihtoa estämättä muita prosesseja. Käytämme myös OnOpen- ja OnClose-tapahtumia DataChannelin tilan seurantaan ja varmistamme, että viestit lähetetään vain, kun yhteys on vakaa. Tämä modulaarinen asennus varmistaa, että koodia voidaan laajentaa tai muokata helposti, ja se tarjoaa vakaan lähtökohdan kehittyneempien suoratoistosovellusten rakentamiseen Unityn ja WebRTC:n avulla.

// sendvideo.js - JavaScript Server-Side Code
import * as Logger from "../../module/logger.js";
export class SendVideo {
  constructor(localVideoElement, remoteVideoElement) {
    this.localVideo = localVideoElement;
    this.remoteVideo = remoteVideoElement;
    this.peerConnection = new RTCPeerConnection();
    this.dataChannel = this.peerConnection.createDataChannel("myDataChannel");
  }
  async startLocalVideo() {
    const stream = document.createElement('video').captureStream();
    this.localVideo.srcObject = stream;
    await this.localVideo.play();
    this.peerConnection.createOffer().then(offer => {
      this.peerConnection.setLocalDescription(offer);
    });
  }
}

// ReceiverSample.cs - Unity Client Code
using System.Collections;
using UnityEngine;
using Unity.WebRTC;
public class ReceiverSample : MonoBehaviour {
  private RTCDataChannel dataChannel;
  void Start() { StartCoroutine(InitializeConnection()); }
  IEnumerator InitializeConnection() {
    var connection = new RTCPeerConnection();
    dataChannel = connection.CreateDataChannel("myDataChannel");
    dataChannel.OnOpen += OnChannelOpen;
    yield return null;
  }
  void OnChannelOpen() { StartCoroutine(SendMessageLoop()); }
  IEnumerator SendMessageLoop() {
    while (dataChannel.ReadyState == RTCDataChannelState.Open) {
      dataChannel.Send("Hello World");
      yield return new WaitForSeconds(2);
    }
  }
}

// Adjustments to avoid missing reference issues in ReceiverSample.cs
using Unity.WebRTC;
public class FixedReceiverSample : MonoBehaviour {
  private RTCPeerConnection peerConnection;
  private RTCDataChannel dataChannel;
  void Start() { InitializeWebRTC(); }
  void InitializeWebRTC() {
    peerConnection = new RTCPeerConnection();
    dataChannel = peerConnection.CreateDataChannel("myDataChannel");
    dataChannel.OnOpen += () => Debug.Log("DataChannel open!");
    peerConnection.CreateOffer().ContinueWith(offer => {
      peerConnection.SetLocalDescription(offer.Result);
    });
  }
}

// DataChannelTest.cs - Unity Unit Test
using NUnit.Framework;
using Unity.WebRTC;
public class DataChannelTest {
  [Test]
  public void TestDataChannelCommunication() {
    var connection = new RTCPeerConnection();
    var channel = connection.CreateDataChannel("testChannel");
    bool messageReceived = false;
    channel.OnMessage += message => {
      messageReceived = message == "Hello World";
    };
    channel.Send("Hello World");
    Assert.IsTrue(messageReceived);
  }
}

Unityn ja WebRTC-suoratoiston tiedonsiirtohaasteiden tutkiminen

Videon suoratoiston lisäksi mahdollistaminen tietoliikenne Unity-asiakkaan ja JavaScript-palvelimen välillä WebRTC:tä käyttäen avaa uusia mahdollisuuksia. Tällaisen viestinnän toteuttaminen ei kuitenkaan aina ole yksinkertaista, varsinkin kun integroit Unity Render Streaming -laajennuksen. Yleinen ongelma on järjestelmän oikea määrittäminen ja hallinta RTCDataChannel saumatonta tekstiviestintää varten. Esimerkissämme Unity-asiakkaan pitäisi pystyä lähettämään "Hello World" -viesti takaisin JavaScript-palvelimelle. Tämä vaihe vaatii huolellista käsittelyä sekä Unityn komentosarjaympäristössä että WebRTC:n protokollan vivahteissa.

Yksi tärkeä haaste on riippuvuuden hallinta Unityssa. Virheet, kuten puuttuva SingleConnection-nimiavaruus ReceiverSample.cs-koodissamme, korostavat tarvetta varmistaa, että kaikki tarvittavat laajennukset, mukaan lukien WebRTC, on asennettu oikein. Hyvä käytäntö tässä on tarkistaa yhteensopivuus Unity-version ja käytössä olevan laajennusversion välillä. Ongelma voi johtua myös vanhentuneista tai puuttuvista Unity Render Streaming -komponenteista, jotka on määritettävä oikealla yhteys esineitä.

Teknisten ongelmien lisäksi tutkittava lisänäkökohta on Unityn ja JavaScriptin välinen latenssi WebRTC:n kautta. Vaikka WebRTC tarjoaa matalan viiveen viestinnän, verkkoolosuhteet voivat silti vaikuttaa viestien toimitukseen. Korutiinien käyttäminen Unityssa mahdollistaa viestien toimittamisen esteettömästi ja varmistaa, että tekstidatan lähettäminen (esim. "StartCoroutine":n kautta) ei keskeytä videon suoratoistoa. Yhteyden vakauden testaaminen RTCDataChannelStaten kautta on toinen keskeinen käytäntö sen varmistamiseksi, että viestit lähetetään vain kanavan ollessa aktiivinen. Nämä strategiat auttavat optimoimaan suorituskykyä ja varmistamaan paremman käyttökokemuksen reaaliaikaisissa sovelluksissa.