C#-Uniform renderēšanas straumēšana ar WebRTC divvirzienu teksta ziņojumapmaiņai no Unity Client uz JavaScript serveri

Reāllaika saziņas iespējošana starp Unity un JavaScript, izmantojot WebRTC

Pieaugot pieprasījumam pēc reāllaika saziņas lietojumprogrammās, izstrādātāji izmanto WebRTC, lai netraucēti pārsūtītu video, audio un datus. Šajā kontekstā Unity Render Streaming piedāvā jaudīgu sistēmu video straumēšanai no JavaScript servera uz Unity klientu. Tomēr divvirzienu komunikācijas izveide, piemēram, īsziņu sūtīšana atpakaļ no Unity uz JavaScript serveri, var būt izaicinājums.

Šajā projektā mūsu mērķis ir izveidot straumēšanas lietotni, izmantojot spraudni Unity Render Streaming kopā ar WebRTC protokolu. Kamēr video straumēšanas daļa ir veiksmīgi konfigurēta, nākamais solis ietver datu apmaiņas iespējošanu, izmantojot RTCDataChannel. Tas ļaus aktīvas video straumēšanas laikā nosūtīt īsziņas no Unity klienta.

Mēs izpētīsim, kā modificēt esošos kodu paraugus, lai tie atbilstu šīm prasībām. Uz JavaScript balstītā tīmekļa lietotne pārvaldīs video straumēšanu, savukārt Unity klients mēģinās nosūtīt parauga ziņojumu, piemēram, "Hello World", atpakaļ uz serveri. Mēs apskatīsim radušās konfigurācijas problēmas un to iespējamos risinājumus.

Šajā rakstā ir apskatītas arī tādas problēmas kā trūkstošās nosaukumvietas un neatrisinātās atsauces pakalpojumā Unity. Mēs novērtēsim, vai pašreizējais kods ir pareizajā virzienā, un sniegsim risinājumus, lai novērstu izplatītas problēmas, piemēram, kļūdu saistībā ar “SingleConnection”. Līdz beigām mēs cenšamies izveidot vienmērīgu, divvirzienu teksta ziņojumapmaiņas cauruļvadu starp Unity un JavaScript, izmantojot WebRTC.

Unity-to-JavaScript ziņojumapmaiņas sistēmas izveide, izmantojot WebRTC

Šī projekta mērķis ir izmantot Unity Render straumēšana spraudnis ar WebRTC, lai pārsūtītu video no JavaScript servera uz Unity klientu, vienlaikus sūtot arī datu ziņojumus atpakaļ no Unity. JavaScript skripta pirmais solis ietver multivides straumes iestatīšanu. Mēs izmantojam metodi "captureStream()", lai straumētu video saturu no HTML5 elementa un RTCPeerConnection objekts pārvalda savienojumu starp diviem vienaudžiem. Šajā savienojumā tiek izveidots DataChannel, kas ļauj pārsūtīt datus, kas nav mediji (piemēram, tekstu), kopā ar video straumi.

Unity pusē mēs inicializējam WebRTC savienojumu skriptā "ReceiverSample.cs", iestatot RTCDataChannel. Šis kanāls ir atbildīgs gan par teksta datu nosūtīšanu, gan saņemšanu uz JavaScript serveri. Korutīnas funkcija tiek izmantota, lai atkārtoti nosūtītu ziņojumu “Hello World” ik pēc divām sekundēm, tikai tad, ja kanāla stāvoklis ir “Atvērts”. Kad DataChannel JavaScript serverī saņem ziņojumu, tas reģistrē saturu konsolē, lai apstiprinātu veiksmīgu savienojumu.

Šī procesa laikā izceltā kritiskā problēma ir vienotības kodā trūkstošā atsauce uz nosaukumvietu "SingleConnection", kas izraisa kompilācijas kļūdas. Tas liecina, ka vai nu trūkst vajadzīgās pakotnes, vai arī projekta konfigurācijā ir nepareiza atkarība. Lai to atrisinātu, iesakām pārbaudīt, vai visas nepieciešamās atkarības, piemēram, Unity WebRTC pakotne, ir pareizi instalētas un norādītas. Ja pakotne nav pieejama, klase, iespējams, būs jāaizstāj ar standartu RTCPeerConnection objektu.

Visbeidzot, abu skriptu kļūdu apstrādes mehānisms nodrošina, ka konsolē tiek ziņots par neveiksmīgiem savienojumiem, tādējādi palīdzot atkļūdot. Unity skripts ietver funkciju "StartCoroutine()", lai pārvaldītu asinhrono ziņojumapmaiņu, kas ir noderīga, lai uzturētu reāllaika datu apmaiņu, nebloķējot citus procesus. Mēs arī izmantojam notikumus OnOpen un OnClose, lai pārraudzītu DataChannel stāvokli, nodrošinot, ka ziņojumi tiek nosūtīti tikai tad, kad savienojums ir stabils. Šī modulārā iestatīšana nodrošina, ka kodu var viegli paplašināt vai modificēt, un tas nodrošina stabilu sākumpunktu, lai izveidotu uzlabotas straumēšanas lietojumprogrammas, izmantojot Unity un WebRTC.

// sendvideo.js - JavaScript Server-Side Code
import * as Logger from "../../module/logger.js";
export class SendVideo {
  constructor(localVideoElement, remoteVideoElement) {
    this.localVideo = localVideoElement;
    this.remoteVideo = remoteVideoElement;
    this.peerConnection = new RTCPeerConnection();
    this.dataChannel = this.peerConnection.createDataChannel("myDataChannel");
  }
  async startLocalVideo() {
    const stream = document.createElement('video').captureStream();
    this.localVideo.srcObject = stream;
    await this.localVideo.play();
    this.peerConnection.createOffer().then(offer => {
      this.peerConnection.setLocalDescription(offer);
    });
  }
}

// ReceiverSample.cs - Unity Client Code
using System.Collections;
using UnityEngine;
using Unity.WebRTC;
public class ReceiverSample : MonoBehaviour {
  private RTCDataChannel dataChannel;
  void Start() { StartCoroutine(InitializeConnection()); }
  IEnumerator InitializeConnection() {
    var connection = new RTCPeerConnection();
    dataChannel = connection.CreateDataChannel("myDataChannel");
    dataChannel.OnOpen += OnChannelOpen;
    yield return null;
  }
  void OnChannelOpen() { StartCoroutine(SendMessageLoop()); }
  IEnumerator SendMessageLoop() {
    while (dataChannel.ReadyState == RTCDataChannelState.Open) {
      dataChannel.Send("Hello World");
      yield return new WaitForSeconds(2);
    }
  }
}

// Adjustments to avoid missing reference issues in ReceiverSample.cs
using Unity.WebRTC;
public class FixedReceiverSample : MonoBehaviour {
  private RTCPeerConnection peerConnection;
  private RTCDataChannel dataChannel;
  void Start() { InitializeWebRTC(); }
  void InitializeWebRTC() {
    peerConnection = new RTCPeerConnection();
    dataChannel = peerConnection.CreateDataChannel("myDataChannel");
    dataChannel.OnOpen += () => Debug.Log("DataChannel open!");
    peerConnection.CreateOffer().ContinueWith(offer => {
      peerConnection.SetLocalDescription(offer.Result);
    });
  }
}

// DataChannelTest.cs - Unity Unit Test
using NUnit.Framework;
using Unity.WebRTC;
public class DataChannelTest {
  [Test]
  public void TestDataChannelCommunication() {
    var connection = new RTCPeerConnection();
    var channel = connection.CreateDataChannel("testChannel");
    bool messageReceived = false;
    channel.OnMessage += message => {
      messageReceived = message == "Hello World";
    };
    channel.Send("Hello World");
    Assert.IsTrue(messageReceived);
  }
}

Datu pārraides problēmu izpēte saistībā ar Unity un WebRTC straumēšanu

Papildus video straumēšanai, iespējot datu komunikācija starp Unity klientu un JavaScript serveri, izmantojot WebRTC, paver jaunas iespējas. Tomēr šādas saziņas ieviešana ne vienmēr ir vienkārša, it īpaši, ja integrējat spraudni Unity Render Streaming. Bieži sastopama problēma ir pareiza iestatīšana un pārvaldība RTCDataChannel nevainojamai teksta saziņai. Mūsu piemērā Unity klientam jāspēj nosūtīt ziņojumu "Sveika pasaule" atpakaļ uz JavaScript serveri. Lai veiktu šo darbību, ir rūpīgi jāapstrādā gan Unity skriptu vide, gan WebRTC protokola nianses.

Viens svarīgs izaicinājums ir atkarības pārvaldība Vienotībā. Kļūdas, piemēram, trūkstošā nosaukumvietas "SingleConnection" mūsu kodā "ReceiverSample.cs", norāda uz nepieciešamību nodrošināt, lai visi nepieciešamie spraudņi, tostarp WebRTC, tiktu instalēti pareizi. Laba prakse šeit ir pārbaudīt saderību starp Unity versiju un izmantoto spraudņa versiju. Problēma var rasties arī novecojušu vai trūkstošu Unity Render Streaming komponentu dēļ, kas ir jākonfigurē ar pareizo savienojums objektus.

Papildus tehniskām problēmām vēl viens aspekts, kas jāizpēta, ir latentums starp Unity un JavaScript, izmantojot WebRTC. Lai gan WebRTC nodrošina saziņu ar zemu latentumu, tīkla apstākļi joprojām var ietekmēt ziņojumu piegādi. Korutīnu izmantošana pakalpojumā Unity nodrošina nebloķējošu ziņojumu piegādi, nodrošinot, ka teksta datu sūtīšana (piem., izmantojot StartCoroutine) nepārtrauc video straumēšanu. Savienojuma stabilitātes pārbaude, izmantojot RTCDataChannelState, ir vēl viena svarīga prakse, lai nodrošinātu, ka ziņojumi tiek nosūtīti tikai tad, kad kanāls ir aktīvs. Šīs stratēģijas palīdz optimizēt veiktspēju un nodrošināt labāku lietotāja pieredzi reāllaika lietojumprogrammās.