C# — унифицированная потоковая передача рендеринга с WebRTC для двунаправленного обмена текстовыми сообщениями от клиента Unity к серверу JavaScript

Включение связи в реальном времени между Unity и JavaScript с использованием WebRTC

В условиях растущего спроса на общение в реальном времени в приложениях разработчики используют WebRTC для беспрепятственной передачи видео, аудио и данных. В этом контексте Unity Render Streaming предлагает мощную платформу для потоковой передачи видео с сервера JavaScript на клиент Unity. Однако установление двунаправленной связи, например отправка текстовых сообщений из Unity на сервер JavaScript, может оказаться непростой задачей.

В этом проекте мы стремимся создать приложение потоковой передачи, используя плагин Unity Render Streaming вместе с протоколом WebRTC. Хотя часть потокового видео была успешно настроена, следующим шагом будет включение обмена данными через RTCDataChannel. Это позволит отправлять текстовые сообщения из клиента Unity во время активных видеопотоков.

Мы рассмотрим, как изменить существующие примеры кода для удовлетворения этих требований. Веб-приложение на основе JavaScript будет управлять потоковой передачей видео, а клиент Unity попытается отправить образец сообщения, например «Hello World», обратно на сервер. Мы рассмотрим возникшие проблемы с конфигурацией и их потенциальные решения.

В этой статье также обсуждаются такие проблемы, как отсутствие пространств имен и неразрешенные ссылки в Unity. Мы оценим, находится ли текущий код на правильном пути, и предоставим решения для устранения распространенных проблем, таких как ошибка, связанная с «SingleConnection». В конечном итоге мы стремимся создать плавный двунаправленный конвейер текстовых сообщений между Unity и JavaScript с использованием WebRTC.

Создание системы обмена сообщениями Unity-to-JavaScript с помощью WebRTC

Целью данного проекта является использование Стриминг Unity Render плагин с WebRTC для передачи видео с сервера JavaScript клиенту Unity, а также отправки сообщений данных обратно из Unity. Первый шаг сценария JavaScript включает настройку медиапотока. Мы используем метод captureStream() для потоковой передачи видеоконтента из элемента HTML5 и RTCPeerConnection объект управляет соединением между двумя узлами. В рамках этого соединения создается канал данных, который позволяет передавать немедийные данные (например, текст) вместе с видеопотоком.

На стороне Unity мы инициализируем соединение WebRTC в скрипте ReceiverSample.cs, настроив RTCDataChannel. Этот канал отвечает как за отправку, так и за получение текстовых данных на сервер JavaScript. Функция сопрограммы используется для повторной отправки сообщения «Hello World» каждые две секунды, только если состояние канала «Открыто». Когда DataChannel на сервере JavaScript получает сообщение, он записывает содержимое на консоль, чтобы подтвердить успешное соединение.

Критической проблемой, выявленной во время этого процесса, является отсутствие ссылки на пространство имен SingleConnection в коде Unity, что приводит к ошибкам компиляции. Это говорит о том, что либо необходимый пакет отсутствует, либо в конфигурации проекта установлена ​​неверная зависимость. Чтобы решить эту проблему, мы рекомендуем убедиться, что все необходимые зависимости, такие как пакет Unity WebRTC, правильно установлены и на них есть ссылки. Если пакет недоступен, возможно, класс придется заменить стандартным. RTCPeerConnection объект.

Наконец, механизм обработки ошибок для обоих сценариев гарантирует, что о неудачных соединениях сообщается в консоли, что помогает при отладке. Сценарий Unity включает функцию StartCoroutine() для управления асинхронным обменом сообщениями, которая полезна для поддержания обмена данными в реальном времени без блокировки других процессов. Мы также используем события OnOpen и OnClose для мониторинга состояния DataChannel, гарантируя отправку сообщений только при стабильном соединении. Эта модульная установка гарантирует, что код можно легко расширять или изменять, а также обеспечивает надежную отправную точку для создания более продвинутых потоковых приложений с использованием Unity и WebRTC.

// sendvideo.js - JavaScript Server-Side Code
import * as Logger from "../../module/logger.js";
export class SendVideo {
  constructor(localVideoElement, remoteVideoElement) {
    this.localVideo = localVideoElement;
    this.remoteVideo = remoteVideoElement;
    this.peerConnection = new RTCPeerConnection();
    this.dataChannel = this.peerConnection.createDataChannel("myDataChannel");
  }
  async startLocalVideo() {
    const stream = document.createElement('video').captureStream();
    this.localVideo.srcObject = stream;
    await this.localVideo.play();
    this.peerConnection.createOffer().then(offer => {
      this.peerConnection.setLocalDescription(offer);
    });
  }
}

// ReceiverSample.cs - Unity Client Code
using System.Collections;
using UnityEngine;
using Unity.WebRTC;
public class ReceiverSample : MonoBehaviour {
  private RTCDataChannel dataChannel;
  void Start() { StartCoroutine(InitializeConnection()); }
  IEnumerator InitializeConnection() {
    var connection = new RTCPeerConnection();
    dataChannel = connection.CreateDataChannel("myDataChannel");
    dataChannel.OnOpen += OnChannelOpen;
    yield return null;
  }
  void OnChannelOpen() { StartCoroutine(SendMessageLoop()); }
  IEnumerator SendMessageLoop() {
    while (dataChannel.ReadyState == RTCDataChannelState.Open) {
      dataChannel.Send("Hello World");
      yield return new WaitForSeconds(2);
    }
  }
}

// Adjustments to avoid missing reference issues in ReceiverSample.cs
using Unity.WebRTC;
public class FixedReceiverSample : MonoBehaviour {
  private RTCPeerConnection peerConnection;
  private RTCDataChannel dataChannel;
  void Start() { InitializeWebRTC(); }
  void InitializeWebRTC() {
    peerConnection = new RTCPeerConnection();
    dataChannel = peerConnection.CreateDataChannel("myDataChannel");
    dataChannel.OnOpen += () => Debug.Log("DataChannel open!");
    peerConnection.CreateOffer().ContinueWith(offer => {
      peerConnection.SetLocalDescription(offer.Result);
    });
  }
}

// DataChannelTest.cs - Unity Unit Test
using NUnit.Framework;
using Unity.WebRTC;
public class DataChannelTest {
  [Test]
  public void TestDataChannelCommunication() {
    var connection = new RTCPeerConnection();
    var channel = connection.CreateDataChannel("testChannel");
    bool messageReceived = false;
    channel.OnMessage += message => {
      messageReceived = message == "Hello World";
    };
    channel.Send("Hello World");
    Assert.IsTrue(messageReceived);
  }
}

Исследование проблем передачи данных в Unity и потоковой передачи WebRTC

Помимо потокового видео, позволяющего передача данных между клиентом Unity и сервером JavaScript с использованием WebRTC открывает новые возможности. Однако реализовать такую ​​связь не всегда просто, особенно если вы интегрируете плагин Unity Render Streaming. Распространенной проблемой является правильная настройка и управление RTCDataChannel для бесшовного текстового общения. В нашем примере клиент Unity должен иметь возможность отправлять сообщение «Hello World» обратно на сервер JavaScript. Этот шаг требует тщательного обращения как со средой сценариев Unity, так и с нюансами протокола WebRTC.

Одна из важных задач связана с управлением зависимостями в Unity. Такие ошибки, как отсутствие пространства имен SingleConnection в нашем коде ReceiverSample.cs, подчеркивают необходимость убедиться, что все необходимые плагины, включая WebRTC, установлены правильно. Хорошей практикой здесь является проверка совместимости между версией Unity и используемой версией плагина. Проблема также может быть связана с устаревшими или отсутствующими компонентами Unity Render Streaming, которые необходимо настроить с использованием правильных настроек. связь объекты.

Помимо технических проблем, еще одним аспектом, который следует изучить, является задержка между Unity и JavaScript через WebRTC. Хотя WebRTC обеспечивает связь с малой задержкой, условия сети все равно могут влиять на доставку сообщений. Использование сопрограмм в Unity позволяет неблокировать доставку сообщений, гарантируя, что отправка текстовых данных (например, через StartCoroutine) не прерывает потоковую передачу видео. Проверка стабильности соединения с помощью RTCDataChannelState — еще один ключевой метод, позволяющий гарантировать, что сообщения отправляются только тогда, когда канал активен. Эти стратегии помогают оптимизировать производительность и обеспечить лучшее взаимодействие с пользователем в приложениях реального времени.