Comment capturer et diffuser le flux audio et Vidéo du robot
(solution avec tablette Android )
1 ) Principe de fonctionnement
La tablette qui a pour objet d’afficher le visage de l’élève dispose d’une caméra et d’un micro. Il nous a paru dans un premier temps, évident d’utiliser ces fonctionnalités pour simplifier le
développement de notre robot de télé-présence.
Notre choix s’est porté sur IP Webcam, logiciel gratuit, car il offre davantage d’options.
Il est téléchargeable sur Google Play Store et utilisable sur une tablette Android.
Une fois l’installation effectuée sur la tablette:
Il est possible de choisir vos préférences vidéo comme la résolution, le mode de mise au point, le nombre de FPS (image / sec) , etc
Il est recommandé d’autoriser le fonctionnement de l’application en tâche de fond pour permettre à un autre logiciel d’utiliser l’écran.
L’affichage du visage de l’élève pourra alors être effective.
En bas de page de configuration, démarrer le serveur afin de commencer l’envoi de flux vidéo au client (l’élève) qui se connectera au serveur avec le lien affiché au bas de l’écran.
Dans mon cas c’est : http://192.168.0.33:8080
3 ) Visualiser la vidéo chez l’élève:
Cette opération sera dévolue à un navigateur web car il a la capacité d’utiliser les API de Html5 et d’interpréter javaScript.
Le navigateur web permet également d’interagir avec le serveur, car celui-ci dispose d’une page d’aide et de configuration.
On utilisera l’adresse vue précédemment: http://192.168.0.33:8080
Afin d’assurer la compatibilité avec tous les navigateurs, on
exploitera la configuration JavaScript en mode plein écran afin de n’afficher que la vidéo.
Pour afficher la vidéo avec cette configuration nous n’avons plus qu’à utiliser l’adresse:192.168.0.33:8080/jsfs.html
4 ) Encapsulation de la page web dans l’application python et intégration des commandes du robot à l’interface graphique.
Le code nécessaire à l’affichage de la page web est finalement le suivant:
Cette page peut facilement être affichée avec Qt5 Designer qui dispose d’un widget html. Qt5 est un éditeur permettant la création
d(interface utilisateur et le placement de composants programmables en python et en C++
Qt5 Designer offre la possibilité d’afficher la vidéo et de diffuser le son mais également d’ajouter les boutons de commandes du robot et autres afficheurs sur l’interface graphique.
Cela semble être la solution la plus simple pour réaliser une interface graphique de qualité professionnelle.
Le widget QwebView dispose d’une propriété « url » qu’il faut renseigner avec l’adresse de notre serveur web.
Bien entendu il faut au niveau de python ajouter le code nécessaire au bon fonctionnement de cette nouvelle interface qui fonctionne en mode événementiel.
Nous ne nous attarderons pas sur les autres fonctionnalités du
programme, vu que pour le moment, nous nous intéressons seulement à l’affichage de la partie vidéo coté client.
Le programme coté Python:
- Affichage Vidéo + son
- Boutons de commande des moteurs (connectés aux GPIO) - Affichage diverses.
import sys
from PyQt5.QtCore import pyqtSlot
from PyQt5.QtWidgets import QApplication,QDialog from PyQt5.uic import loadUi
import RPi.GPIO as gpio Mg=24
Md=26
gpio.setmode(gpio.BCM) gpio.setwarnings(False) gpio.setup(Mg,gpio.OUT) gpio.setup(Md,gpio.OUT) class HMI(QDialog):
def __init__(self):
super(HMI, self).__init__() loadUi('design02.ui',self)
self.setWindowTitle('HMI System') self.btn_av.clicked.connect(self.avancer) self.btn_ar.clicked.connect(self.reculer) @pyqtSlot()
def avancer(self):
if gpio.input(Mg):
gpio.output(Mg,gpio.LOW) self.btn_av.setText('OFF')
self.status.setText('LED Status is OFF') else:
gpio.output(Mg, gpio.HIGH) self.btn_av.setText('ON')
self.status.setText('LED Status is ON') def reculer(self):
if gpio.input(Md):
