Chapitre 1

Edition et visualisation du scénario temporel d'un document multimédia

[Table des matières]

1 Introduction

L'édition de documents multimédia pose de nouveaux problèmes par rapport à l'édition de documents "classiques" (ne comportant que du texte et des figures). Par exemple on ne manipule plus directement des plans ou des pages mais un document continu (sans nécessairement des ruptures de plans). On manipule aussi des données dynamiques comme le son, la vidéo, etc.

Depuis les premières études dans ce domaine , on a assisté à une évolution de l'approche de l'édition de documents multimédia. Une classification de cette approche a été proposée par D. Bulterman . Il classe ces approches en trois générations successives.

La première génération de systèmes d'édition dépendait fortement de l'environnement et des capacités audio et vidéo de la machine hôte. De plus, la description des documents, pour profiter pleinement des capacités de la machine, conduisait à des documents non portables . La seconde génération de systèmes d'édition a cherché à résoudre ce problème de portabilité des documents. Le modèle de documents, lui, restait un modèle page par page comme pour les documents textuels classiques. La troisième génération a confirmé l'intérêt pour la portabilité des documents et a vu l'apparition de documents continus.

C'est à la troisième génération d'éditeurs qu'appartiennent ceux que nous présentons dans ce chapitre. Ces éditeurs sont fondés sur différentes approches (parfois cumulées) pour la description du scénario:

Chacune de ces approches soulève des problèmes de visualisation du scénario qui lui est propre. Nous avons choisi de présenter les trois premières approches par l'intermédiaire d'un représentant clé (de par sa notoriété commerciale ou son impact dans le domaine de la recherche). La dernière approche (scénario à base de contraintes) fait l'objet d'une étude plus détaillée car c'est à celle-ci qu'appartient Madeus, le système d'édition/présentation sujet de notre étude. Pour chaque présentation d'un système, nous donnons les principes de construction d'un scénario et nous analysons comment le problème de visualisation du scénario se pose et est résolu dans ce cas particulier. Les avantages et inconvénients de chaque approche sur le plan de la puissance d'expression ne sont pas discutés dans ce mémoire car nous avons pris le parti de ne considérer que le problème de visualisation.

Avant de commencer cette présentation nous avons choisi de présenter différents critères qui vont nous permettre d'analyser les vues graphiques de scénario proposées par les différents systèmes. Ces critères nous seront aussi utiles tout au long du rapport.

[Table des matières]

2 Les critères ergonomiques pris en compte

Pour étudier les différents systèmes, nous nous sommes basés sur les critères définis dans . Parmi ceux-ci nous en avons retenu cinq qui semblent pertinents à notre sujet. Tous ne vont pas apparaître dans les analyses des systèmes qui suivent, cependant ils seront utiles lors de la présentation de notre solution de visualisation (Chapitre ).

  1. Observabilité. Elle définit la capacité pour l'utilisateur d'évaluer (de déterminer) l'état interne du système par l'intermédiaire de commandes passives (zoom, défilement...). Par exemple, si l'état interne du système est défini par un ensemble de variables, il faut donner la possibilité à l'utilisateur de visualiser les valeurs de celles-ci. L'important est donc que l'utilisateur puisse percevoir l'état interne du système.
  2. Insistance. Elle définit la capacité du système à forcer la perception de l'état du système. En reprenant le cas précédent, une solution pour satisfaire le critère d'insistance et de forcer l'affichage des variables. L'important est donc que l'utilisateur doive percevoir l'état interne du système.
  3. Honnêteté. Elle définit la capacité du système à rendre observable son état sous une forme qui engendre une interprétation correcte de la part de l'utilisateur. Si nous reprenons le cas où l'état du système est défini par un ensemble de variables, cela revient à montrer une représentation de ces variables qui permet à l'utilisateur de ne pas faire de fausses interprétations.
  4. Multiplicité de la représentation. Elle définit la capacité du système à fournir plusieurs représentations d'un même concept. C'est un moyen de satisfaire le critère d'insistance.
  5. Prévisibilité. Elle définit la capacité pour l'utilisateur de percevoir pour un état donné l'effet d'une action.

Nous avons aussi défini deux critères supplémentaires qui nous semblent pertinents dans notre contexte :

  1. Cohérence entre les vues. Elle définit la capacité du système à maintenir la cohérence entre les différentes vues d'un concept. C'est un raffinement des critères d'honnêteté et de multiplicité de la représentation.
  2. Passage à l'échelle. Il définit la capacité du système à maintenir une vue interprétable d'un concept quelle que soit l'évolution de sa taille. C'est un raffinement du critère d'observabilité.

En plus de ces critères de visualisation, si l'on voulait offrir des fonctions d'édition directe du scénario il faudrait considerer des critères tels que :

[Table des matières]

3 Utilisation d'un langage impératif : l'exemple d'IconAuthor

IconAuthor est un système de programmation qui permet de réaliser des présentations multimédia. Contrairement à d'autres langages de scripts tels que Lingo ou ToolBook , IconAuthor a la particularité d'offrir à ses utilisateurs une interface graphique de son langage de scripts, fondée sur l'utilisation d'icônes (Fig 0 ). Chaque icône représente une fonction ou une instruction de contrôle qui peut être utilisée par l'auteur. IconAuthor fait partie des langages de programmation visuels.

Un langage de programmation visuel est un langage dont le lexique est constitué d'éléments graphiques au lieu des éléments terminaux alphabétiques. De plus sa syntaxe, en plus d'exprimer des règles de composition lexicale, traduit des relations topologiques et géométriques. Une classification des langages de programmation faite par Myers permet de classer les langages de programmations visuels en quatre catégories :

De manière évidente IconAuthor appartient à la deuxième classe ainsi définie.

La construction du scénario temporel se fait par l'écriture d'un programme impératif qui contient à la fois des primitives classiques (conditionnelle, boucle,...) et des instructions plus spécifiques aux documents multimédia (scrolling text, display picture,...) (Fig 0 ).

Image IconAuthor.gif

Fig 0. L'édition d'IconAuthor

Le problème de visualisation du scénario tel qu'il est posé dans IconAuthor ressemble plus à un problème de visualisation des exécutions possibles d'un programme qu'à un problème de placement des objets sur un axe temporel. On voit qu'il est difficile d'imaginer le document associé à un script. Sans vouloir être exhaustif, les critiques qui nous semblent les plus importantes sont les suivantes:

[Table des matières]

4 Utilisation d'un axe temporel absolu: l'exemple de Director

Macromedia Director est aujourd'hui le système commercial le plus utilisé pour la réalisation de présentations multimédia.

Director n'est pas exclusivement un système directement fait pour créer des documents multimédia, il est aussi un système de création d'applications manipulant des données multimédia.

[Table des matières]

4.1 Principe de construction du scénario temporel

La construction d'un document à l'aide de Director s'effectue en trois étapes:

Image DIR_TimeLine.gif

Fig 1. Interface d'édition du scénario temporel de Director


set window = main_win

set cursor = wait

clear win

put background "image.pic"

put text "heading.txt" at 10 10

start video "cannon.mpeg" at 30 30

if (user click) start audio "hello.au" ....


Fig 2. Description d'un document au moyen de scripts (Lingo)

[Table des matières]

4.2 L'interface de visualisation et d'édition du scénario dans Director

En plus de la vue "time-line", Director offre à l'auteur:

Image DIR_StoryBoard.gif

Fig 3. "Story board" de Director

Dans cette vue, l'auteur a un récapitulatif de tous les points clés de son document par ordre chronologique. Le système lui permet de mettre des annotations à côté.
Image DIR_Controle.gif

Fig 4. Interface de contrôle de la présentation

C'est par cette interface que l'auteur peut visualiser son document avec des facilités de manipulation: avance, avance rapide, stop, ....
Image Dir_Script.gif

Fig 5. Interface Script

Image DIR_Liste_Objet.gif

Fig 6. Liste des objets présents dans le scénario

[Table des matières]

4.3 Analyse de la visualisation dans Director

Le problème de visualisation du scénario dans Director se pose à la fois en termes de placement d'objets sur un axe temporel absolu, de visualisation d'un script et de liens entre ces deux vues. Director n'offre actuellement aucune vue graphique des scripts, le lien entre les scripts et l'axe temporel est fait de manière très rudimentaire par les marqueurs étiquetés. Ce n'est pas suffisant car l'auteur ne voit pas quel script fait référence à une étiquette donnée. La structure de navigation du document offerte au lecteur est donc complètement cachée à l'auteur.

Si on considère uniquement l'interface de placement temporel, l'analyse que l'on peut en faire est la suivante :

[Table des matières]

5 Approche opérationnelle : l'exemple de CMIFed

CMIFed est l'un des tous premiers systèmes d'édition/présentation de documents multimédia développé par une équipe du domaine de la recherche. Il est issu d'une équipe du laboratoire CWI d'Amsterdam.

[Table des matières]

5.1 Construction du scénario temporel

La construction d'un scénario se fait en trois étapes:

[Table des matières]

5.2 L'interface de visualisation et d'édition du scénario

CMIFed offre à l'auteur deux interfaces d'édition/visualisation:

Image CMIFed.gif

Fig 7. CMIFed

[Table des matières]

5.3 Analyse de l'interface de visualisation

Plusieurs critiques peuvent être faites sur ce mode de visualisation:

[Table des matières]

6 Approches fondées sur l'utilisation de contraintes

Une idée commune aux approches fondées sur l'utilisation de contraintes est de permettre à l'auteur de ne pas fixer précisément les durées de chaque objet, mais de laisser le système les calculer en fonction des contraintes exprimées par l'auteur.

Chaque objet multimédia est caractérisé par trois valeurs:

C'est un moyen de tenir compte de la flexibilité des objets: leur capacité à être présentés avec des durées variables. Par exemple, un auteur qui tient à présenter une image durant la présentation d'une vidéo qui doit elle même être présentée en même temps qu'une image, déclare dans son scénario les contraintes de placement existantes entre les objets. Le système calcule le temps de présentation de chacun de manière à respecter les contraintes. On parle de "formatage temporel" par comparaison au formatage spatial.

Un des problèmes qui apparaît de manière évidente dans ces approches est la notion de cohérence du scénario temporel qui caractérise le fait qu'il existe au moins une solution de placement. Ce problème ne fait pas partie des préoccupations du stage présenté dans ce rapport.

Les contraintes portent soit sur les instants de début et fin, c'est le cas de FireFly ci-dessous présenté, soit sur les objets, c'est le cas d'ISIS (section 6.2) et de Madeus présenté dans la section 6.3.

[Table des matières]

6.1 Contraintes sur les instants : l'exemple de FireFly

FireFly est un système de création, d'édition et de présentation de documents multimédia. C'est un prototype élaboré en même temps que CMIFed et issu d'un laboratoire de recherche américain. Le système permet à l'auteur de synchroniser des données multimédia et de spécifier des points d'interaction dans le document avec l'utilisateur. Le système Firefly permet de manipuler différents types de données multimédia comme le texte, le son, l'image et la vidéo mais aussi des liens hypermédia et des programmes (instructions de présentation).

Des contraintes temporelles sont associées entre les instants de début et de fin des objets. Les contraintes sont de deux types, ce sont soit des contraintes de simultanéité soit des contraintes de précédence. Dans les deux cas les relations peuvent être spécifiées de manière souple en permettant des marges maximales et minimales sur les délais de synchronisation.

L'édition du document multimédia se fait de manière progressive par adjonction incrémentale:

Dans la vue ci-dessous, qui sert à la fois d'interface de visualisation et d'édition, le système offre une visualisation du graphe de contraintes. Pour cela, les objets sont représentés par leur instants de début et fin. Les contraintes sont représentées par des arcs entre des instants.

Image Firefly.gif

Fig 8. Le système FireFly

On peut remarquer que cette vue tend à induire une mauvaise compréhension du scénario. La représentation choisie induit un certain nombre de problèmes :

[Table des matières]

6.2 Contraintes sur les intervalles: l'exemple d'ISIS

Le système Isis est un prototype de recherche développé au sein du laboratoire IBM RESEARCH CENTER.

La création d'un document multimédia est constituée de cycles de phases de validation et de composition. On relie les objets multimédia en mettant des contraintes entre eux. On obtient ainsi un ensemble de solutions.

Les contraintes pouvant être placées entre les objets sont :

L'interface de visualisation d'ISIS (Fig 11 ) qui sert aussi d'interface d'édition permet de visualiser la flexibilité de certains objets (métaphore du ressort) et toutes les relations entre les objets. En effet, chaque relation se traduit directement par une structure graphique (Fig 9 ).

Image Isis_Operateurs.gif

Fig 9. Représentation des opérateurs dans ISIS


Co-start (Bear, Delay)

Meet ( Delay, Baloo)

Co-end (Pond, Baloo)

Co-start ( Pond, Waltz)

Co-end (Waltz, Bear)

Image Isis_Duree.gif


Fig 10. Un exemple de scénario simple

Image Isis_Scenario.gif

Fig 11. Représentation graphique du scénario (Fig 10 )

Dans la Fig 11 on visualise la solution qui satisfait au mieux les durées optimales de chaque objet. Ici, les durées affectées à chaque objet sont données dans le tableau de la Fig 10 .

Le modèle de représentation choisi, qui essaye de faire cohabiter des informations temporelles avec des informations sur les contraintes entres les objets peut entraîner une compréhension inexacte du scénario de la part de l'auteur. Plusieurs problèmes sont mis en avant par cette représentation :

[Table des matières]

6.3 Contraintes d'intervalles: l'exemple de Madeus

Madeus est un prototype développé au sein du projet opéra . Les particularités de l'approche choisie dans Madeus sont:

Image allen_relations.gif

Fig 12. Les opérateurs d'Allen

Image CausalOperators.gif

Fig 13. Les opérateurs supplémentaires

Image Hierarchie.gif

Fig 14. Exemple de hiérarchie d'un document multimédia

La création d'un document multimédia se fait par la création de la structure hiérarchique et la définition de contraintes entre les objets. A tout moment l'auteur peut ajouter un objet dans la hiérarchie et/ou ajouter des contraintes.
L'interface de visualisation et d'édition du scénario
Comme nous l'avons dit dans l'introduction, actuellement seulement deux vues sont offertes à l'auteur. La première est celle dans laquelle s'effectue la présentation du document (Fig 15 ), la seconde n'est qu'une représentation textuelle du scénario Fig 16 .
Image
Madeus_Vue_Presentation.gif

Fig 15. Vue de présentation

Image Madeus_Vue_Textuelle.gif

Fig 16. Vue du source textuel

Les besoins liés à la visualisation du scénario seront présentés en détail dans le chapitre suivant puisqu'ils sont au coeur du sujet d'étude présenté dans ce mémoire.

[Table des matières]

7 Conclusion

En conclusion, nous pouvons dire que les besoins en visualisation du scénario temporel d'un document multimédia sont propres à l'approche choisie pour exprimer le scénario temporel. L'édition à base de contraintes soulève le problème spécifique de visualisation d'un ensemble de placements possibles d'objets. Aucun des environnements fondés sur cette approche (le système HPAS qui n'a pas été présenté ici n'offre, lui aussi, qu'un équivalent graphique des contraintes) n'apporte de réponse satisfaisante à ce problème. Madeus en plus de cet aspect ajoute plusieurs problèmes supplémentaires: la structuration hiérarchique, la visualisation de données incertaines, la visualisation d'un grand nombre d'opérateurs différents, etc.

Nous retenons de cette analyse les trois points suivants :

  1. L'utilisation des "time-lines" (utilisés à la fois dans Director et CMIFed) est un moyen simple et efficace de montrer le placement relatif de deux objets et permet d'avoir une vue précise du document à chaque instant. Cependant, elle n'est une bonne solution que pour des petits volumes de données.
  2. Le problème du passage à l'échelle doit être traité avec beaucoup d'attention car c'est une critique qui peut être faite à tous les systèmes présentés ici. Nous voyons avec CMIFed que le fait de décomposer hiérarchiquement le document ne résoud pas nécessairement ce problème.
  3. La satisfaction des critères d'honnêteté et d'observabilité nous apparaît comme deux points essentiels car nous avons vu qu'une difficulté commune à tous ces systèmes est de donner à l'auteur la possibilité d'observer le véritable placement temporel qui découle de sa spécification.

Notes :

(1)