« Facebook recherche des systèmes d'IA qui voient, entendent et se souviennent de tout ce que vous faites », titre The Verge.

Un nouveau projet de recherche de l'équipe d'IA de Facebook imagine en effet des systèmes qui analysent constamment la vie des gens en utilisant la vidéo à la première personne ; enregistrer ce qu'ils voient, font et entendent afin de les aider dans leurs tâches quotidiennes. 

Ego4D, qui fait référence à l'analyse de la vidéo à la première personne, ou « égocentrique », analyse quelques 3 205 heures enregistrées par 855 participants dans neuf pays via des caméras GoPro et des lunettes de réalité augmentée. 

Toutes les images ont été dépersonnalisées par les 13 universités réparties dans le monde et partenaires du projet, afin de flouter les visages des passants et de supprimer toute information personnellement identifiable.

Facebook souhaite que les chercheurs essaient de résoudre à l'aide de systèmes d'IA formés sur son ensemble de données une série de points de repère, ou de tâches : 

• Mémoire épisodique : Que s'est-il passé quand (par exemple, « Où ai-je laissé mes clés ? ») ?
• Prévision : Que suis-je susceptible de faire ensuite (par exemple, « Attendez, vous avez déjà ajouté du sel à cette recette ») ?
• Manipulation des mains et des objets : Qu'est-ce que je fais (par exemple, « Apprends-moi à jouer de la batterie ») ?
• Journalisation audio-visuelle : Qui a dit quoi et quand (par exemple, « Quel était le sujet principal pendant le cours ? ») ?
• Interaction sociale : qui interagit avec qui (par exemple, « Aidez-moi à mieux entendre la personne qui me parle dans ce restaurant bruyant ») ?