Oui et non, je ne demande pas l’impossible. En gros, à l’heure actuelle les scrapers sont simplement des outils basés sur des expressions régulière, un truc qui est totalement dépassé aujourd’hui. Ce que je demande, c’est en gros en faire quelque chose de plus moderne et plus proche d’un moteur de recherche.

gavroche69 a écrit :



Faut être sacrément vicieux pour remplacer un “ ” par un “.” dans le titre d’un film…

La recherche sur “Perfect Blue” retourne le bon résultat directement sur TMDB. Je ne connaissais pas ce film c’est pour ça que j’avais fait une recherche sur “Perfect” car pour moi le “.” servait à séparer le titre du reste…



Non on ne peut pas supprimer arbitrairement des morceaux du nom du fichier pour la recherche car si il y a bien un domaine dans lequel il n’y a aucune règle c’est bien dans le titre des films.

Rien n’empêche un réalisateur de baptiser son film “X264” s’il en a envie.



Cela a déjà été tenté par certains scrapers justement pour essayer de s’adapter au nommage fantaisiste des sites de téléchargement et du coup certains films n’étaient plus trouvés du tout… " />



Il faudrait peut-être faire une demande de la part de la CGT (Confédération Générale des Tipiakeurs) auprès des réalisateurs de films afin qu’ils n’utilisent plus certains mots dans les titres, ceux-ci étant réservés aux sites de téléchargement… " />



Les articles tels que “les”, “le”, “la” ne peuvent pas être supprimés non plus pour la recherche car ils servent parfois à différencier des titres très proches.



Et si en plus les “uploaders” collent leur pseudo dans le nom des fichiers ça devient carrément ingérable. Pourquoi pas leur âge et la couleur de leurs yeux tant qu’ils y sont (ou leurs mensurations pour les “uploadeuses”)… " />



Balancer un tas de requêtes sur l’intégralité d’une base pour savoir si tel ou tel mot existe ou pas c’est pas très rationnel non plus en terme d’efficacité pour chercher un titre.



Bref ce que tu voudrais tient plus du domaine du rêve qu’autre chose à mon avis.



Je ne dis pas que la recherche n’est pas perfectible mais de là à vouloir l’adapter à tous les délires de nommage de fichiers ça me paraît totalement irrationnel et ça serait sûrement très consommateur de ressources.



Pour prendre un exemple trivial et volontairement caricatural, si tu vas au fin fond de l’Amazonie et que tu demandes en Chinois ton chemin à un autochtone il y a peu de chances qu’il te comprenne, sauf à avoir énormément de bol… " />



Et c’est pourtant à peu de choses près ce que tu demandes aux scrapers… " />







Pour l’espace dans un nom de fichier, personnellement, j’évite, des mauvais souvenir de DOS. Après j’avoue que les points n’était pas non plus une super idée, entre les extension de fichier, les URL et autres, c’est un risque de partir en vrille. Mais qu’importe, tu as quand même compris que c’était un séparateur. Dans la phase de découpage du nom du fichier le point, les caractères blancs, les tirets, les tirets bas, le différentes forme de parenthèses (parenthèse, quote, double quote, crochés, accolades…), des convention de nommage (le CamelCase par exemple)… sont à considérer comme des séparateurs.



Pour les mots “blancs”, effectivement, je suis tout a fait conscient que pour quelque cas (comme it/ça), ça pose problème (pas de film X286, mais je connais un THX 1138). Mais google, il y a 15ans fonctionnait comme ça. Après, avec un peu de finesse on peu faire mieux : on accorde à chaque mot issu du découpage initial un poids reflétant la potentielle information qu’il porte des mots peut courant dans la base de donnée de film est fortement riche en information, un mots courant une information moyenne, et des petit mots de liaison, des mots à la con ou même des mots inconnus tu leur accordes presque aucun poids (leur information est inutile dans la majorité des cas, et ne sont utiles que dans des cas ambigus ou le faible poids fera la différence). Ce poids sert alors à donner une valeur de vraisemblance entre un résultat potentiel et un fichier. Il suffit alors de prendre par défaut le résultat avec le score le plus haut.



On peut la encore améliorer l’idée en intégrant dans le calcule de ce score, le taux de couverture du titre, l’ordre des mot clé composant le titre dans le nom du fichier (je n’ai pas encore vu de fichier dont le titre est écrit dans le désordre), mais aussi des usage courant comme le fait que la date du film est souvent écrit entre parenthèse (ainsi, si tu trouve une valeur numérique entre parenthèse, potentiellement c’est une date, et tu va accorder plus de valeurs aux résultats correspondant à cette date)… Ensuite il est immaginable d’encore affiner la recherche et introduire l’arborescence des dossiers comme information complémentaire (en particulier pour les séries).





Ensuite, je suis conscient que les BDD de film comme TMDB n’ont pas forcément de gros serveurs et risque un peu de surchauffer si on commence à faire des interrogations plus pousser. Cependant, en soit, une base de donnée contenant seulement les informations nécessaire pour indentifier une entrée (une ID) dans cette base à l’aide de mots clé trouvable dans le nommage des fichiers ne doit pas faire plus d’une poignée de centaines de Mo en disque pour l’ensemble de la base de donnée et ce avec toutes les structures facilitant la recherche (pas besoin d’avoir les fiches complètes, les synopsis, les images, donc en soit pas non plus des tonnes). Cette base peut donc très bien être hébergée localement et exploité. Aller, je doute que sur un RPi, il faille plus de 10 secondes par fichier pour identifier une liste d’une dizaine de candidats à l’aide d’une recherche par mots clé et calculer leur score de vraisemblance. De là, il suffit de prendre dans un comportement par défaut, et si le score est suffisamment élevé (pour prévenir des cas où le fichier n’est pas dans la BDD de TMDB et donc que l’attribution tien plus du hasard qu’autre chose) et suffisament éloigné du suivant (pareil, cas ambigu) pour associer le fichier au film dans l’index de la médiathèque de Kodi, télécharger la fiche complète, les images…



Ce que je te raconte là n’est pas de l’ordre de l’impossible ou du rêve. Ce n’est pas magique. J’essaie en gros de décrire comment, moi, je m’y prendrais pour faire un moteur de recherche pour les films. Je sais cependant qu’il y a des point vagues comme par exemple la façon d’attribuer un poids, comment calculer la valeur de vraisemblance, comment effectuer une recherche pour ne retourner qu’une poignée des meilleurs résultats… mais il me semble que ce genre de problèmes sont déjà résolue ailleurs et que de la doc doit être trouvable sur le sujet. Il y peut être même des solutions encore plus simples que je ne connais pas (je suis persuader que du coté de l’apprentissage automatique, il y des truc adapté pour faire ce genre de boulot d’association entre un élément et une entrée dans un base de donnée).















blbird a écrit :



Je pense que tu abuses beaucoup quand même dans tes symptômes, et tu t’enfonces dans ton argumentation pour prouver au monde que tu as raison. Renommer un fichier ca prend moins de 30 sec, voir le-dit fichier c’est au moins 1h voir 2h. Il est impossible que tu passes plus de temps à renommer des films qu’à les voir… Surtout que seul une minorité ne sont pas reconnus dans les scrappers actuels.



Quand au système de moteur de recherche, je ne vois pas ce qu’il vient faire dans cette histoire. L’objectif est de trouve le film en fonction du nom du fichier (et pas d’indexer le contenu du fichier, bonjour la bande passante et les problèmes potentiels), des regex suffisent largement pour ca. A part nom de fichier complètement pourrit, ce qui arrive de temps en temps, dans 95% voir 99% des cas ca marche très bien.



Et le data mining n’a aucun intérêt pour ca non plus, ca n’a juste rien à voir.







Est ce qu’il existe une norme reconnu de tous pour le nommage des fichiers de vidéo ?

Est ce que le jour où j’aurai marre de Kodi et que je me casse chez un autre, est ce que mes fichiers seront toujours bien reconnu ? (je pense dans un tout autre domaine aux références biblio dans les articles scientifiques, selon le journal, tu n’as pas la même norme de nommage)

…



Ayant pas mal d’animation japonaise, c’est plus des fichier de 20-25 minutes, le temps d’aller sur le disque avec les bon droits, faire le renommage, lancer la mise à jours de l’index de la médiathèque, vérifier si tout s’est bien passé, ça prend du temps, ça me gave, j’ai plus vite fait de passer par le menu “fichier”, mes dossiers étant bien rangé, ça marche très bien comme ça.





Je sais effectivement qu’il est un peut trop bourrin de faire de l’identification de vidéo via une reconnaissance de la vidéo elle même alors que jusqu’à présent, je crois que le noms de de tous les fichiers (voir voir des dossiers pour les séries) contenaient à chaque fois l’information nécessaire pour savoir de quel film cela correspondait (sauf en cas de remake, ce n’est pas forcément tout le temps clair si c’est l’original ou le remake : exemple récent “The Thing”). C’est pour ça que j’avais mis cette proposition de coté et que l’analyse du nom du fichier (et des dossiers dans un second temps) permet d’avoir ce qu’il faut pour identifier la vidéo.



Ici, quand je parle de moteur de recherche, c’est quelque chose de plus intelligent dans son fonctionnement qu’une expression régulière. Je pense à quelque chose qui n’est pas basé sur une norme, qui tolère l’erreur, l’imprécision… (voir plus haut). On voit que même si les normes n’existe pas dans le nommage de vidéo, il y a des “idées” qui reviennent souvent, de façon



De même, quand je parle d’indexer vérifie si je ne l’utilise pas pour dire ajouter dans l’index de la bibliothèque de kodi la vidéo et sa fiche (tout ceci doit bien être dans une base de données propre à Kodi).



Pour “Data mining”, après vérification, effectivement, ce n’est pas forcément ce à quoi je pensais (à la base, j’étais parti sur l’utilisation des statistiques Bayésienne qui me semblait plus correspondre à l’actuel problème).





P.S. :

Les regex, c’est cool, pour des petits trucs, pour parser des sortie d’outils interne ou des fichiers que l’on est sûr qu’il est bien formaté (et donc que le facteurs humain est très peut présent : un humain fait toujours des erreurs), mais ça a ses limites, c’est pas souple, c’est pas “intelligent”, ça ne supporte pas bien les erreurs. Or, le nommage de fichier de vidéo, il n’y a pas de consortium de nommeur de fichier de vidéo qui ont défini une norme, c’est encore fait beaucoup au felling de chacun, de l’humeur du moment… Et même là, des lors que l’on souhaite avoir quelque petites fantaisies, ça part en vrille. Je prend pour exemple la norme RFC 822 pour les adresses e-mail… l’expression régulière pour valider une adresse e-mail est juste horrible et atroce et pourtant c’est vachement normé et très réduit en complexité.