datamining : création de tableaux de bord à partir de .csv

[collegues]

Bonjour,

Dans le cadre du suivi de l'activité d'une base de données lié à un site web je reçois tous les jour un lot de fichiers csv assez indigestes (résultats d'une extraction automatique d'une base de données).

Je fais donc ma liste au Père Noël pour m'aider à traiter cela.

J'ai besoin qu'il soit capable d'extraire automatiquement les données de différents fichiers pour les afficher dans un ou plusieurs graphiques. Evidement après que je lui ai dit quoi prendre, où et comment l'afficher.

S'il pouvait aussi mixer ces données et traiter de données non numérique (présence ou non d'une chaine de caractère dans le champ, modification, ...) ce serait un plus.

Par analogie je cherche à obtenir les résultats que donnent webtrend ou google analytics à partir de fichiers que je reçois automatiquement.

Merci d'avance.

Vincent

[Blackmac]

Traiter des .csv et faire des graphique, ça ressemble pas mal à un tableur tout ça.

Donc OpenOffice calc.

[collegues]

oui, si tu fais le traitement 1 seule fois ou presque.

Là il s'agit de plusieurs fichiers qui arrivent tous les jours par mail.

Il faut :
- récupérer dans différents fichiers les infos voulues
- synthétiser le tout dans un doc unique sous la forme de graphique et tableaux
Tous ça tous les jours avec prise en compte de l'historique et calcul automatique de ratio simple (moyenne, médian, ...).

Donc oui, cela peut se faire à la main, oui on peut l'automatiser un peu avec de macro mais le fait qu'il s'agit de fichiers arrivant fréquemment qu'il faut prendre en compte j'avoue que cela dépasse mes compétence en tableur. D'où ma recherche.

[boarf]

Awk est très doué pour faire des rapports à partir de fichiers csv, donc tu devrais peut-être chercher de ce côté.

[joan]

Ah ben zut je pensais avoir posté un message dans ce sujet ce matin...
Bon ben je recommence:

En te lisant je pense que ton besoin correspond a un vrai projet de programmation.
Pour la manipulation des données il faut voir du côté d'un langage qui supporte les expressions régulières (l'outil Awk cité plus haut est nativement orienté expressions régulières mais la plupart des langages courants type perl, python, php seront ok.)

Pour la création des graphiques... Si c'est un projet web, voir peut-être du côté de la génération dynamique de SVG...

[collegues]

Commande awk, PERL, SVG, ... ça y est ma limite de compétence est atteinte...

Merci à tous pour vos conseils, je vais donc voir comment me débrouiller.