Cherche logiciel libre pour agréger des sites web

[Benko]

Bonjour,

Dans le cadre de mon activité, je suis confronté à la diversité des sources d'information sur le web. Il faut consulter des sites juridiques, des forums, consulter les sites des conccurents, des collectivités territoriales pour les appels d'offres...bref si on veux faire un tour d'horizon, il y a plus de 50 sites à visiter tous les jours pour voir s'il n'y a pas de nouveauté ou une nouvelle info utile.

Quand ces sites comportent des flux RSS, il n'y a pas de souci car un lecteur de RSS est fait pour ça.

Mais quand il n'y en a pas, comment faire pour savoir si tel ou tel site a changé, comporte la bonne informtion etc...

Bref je recherche un logiciel qui irait interroger automatiquement un certain nombre de sites et qui indiquerait ceux qui ont été actualisés. Voire, qui serait capable, de manière automatique d'interroger des bases de données....

Est-ce qu'un tel outil existe ?

Merci de votre aide.

[10ip]

Bref je recherche un logiciel qui irait interroger automatiquement un certain nombre de sites et qui indiquerait ceux qui ont été actualisés.

Regarde du côté des agrégateurs RSS présents ici
Sinon Firefox + Extension SAGE rempli parfaitement cette fonction

Voire, qui serait capable, de manière automatique d'interroger des bases de données....

Ça en revanche ....

[Sythuzuma-Ka]

Bref je recherche un logiciel qui irait interroger automatiquement un certain nombre de sites et qui indiquerait ceux qui ont été actualisés. Voire, qui serait capable, de manière automatique d'interroger des bases de données....

Tu entends quoi exactement par "bases de données?". Savoir quels nouveaux articles sont postés, c'est une chose, mais je comprends pas ce que ces bases de données contiendraient?

[Benko]

Merci de vos réponses,

Par "base de données", j'entend l'interrogation de recherches dans une base par exemple : une chambre de commerce maintient à jour une base de données d'entreprises par secteur d'activité. Pour obtenir la liste de ces entreprise sur son site web, il faut indiquer certains critères et cliquer sur le bouton "valider" puis la liste des socitétés concernées apparaît.

Je cherche donc un outil capable de faire par exemple cette requête de manière automatique et d'indiquer s'il y a du changement.

[Benko]

Regarde du côté des agrégateurs RSS présents

Merci mais comme indiqué dans mon premier message, quand il y a un flux rss, je n'ai pas de souci...c'est pour quand il n'y en a pas que je cherche ce type de solutions.

Je sais quand dans le monde "propriétaire", Copernic remplit cette fonction (pas pour l'interrogation des bases de données cependant). Mais Copernic ne tourne pas sous Linux, ni sur Mac, ce qui est un souci pour moi.

[Sythuzuma-Ka]

eh bien, tu as des logiciels qui remplissent automatiquement les formulaires (par exemple pour faciliter le remplissage d'info personnelles) donc ca doit exister.
sinon tu as AutoIt, qui te permettrait de scripter le comportement de ton ordi, et donc de lui faire faire les opération que tu fais manuellement une à une.

désolé, pas de lien (taf inside) mais jette un oeil de ce coté

[10ip]

Merci mais comme indiqué dans mon premier message

désolé.
Pour me rattrapper, je crois qu'une extension de firefox permet de "pinger" des url et de définir si elle sont valides, modifiées ...

EDIT : C'est BookmarkLinksChecker : "Bookmarks LinkChecker : vérifie la validité de vos marque-pages, détecte leur mise à jour et redirection."

[mpop]

Voire, qui serait capable, de manière automatique d'interroger des bases de données....

Strictement impossible. Les bases de données sont protégées par des mots de passe, et souvent non accessibles depuis l'extérieur.

[damien]

Bonjour,

Je confirme, cela n'est pas possible ( du moins légal ). En revanche, ce qui est possible de faire, c'est de créer un robot qui interroge le site ( en fait qui envoi le formulaire, puis trie les données récupérées ), mais cela suppose un minimum de developpement ( en perl, en php, en python, etc... ) puisqu'il faut savoir comment est formulée chaque requête, si les données sont envoyées en post ou en get, ... Puis étudié la façon dont est retourné le résultat ( quasiment toujours une page html ) pour enfin le mettre en forme dans sa propre base.

Car sinon, il faut trouver un logiciel capable de comprendre comment est fait un site, pouvoir construire à partir de la une requête puis finalement en donner une interprétation ( .... ). Pas évident à première vue, puisque quasiment aucun site n'est fait de la même façon ( données de formulaire différentes, variables différentes, etc ... ).

Cordialement
Damien

[Benko]

Bonjour,

Je viens de tester "bookmark link checker", ça n'est pas mal, mais je crois que la fonctionnalité de détection des mises à jour n'est pas réellement au point... pour ma part, deux sur trois ne sont pas détectées..