Page 1 sur 21, 2 SuivantDépasser la limite de ligne de OoO Calc

[ustilago]

Bonjour,

Je fais des stats (très simples : moyenne, médiane, nb de valeurs, 1er et dernier décile, ...) sur des donnnées collectées sur plusieurs années, mon soucis c'est que j'ai pas assez de lignes dans une feuille OoO ... (je peux faire 2005+2004 mais pas plus)

Existe-il un moyen simple (en utilisant peut être un autre logiciel) de faire ça sans que je me ressaisisse tout ? Une base de donnée ?

Usti

[Sixsous]

Tu utilises quelle version d'OOo ? La version 2.0 autorise jusqu'à 65536 lignes (autant qu'Excel et deux fois plus que la version précédente d'OOo)...

Par contre si tu as déjà dépassé ce nombre de lignes, alors effectivement je ne vois plus tellement d'autre solution qu'une base de données. Tu peux normalement importer ton classeur Calc dans OOo Base sans trop de problèmes (choisir l’option « se connecter à une base de données existante » puis « Classeur »). Par contre il sera plus difficile de travailler dessus par la suite (entrer les données reste facile, mais appliquer des formules peut se révéler assez pénible).

J'oubliais : il te reste la possibilité de travailler sur plusieurs feuilles (avec l'onglet en bas à gauche). Dans les formules tu peux prendre si besoin les données d'autres feuilles Calc. Tu peux ainsi créer une feuille par année et une feuille qui fait les statistiques sur toutes tes années qui ira chercher les données des autres feuilles. Ça demande un peu de jonglage au début, mais c’est une excellente solution pour classer ses données de façon logique plutôt que de mettre tout pêle-mèle dans une seule feuille. Sauf erreur, le nombre de lignes limite est de 65536 par feuille et non pas par classeur...

[hjs]

En effet, la solution base de données me semble la plus appropriée dans ce cas. Pour analyser les données, tu peux utiliser le logiciel R. Bon, ça peut paraître exagéré pour l'analyse que tu souhaites faire. Mais d'un autre côté, R sera un bon compagnon le jour ou tu souhaites faire des analyses plus poussées ou simplement faire des jolis graphiques. Avec R tu peux facilement te connecter à une base de données (MySQL, SQLite, ...). Une fois que ceci est fait tu n'as plus qu'à taper summary(...) et quantile(...) pour obtenir les résulats.

[ustilago]

Effectivement, je parle bien de dépasser 65536 lignes .

Je n'avais pas pensé à la solution de mettre ça sur plusieurs feuilles, bêtement j'avais pris le parti de tout regrouper en une seule.

Je vais jetter un oeil sur R, effectivement il n'est pas exclus qu'une fois la base créee, on envisage d'autres traitements statistiques plus poussés.

Merci de vos réponses !!

Usti

[ustilago]

Bonjour,

Bon j'ai jetté un oeil sur R, c'est effectivement très intéressant.

Mon soucis : comment transformer mes classeurs OoO Calc en base de données ? J'y connais rien en BDD, mais ça m'intéresse de travailler sur le sujet.

Quelle base de donnée utiliser ? J'ai vu (en gratuit) mysql et firebird qui me semblaient intéressantes, mais je patine un peu ... est-ce que quelqu'un a un bon tuto pour démarrer ? (PRECISION : je travaille sous XP)

Merci d'avance

Usti

[hjs]

Je ne sais pas s'il y a un tutoriel pour tout ça ... Je me suis basé sur les documentations "officielles" et les exemples que j'ai trouvés à gauche et à droite ...

Tout d'abord, il te faut un système de gestion de bases de données. Il y a notamment le célèbre MySQL. Moi pour ma part j'ai choisi SQLite. Pour apprendre à utiliser ce système, tu peux lire la documentation disponible sur le site officiel de SQLite.

Pour passer tes données de calc vers la base de données, le plus simple c'est de sauvegarder le classeur calc en format .csv. Ensuite, tu peux importer ce fichier. Pour l'importation avec SQLite, je suis passé via SQLite Database Browser, qui est une interface graphique pour travailler avec des bases de données SQLite.

Maintenant, tu peux te mettre à R. Pour pouvoir accéder à ta base de données, tu as besoin des deux paquets suivants: DBI et RSQLite. Tu lances R, et puis tu va dans le Menu "Packages -> Install Packages" et tu les choisis dans la liste. Tu peux regarder par ici pour avoir un petit exemple sur l'utilisation conjointe de SQLite et R.

Bonne chance!

[hjs]

Usti: Je viens de trouver deux documents qui pourraient t'intéresser. Le premier est un livre sur le "data mining" avec R. Pour le moment ce livre est disponible gratuitement. Là dedans tu trouveras une petite introudction à Mysql et des exemples qui expliquent comment accéder à une base de données avec R. Le deuxième est un jeu de transparents. Tu y trouveras des explications sur l'intégration de MySQL et R, ainsi que des illustrations (copies d'écran, exemples) bien utiles.

[ustilago]

Je te remercie, je suis un peu perplexe ...

J'arrive bien à importer mon fichier csv dans une base sqlite (mais problème : chaque fichier importé se met dans une base différente, donc ça résoud pas mon problème de fusionner mes données), même si ça prend une heure , j'arrive bien à faire des stats, mais seulement sur les 100 premiers enregistrements, au-delà de 150 (et même un peu moins, alors ne parlons pas du 14553ème) la base doit avoir un problème parceque R importe tous les champs en format texte ... difficile de faire une moyenne sur ce type de données

Bref, il faut que je me penche sur sqlite, peut être faire un script moi-même pour importer les données, et surtout d'abord regarder pourquoi ma base marche pas.

Les docs de ton message du 1er m'ont bien aidées, je vais aller voir celles de ton dernier message, encore merci !

Usti

[hjs]

J'arrive bien à importer mon fichier csv dans une base sqlite (mais problème : chaque fichier importé se met dans une base différente, donc ça résoud pas mon problème de fusionner mes données)

Il doit y avoir une commande SQL pour fusionner des tables ou des bases de données. Je ne connais pas (encore) trop ce langage pour te dire quoi. Tout comme toi, je suis en train d'apprendre ... Sinon, tu peux importer chaque table séparément dans R. Ensuite tu peux les fusionner dans R à l'aide de la commande "merge".

la base doit avoir un problème parceque R importe tous les champs en format texte

Est-ce que tes données sont bien encodées au niveau du tableur? Par exemple au lieu d'entrer 89 dans une celulle tu as entré 8* ...

[ustilago]

Il doit y avoir une commande SQL pour fusionner des tables ou des bases de données. Je ne connais pas (encore) trop ce langage pour te dire quoi. Tout comme toi, je suis en train d'apprendre ... Sinon, tu peux importer chaque table séparément dans R. Ensuite tu peux les fusionner dans R à l'aide de la commande "merge".

Je vais poster sur la liste de diffusion sqlite, je pense qu'effectivement ça doit être possible en SQL, quite à faire un script en perl ou autre pour le faire.
Je vais du coup aussi tester la commande merge dans R .

Est-ce que tes données sont bien encodées au niveau du tableur? Par exemple au lieu d'entrer 89 dans une celulle tu as entré 8* ...

Pff, nan, à la 128ème ligne je sais pas pourquoi il met plus de tabulations dans les 4 dernières colonnes qui sont vides, du coup ça décale tout ... j'ai viré les colonnes incriminées (qui me servent pas) et là ça a bien marché

Usti