Exercice2: Exercice1: Travauxdirigés DossierN ° 23NSI

Texte intégral

(1)Données structurées. Dossier N° 23. NSI. Travaux dirigés Introduction Une manière souvent efficace pour organiser des données est d’utiliser des tableaux (en informatique, on parle plutôt de table) . Voici par exemple un tableau donnant des renseignements sur les premiers matchs de l’équipe de France de foot. n Ces tables représentent des. collections d’éléments. n La première ligne donne les. descripteurs servant à décrire une donnée spécifique à chaque élément.. n Chaque ligne représente un. élément de la collection. Exercice 1 : 2 Quels sont les descripteurs de cette collection ?. On travaille dans cet exercice sur la collection donnée par le tableau donné ci-dessus. 3 Citer quelques valeurs possibles du descripteur Score. 1 Quels sont les éléments référencés dans cette collection ?. 4 Citer quelques valeurs possibles du descripteur Nature. Exercice 2 : On travaille de nouveau dans cet exercice sur la collection donnée par le tableau donné ci-dessus 1 Ecrire une variable python T1 de type dictionnaire permettant de représenter la deuxième ligne de cette cette collection. N’oubliez pas les descripteurs - ................................................... - ................................................... - ................................................... - .................................................... 2 Écrire une variable python T2 permettant de représenter l’ensemble du tableau - ................................................... - ................................................... - ................................................... - ................................................... - .................................................... 1.

(2) Exercice 3 : Une représentation plus conforme Le tableau précédent peut être représenté d’une manière plus proche de la forme de tableau que l’on a l’habitude de manipuler. Par contre, ces données devront être stockées dans des fichiers texte (que python ou tout autre langage de programmation sait lire et interpréter). Le deuxième avantage de stocker des données dans un fichier texte est que l’on peut facilement les stocker sur internet et les rendre ainsi libre d’accès 1 Télécharger le fichier EdfResultats.csv disponible ici : http://hgurgey.free.fr/gurgey/EdfResultats. csv.. wordpad sur Windows , pages sur Mac) Expliquer comment sont structurées les données - ................................................... - ................................................... - ................................................... - ................................................... 3 Ouvrir de nouveau ce fichier, mais cette fois avec un tableur . En double-cliquant sur le fichier votre ordinateur choisira sans doute de l’ouvrir avec le tableur par défaut sur votre appareil Voici un tableur utilisable en ligne si vous n’en disposez pas sur votre appareil : https://accueil.framacalc. org/fr/. 2 Ouvrir ce fichier depuis notepad ou depuis tout autre logiciel de lecture de fichier texte (gedit sur Linux ,. Information 1 Le fichier précédent est un fichier csv (comma separated value). Ce format se rapproche de notre format usuel de tableau. Le passage à la ligne correspond aux lignes du tableau. Les valeurs dans chaque ligne sont séparées par un "comma" ((’ ;’ ou ’,’ ou ’|’ etc ...), les colonnes se trouvent ainsi distinguées. Les tableurs demandent en général à l’ouverture le "comma" que vous avez utilisé.. Information 2 Les données structurées disponibles, par exemple, sur internet sont en général mémorisées dans des fichiers structurés de telle manière qu’elle puissent être efficacement récupérées et exploitées par les langages de programmation. en voici quatre exemples : n Les fichiers de type csv comma separated value n Les fichiers de type. json spécialement adaptés à javascript. ( prononcer "djizon"). n Les fichiers de type. xml qui utilisent une structure en balises. n Les fichiers de type. sql bases de données (travaillées en terminale). bien sur, c’est la terminaison du fichier qui indique sa structure exemple.csv ou exemple.json ou exemple.xml ou exemple.sql Dans ce dossier nous nous intéresserons plus particulièrement aux fichiers de type csv qui est le format exploité par les tableurs. 2.

(3) Exercice 4 : Le format json 1 Avec votre navigateur, rendez vous sur ce site : http: //www.convertcsv.com/csv-to-json.htm. Copier le résultat obtenu puis coller dans un nouveau fichier NotePad Sauvegarder ce fichier sous le nom matches.json. 2 Copier les lignes du fichier EdfResultats.csv Coller ces lignes dans le cadre Step 1 : Select your input. 3 Observer la manière dont un fichier json est structuré (Objet , descripteurs, valeurs). Cliquer sur. Remarque : Utiliser un fichier csv avec python Python dispose d’une bibliothèque dédiée (obtenue avec import csv) qui permet de lire plus efficacement les fichiers texte de type csv. Nous n’ utiliserons que quelques fonctionnalités de cette librairie afin de construire nous même quelques outils dans une librairie perso.. Exercice 5 : Un premier programme 1 Créer un nouveau fichier python sur votre session repl. Télécharger ( upload en haut à droite) le fichier EdfResultats.csv depuis votre ordinateur vers votre session.. import csv fichier=open("EdfResultats.csv") table=list(csv.reader(fichier)) print(table[0]) print(table[1]) print(table[2]). 2 Entrer le programme suivant :. 3 Quel est l’inconvénient de cette méthode ?. Exercice 6 : 1 Voici un deuxième programme :. 2 Tester le.. import csv fichier=open("EdfResultats.csv") table=list(csv.reader(fichier)) ListeDescripteur=table[0] n=len(ListeDescripteur) L=[] for j in range(1,len(table)):. 3 Quel sont les avantages et inconvénients de cette méthode ?. dico_matchs={ListeDescripteur[i]:table[j][i] for i in range(n)} L.append(dico_matchs) print(L[1]) print(L[2]) print(L[3]) ,→ ,→. 3.

(4) Exercice 7 : Récupérer une colonne Établir un programme qui permet d’obtenir une liste qui donne toutes les valeurs du descripteur Score. Vous utiliserez la liste de dictionnaires créée par le programme de l’exercice précédent.. Si vous créez un nouveau projet repl, vous pouvez copiercoller la variable obtenue dans l’exercice précédent. Vous devez obtenir quelque chose comme ceci : ["3-3","1-0", ............... ]. Exercice 8 : Récupérer deux colonnes Établir un programme qui permet d’obtenir une liste de listes qui donne toutes les valeurs des descripteur Intitule (attention sans accent ) et Score .. Vous devez obtenir quelque chose comme ceci : [ ["Belgique-France","3-3"],["France-Suisse","1-0"]], ............... ]. Exercice 9 : Utiliser un filtre Dans le traitement de données, nous avons souvent besoin d’utiliser des filtres qui permettent de sélectionner certaines colonnes en fonction d’un critère. Le programme Python ci-dessous a pour objectif de sélectionner l’intitule des matchs et le score des matchs dont le descripteur Nature est Match amical Complétez le puis testez le.. import csv fichier=open("EdfResultats.csv") table=list(csv.reader(fichier)) ListeDescripteur=table[0] F= [[element[descripteur] for descripteur in ,→ Listedescripteur ] for element in L if ,→ element[.......]==........]. Travaux pratiques Exercice 10 : Une librairie perso 1 Vous trouverez à l’adresse ci-contre : http://hgurgey. free.fr/gurgey/outilscsv.py un fichier nommé outilscsv.py . Ce fichier regroupe quelques fonctions permettant d’utiliser un fichier csv. Les instructions entre triple cote permettent d’obtenir une aide sur la fonction à l’aide la fonction help(). 5 Entrer alors dans main.py l’unique instruction from outilscsv import *. Dans la console taper help(colonne_multi). 2 Télécharger ce fichier puis uploader le sur un nouveau projet repl. Profitez en pour uploader de nouveau le fichier EdfResultats.csv. 6 Remplacer from outilscsv import * par import outilscsv Dans la console entrer dir(outilscsv) On obtient ainsi la liste des fonctions de la librairie importée. 3 Créer un fichier vide nommé _init_.py 4 Cliquer sur le fichier outilscsv.py afin de visualiser les différentes fonctions qui y sont définies.. 7 Pour vérifier le bon fonctionnement de la librairie, entrer dans main.py :. 4.

(5) from outilscsv import * print(CsvVersDico("EdfResultats.csv")) print(colonne_multi(["Intitule","Score"],"EdfResultats.csv")) print(colonne_multi(["Intitule","Score"],"EdfResultats.csv")) print(filtrer(["Intitule","Score"],["Nature","Match amical"],"EdfResultats.csv")). Information 3 En fait la librairie csv possède déjà ce genre de fonctions mais il était intéressant d’en reconstruire une partie. Il existe d’autre par une librairie (panda en l’occurrence) qui est dédiée au traitement de données et qui permet de construire divers graphiques à partir de ces données.. Exercice 11 : Le fichier des matchs complets 1 Dans un navigateur connectez vous au site data.gouv.fr. tepad .. 2 A l’aide de l’utilitaire interne de recherche (représentée par une loupe) chercher dans ce site, toutes les données qui concernent le thème football .. 5 Observer le résultat obtenu. 6 Utiliser notre librairie perso outilscsv pour écrire un programme qui donne le nombre de matchs gagnés par l’équipe de France dans son histoire. ( jusqu’au 26 juin 2018 qui est la dernière date du fichier csv) On utilisera le descripteur outcome. 3 Dans la liste qui apparaît, retrouver le sous-thème Histoire de l’équipe de France de Football puis télécharger le fichier df-matches.csv Si vous ne le trouvez pas, voici son adresse : https: // www. data. gouv. fr/ fr/ datasets/ histoire-de-lequipe-de-france-de-football/. 7 Que pensez vous du descripteur no ? En fait je ne sais pas trop ce qu’il représente, peut-être aurez vous davantage d’imagination ! !. 4 Ouvrir le fichier df-matches.csv avec un logiciel type no-. Annexe : données ouvertes ou open data Aux États-Unis, l’adoption de la loi sur le libre accès à l’information en 1966, la Freedom of Information Act (amendée notamment en 2007 par la loi OPEN Government Act) dessine les prémices d’un accès libre aux données. L’ouverture des données publiques devient un axe central du gouvernement américain avec des décrets qui mentionnent les critères de publication des données ouvertes. Barack Obama, dès son investiture fait part de son intention de créer un niveau d’ouverture du gouvernement sans précédent, dans le but de renforcer la démocratie et promouvoir son efficacité et son effectivité au sein du gouvernement. En mars 2009, le projet data.gov est lancé, puis en décembre de la même année la directive du gouvernement ouvert est publiée et pose les trois piliers de la coopération entre l’État et les citoyens qui sont la transparence du gouvernement, la participation et la collaboration. La déclinaison française de data.gov est bien sur data.gouv.fr Au sommet du G8 2013, les chefs d’État du G8 ont signé une Charte du G8 pour l’ouverture des données publiques . En février 2017, l’administration Trump a par contre décidé unilatéralement de couper l’accès à ces données depuis le portail dédié. Vivek Kundra, premier responsable fédéral des systèmes d’informations (Chief Information Officer) dans l’administration Obama, observe que la libération de ces données a donné naissance à une multiplication des applications chargées d’exploiter ces données et on a pu assister à une explosion de ces communautés de développeurs. Un premier pas vers la notion de BIG DATA était effectué. les informaticiens formés au traitement de ces données sont actuellement très recherchés sur le marché du travail. https://fr.wikipedia.org/wiki/Freedom_of_Information_Act. 5.

(6)