Traitement de données avec pandas¶
Pandas est une bibliothèque de données.
- Données uni-dimensionnelles et temporelles (
Series), - Données bi-dimensionnelles (
DataFrame), - Traitement : indexation, extraction, allignement, regroupement, jointures,
- Très efficace (code critique écrit en C/Cython),
- Dessin (via
matplotlib) - Parfaitement intégré avec IPython.
In [1]:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
Données uni-dimensionnelles¶
Des tableaux homogènes, basés sur les arrays numpy.
- Plus efficaces que les listes
- Opérations élément-par-élément (comme les arrays numpy)
In [2]:
s = pd.Series(range(10))
s
Out[2]:
In [3]:
10*s
Out[3]:
In [4]:
s * s
Out[4]:
Méthode .plot(), appelle matplotlib
In [5]:
# toujours cette ligne dans IPython pour afficher les graphiques
%matplotlib inline
In [6]:
x = s * s
x.plot()
Out[6]:
L'abscisse est appelée index dans le jargon de pandas.
Elle peut contenir tout type de données, mais ses valeurs doivent être uniques.
In [7]:
t = pd.Series([1,2,3], ['a', 'b', 'c'])
t
Out[7]:
In [8]:
t.plot()
Out[8]:
Les Series se comportent comme des tableaux associatifs
In [9]:
t['b']
Out[9]:
Support pour les dates
In [10]:
pd.Series(range(10,0,-1), index=pd.date_range('2015-3-23', periods=10)).plot()
Out[10]:
Données bi-dimensionnelles¶
In [11]:
d = pd.DataFrame({
'Pression' : range(10, 22),
'Temperature' : np.random.randn(12)
})
d
Out[11]:
In [12]:
d.plot()
Out[12]:
Les colonnes sont indexables
In [13]:
d['Pression']
Out[13]:
In [14]:
d['Temperature'].plot()
Out[14]:
Les lignes sont indexables
In [15]:
d[2:7]
Out[15]:
Ordonner
In [16]:
d.sort(columns="Temperature")
Out[16]:
Statistiques
In [17]:
d.max()
Out[17]:
In [18]:
d.describe()
Out[18]:
Les tableaux sont modifiables
In [19]:
d['Pression'] = np.random.randn(12)
d
Out[19]:
In [20]:
d['Volume'] = range(12,0,-1)
d
Out[20]:
Transposée
In [21]:
d.T
Out[21]:
Sélectionner des colonnes
In [22]:
d[['Pression', 'Volume']]
Out[22]:
Les tableaux aussi s'additionnent composante par composante
In [23]:
d+d
Out[23]:
Sélectionner¶
In [24]:
a = pd.DataFrame({
'qui' : ['Jean', 'Garfield', 'Milou', 'Bob'],
'espece' : ['homme', 'chat', 'chien', 'chien']
})
a
Out[24]:
In [25]:
a[a.espece == 'chien']
Out[25]:
In [26]:
a[a.espece.isin(['homme', 'chat'])]
Out[26]:
Jointures¶
Une jointure est la fusion de deux tableaux le long d'une colonne
In [27]:
b = pd.DataFrame({
'espece' : ['chien', 'chat', 'homme', 'homme', 'homme'],
'sons' : ['abboie', 'miaule', 'parle', 'crie', 'hurle']
})
b
Out[27]:
In [28]:
a.merge(b)
Out[28]:
Regrouper¶
In [29]:
import urllib2, json
prenoms = urllib2.urlopen('http://opendata.paris.fr/api/records/1.0/download?dataset=liste_des_prenoms_2004_a_2012&format=json')
donnees_brutes = json.load(prenoms)
donnees_brutes[0]
Out[29]:
In [30]:
p = pd.DataFrame([d['fields'] for d in donnees_brutes])
p
Out[30]:
In [31]:
p.groupby(p.annee).max()
Out[31]:
In [32]:
x = p.groupby(p.annee).sum()
x
Out[32]:
In [33]:
x['nombre'].plot()
Out[33]:
In [34]:
p.groupby(['annee', 'sexe']).sum()
Out[34]:
Pivoter¶
In [35]:
p.pivot_table(values='nombre', columns='annee', index='prenoms').sort(2014, ascending=False)
Out[35]:
In [35]: