Lost with Open Data

Photo by Carol and Mike Werner / Alamy/Alamy

Intro

Le mouvement de l’open data m’a toujours fasciné. A chaque fois que je visite les portails d’open data (gouvernements, régions, villes, institutions publiques…), je suis captivé par la richesse du contenu et l’effort fourni pour réunir, organiser et publier toutes ces informations. Par contre, le jour où j’ai eu besoin d’utiliser ces données, j’ai découvert le revers du décors. Il y en a tellement et partout qu’on ne sait plus lesquelles utiliser!

J’ai alors commencé un travail de recensement des principales plateformes fournissant des données publiques tout en explorant leur contenu. J’en retire deux principales conclusions:

  • On peut trouver des données sur à peu près tout ce qu’on veut!
  • Il y a tellement de sources, de versions, de portails et de fournisseurs qu’on finit souvent, très souvent, par se perdre!

Je synthétise dans cet article ce que j’ai retenu de mes dérives dans les plateformes d’Open Data.

La petite histoire

La légende dit que la définition du concept de données publiques a vu le jour lors de la rencontre de Sébastopol en 2007 qui a réunit des grands activistes de l’Internet dans le but d’inciter les gouvernements dans l’adoption des grands principes de l’Open Government.

Je vous vous invite à lire cet cet article si l’histoire de l’open data vous intéresse.

Ce mouvement d’ouverture des données a évolué conjointement avec différentes initiatives d’ouverture du contenu et de la connaissance dans des domaines variés:

  • Développement logiciel (Mozilla Firefox, Hadoop, Linux, Git, Spark, Docker…)
  • Accès aux connaissances et aux informations (wikipedia, le projet Gutenberg, OpenStreetMap…)
  • Accès aux publications scientifiques (arXiv, OpenEdition)
  • Accès à l’éducation et à des cours d’apprentissage (Openclassroom, wikiversity…)

Définition

La définition de référence du terme “Open Data”, et plus largement de l’Open Coentent“, a été établie par l’Open Knowledge Foundation. On peut résumer comme suit: “Open means anyone can freely access, use, modify, and share for any purpose”. Il ne suffit pas de rendre l’accès publique aux données pour que ces données soients considérées comme “ouvertes”. Elles doivent respecter un certain nombre de critères: complétude, accessibilité, gratuité, exploitabilité, permanence..

Les définitions complètes des critères d’ouverture des données sont disponible dans ce lien.

Plateformes et fournisseurs

Je vas focaliser dans cet article sur les plateformes d’open data qui sont gérées par des organismes publiques en les déclinat en fonction de la couverture sptiale des données: Internationale, nationale et régionale.

Echelle internationale

La grande majorité des données ouvertes à couverture mondiale est publiée par des organismes appartenant à l’Organisation des Nations Unies. Ces organismes fournissent des services d’accès aux statistiques concernant différentes thématiques: démographie, environnement, économie, santé, agriculture, énergie… Les données sont accessibles et consultables à travers des bases de données téléchargeables, des APIs et des portails de visualisation. Le tableau ci-dessous liste un extrait des principales plateformes.

Fournisseur Plateforme/données Description
L’ONU Undata Service web qui permet l’accès aux différentes statistiques fournies par la division statistique des Nations Unies.
UNESCO UIS.Stat Plateforme centralisant des données concernant l’éducation, la science et la culture.
La Banque Mondiale World Development indicators Un ensemble de statistiques et d’indicateurs sur le développement dans le monde (économie, démographie, environnement…).
L’OMS Global Health Observatory Data Des indicateurs et statistiques de santé (maladies, pollution, accès à la santé…)
Food and Agriculture Organisation FAOSTAT Des indicateurs et statistiques de santé (maladies, pollution, accès à la santé…).
World Resources Institute Resource Watch, Global Forest Watch, Climate Watch… Le WRI publie différentes données sur l’état des ressources naturelles du monde (climat, forêt, énergie, eau…)
Commission Européenne Eurostat, EU OpenData Porta Bases de données fournissant des informations sur les pays européens concernant différentes thématiques (démographie, environnement, énergie, économie, transport…)

Voici un exemple d’exploration des données de la Banque Mondiale en utilisant le pakage R wbstats.

library(wbstats)
library(dplyr)
library(sf)
library(rnaturalearthdata)
library(knitr)
library(kableExtra)
library(leaflet)

# Get countries geo-boundaries
world_geo <- rnaturalearth::ne_countries(scale = 50, returnclass = "sf")

# Get population growth data for the last year (2019)
pop_data <- wb(country = "countries_only", 
               indicator = "SP.POP.GROW", 
               mrv = 1)
# join geometry with data
pop_geo <- left_join(world_geo, pop_data, by = c("iso_a2" = "iso2c"))

# show sample of data

kable(pop_data) %>%
  kable_styling(bootstrap_options = c("striped", "hover", "condensed", "responsive"),
                font_size = 12) %>%
  scroll_box(width = "100%", height = "400px")
iso3c date value indicatorID indicator iso2c country
ABW 2019 0.4421220 SP.POP.GROW Population growth (annual %) AW Aruba
AFG 2019 2.3118172 SP.POP.GROW Population growth (annual %) AF Afghanistan
AGO 2019 3.2429826 SP.POP.GROW Population growth (annual %) AO Angola
ALB 2019 -0.4260074 SP.POP.GROW Population growth (annual %) AL Albania
AND 2019 0.1764538 SP.POP.GROW Population growth (annual %) AD Andorra
ARE 2019 1.4387804 SP.POP.GROW Population growth (annual %) AE United Arab Emirates
ARG 2019 0.9933975 SP.POP.GROW Population growth (annual %) AR Argentina
ARM 2019 0.2015397 SP.POP.GROW Population growth (annual %) AM Armenia
ASM 2019 -0.2762308 SP.POP.GROW Population growth (annual %) AS American Samoa
ATG 2019 0.8603805 SP.POP.GROW Population growth (annual %) AG Antigua and Barbuda
AUS 2019 1.5159845 SP.POP.GROW Population growth (annual %) AU Australia
AUT 2019 0.4125398 SP.POP.GROW Population growth (annual %) AT Austria
AZE 2019 0.8370196 SP.POP.GROW Population growth (annual %) AZ Azerbaijan
BDI 2019 3.1289671 SP.POP.GROW Population growth (annual %) BI Burundi
BEL 2019 0.4975850 SP.POP.GROW Population growth (annual %) BE Belgium
BEN 2019 2.7151054 SP.POP.GROW Population growth (annual %) BJ Benin
BFA 2019 2.8442226 SP.POP.GROW Population growth (annual %) BF Burkina Faso
BGD 2019 1.0420011 SP.POP.GROW Population growth (annual %) BD Bangladesh
BGR 2019 -0.7039056 SP.POP.GROW Population growth (annual %) BG Bulgaria
BHR 2019 4.4692390 SP.POP.GROW Population growth (annual %) BH Bahrain
BHS 2019 0.9913359 SP.POP.GROW Population growth (annual %) BS Bahamas, The
BIH 2019 -0.6922064 SP.POP.GROW Population growth (annual %) BA Bosnia and Herzegovina
BLR 2019 -0.1756485 SP.POP.GROW Population growth (annual %) BY Belarus
BLZ 2019 1.8831107 SP.POP.GROW Population growth (annual %) BZ Belize
BMU 2019 -0.0031289 SP.POP.GROW Population growth (annual %) BM Bermuda
BOL 2019 1.3990984 SP.POP.GROW Population growth (annual %) BO Bolivia
BRA 2019 0.7515484 SP.POP.GROW Population growth (annual %) BR Brazil
BRB 2019 0.1338758 SP.POP.GROW Population growth (annual %) BB Barbados
BRN 2019 1.0027373 SP.POP.GROW Population growth (annual %) BN Brunei Darussalam
BTN 2019 1.1463823 SP.POP.GROW Population growth (annual %) BT Bhutan
BWA 2019 2.1752909 SP.POP.GROW Population growth (annual %) BW Botswana
CAF 2019 1.6747452 SP.POP.GROW Population growth (annual %) CF Central African Republic
CAN 2019 1.4240513 SP.POP.GROW Population growth (annual %) CA Canada
CHE 2019 0.7080892 SP.POP.GROW Population growth (annual %) CH Switzerland
CHI 2019 1.0269727 SP.POP.GROW Population growth (annual %) JG Channel Islands
CHL 2019 1.1829804 SP.POP.GROW Population growth (annual %) CL Chile
CHN 2019 0.3572911 SP.POP.GROW Population growth (annual %) CN China
CIV 2019 2.5493362 SP.POP.GROW Population growth (annual %) CI Cote d’Ivoire
CMR 2019 2.5842471 SP.POP.GROW Population growth (annual %) CM Cameroon
COD 2019 3.1870863 SP.POP.GROW Population growth (annual %) CD Congo, Dem. Rep. 
COG 2019 2.5629008 SP.POP.GROW Population growth (annual %) CG Congo, Rep. 
COL 2019 1.3817020 SP.POP.GROW Population growth (annual %) CO Colombia
COM 2019 2.2058774 SP.POP.GROW Population growth (annual %) KM Comoros
CPV 2019 1.1279243 SP.POP.GROW Population growth (annual %) CV Cabo Verde
CRI 2019 0.9579050 SP.POP.GROW Population growth (annual %) CR Costa Rica
CUB 2019 -0.0410646 SP.POP.GROW Population growth (annual %) CU Cuba
CUW 2019 -1.4256334 SP.POP.GROW Population growth (annual %) CW Curacao
CYM 2019 1.1988805 SP.POP.GROW Population growth (annual %) KY Cayman Islands
CYP 2019 0.7797882 SP.POP.GROW Population growth (annual %) CY Cyprus
CZE 2019 0.3735373 SP.POP.GROW Population growth (annual %) CZ Czech Republic
DEU 2019 0.2734511 SP.POP.GROW Population growth (annual %) DE Germany
DJI 2019 1.5151805 SP.POP.GROW Population growth (annual %) DJ Djibouti
DMA 2019 0.2551715 SP.POP.GROW Population growth (annual %) DM Dominica
DNK 2019 0.4291532 SP.POP.GROW Population growth (annual %) DK Denmark
DOM 2019 1.0464605 SP.POP.GROW Population growth (annual %) DO Dominican Republic
DZA 2019 1.9339502 SP.POP.GROW Population growth (annual %) DZ Algeria
ECU 2019 1.6792132 SP.POP.GROW Population growth (annual %) EC Ecuador
EGY 2019 1.9762843 SP.POP.GROW Population growth (annual %) EG Egypt, Arab Rep. 
ERI 2019 1.2757473 SP.POP.GROW Population growth (annual %) ER Eritrea
ESP 2019 0.5944697 SP.POP.GROW Population growth (annual %) ES Spain
EST 2019 0.3483397 SP.POP.GROW Population growth (annual %) EE Estonia
ETH 2019 2.5795633 SP.POP.GROW Population growth (annual %) ET Ethiopia
FIN 2019 0.0867900 SP.POP.GROW Population growth (annual %) FI Finland
FJI 2019 0.7296602 SP.POP.GROW Population growth (annual %) FJ Fiji
FRA 2019 0.1402342 SP.POP.GROW Population growth (annual %) FR France
FRO 2019 0.3725242 SP.POP.GROW Population growth (annual %) FO Faroe Islands
FSM 2019 1.0377431 SP.POP.GROW Population growth (annual %) FM Micronesia, Fed. Sts.
GAB 2019 2.4840892 SP.POP.GROW Population growth (annual %) GA Gabon
GBR 2019 0.5612554 SP.POP.GROW Population growth (annual %) GB United Kingdom
GEO 2019 -0.1656253 SP.POP.GROW Population growth (annual %) GE Georgia
GHA 2019 2.1625779 SP.POP.GROW Population growth (annual %) GH Ghana
GIB 2019 -0.0504309 SP.POP.GROW Population growth (annual %) GI Gibraltar
GIN 2019 2.8345754 SP.POP.GROW Population growth (annual %) GN Guinea
GMB 2019 2.9218502 SP.POP.GROW Population growth (annual %) GM Gambia, The
GNB 2019 2.4565221 SP.POP.GROW Population growth (annual %) GW Guinea-Bissau
GNQ 2019 3.5285241 SP.POP.GROW Population growth (annual %) GQ Equatorial Guinea
GRC 2019 -0.1544114 SP.POP.GROW Population growth (annual %) GR Greece
GRD 2019 0.4913707 SP.POP.GROW Population growth (annual %) GD Grenada
GRL 2019 0.3599177 SP.POP.GROW Population growth (annual %) GL Greenland
GTM 2019 1.5603860 SP.POP.GROW Population growth (annual %) GT Guatemala
GUM 2019 0.9163523 SP.POP.GROW Population growth (annual %) GU Guam
GUY 2019 0.4817620 SP.POP.GROW Population growth (annual %) GY Guyana
HKG 2019 0.7540949 SP.POP.GROW Population growth (annual %) HK Hong Kong SAR, China
HND 2019 1.6406488 SP.POP.GROW Population growth (annual %) HN Honduras
HRV 2019 -0.4988887 SP.POP.GROW Population growth (annual %) HR Croatia
HTI 2019 1.2498994 SP.POP.GROW Population growth (annual %) HT Haiti
HUN 2019 -0.0574556 SP.POP.GROW Population growth (annual %) HU Hungary
IDN 2019 1.1005846 SP.POP.GROW Population growth (annual %) ID Indonesia
IMN 2019 0.6012078 SP.POP.GROW Population growth (annual %) IM Isle of Man
IND 2019 1.0151060 SP.POP.GROW Population growth (annual %) IN India
IRL 2019 1.5114940 SP.POP.GROW Population growth (annual %) IE Ireland
IRN 2019 1.3522260 SP.POP.GROW Population growth (annual %) IR Iran, Islamic Rep. 
IRQ 2019 2.2541342 SP.POP.GROW Population growth (annual %) IQ Iraq
ISL 2019 2.4067243 SP.POP.GROW Population growth (annual %) IS Iceland
ISR 2019 1.9012510 SP.POP.GROW Population growth (annual %) IL Israel
ITA 2019 -0.2060386 SP.POP.GROW Population growth (annual %) IT Italy
JAM 2019 0.4563562 SP.POP.GROW Population growth (annual %) JM Jamaica
JOR 2019 1.4526643 SP.POP.GROW Population growth (annual %) JO Jordan
JPN 2019 -0.2089995 SP.POP.GROW Population growth (annual %) JP Japan
KAZ 2019 1.2907422 SP.POP.GROW Population growth (annual %) KZ Kazakhstan
KEN 2019 2.2719016 SP.POP.GROW Population growth (annual %) KE Kenya
KGZ 2019 2.0987178 SP.POP.GROW Population growth (annual %) KG Kyrgyz Republic
KHM 2019 1.4463934 SP.POP.GROW Population growth (annual %) KH Cambodia
KIR 2019 1.5069700 SP.POP.GROW Population growth (annual %) KI Kiribati
KNA 2019 0.7257974 SP.POP.GROW Population growth (annual %) KN St. Kitts and Nevis
KOR 2019 0.1983532 SP.POP.GROW Population growth (annual %) KR Korea, Rep. 
KWT 2019 1.6723232 SP.POP.GROW Population growth (annual %) KW Kuwait
LAO 2019 1.5171156 SP.POP.GROW Population growth (annual %) LA Lao PDR
LBN 2019 0.0990614 SP.POP.GROW Population growth (annual %) LB Lebanon
LBR 2019 2.4271946 SP.POP.GROW Population growth (annual %) LR Liberia
LBY 2019 1.4697777 SP.POP.GROW Population growth (annual %) LY Libya
LCA 2019 0.4941342 SP.POP.GROW Population growth (annual %) LC St. Lucia
LIE 2019 0.2871105 SP.POP.GROW Population growth (annual %) LI Liechtenstein
LKA 2019 0.6118759 SP.POP.GROW Population growth (annual %) LK Sri Lanka
LSO 2019 0.8095665 SP.POP.GROW Population growth (annual %) LS Lesotho
LTU 2019 -0.5260564 SP.POP.GROW Population growth (annual %) LT Lithuania
LUX 2019 1.9459080 SP.POP.GROW Population growth (annual %) LU Luxembourg
LVA 2019 -0.7492295 SP.POP.GROW Population growth (annual %) LV Latvia
MAC 2019 1.3849968 SP.POP.GROW Population growth (annual %) MO Macao SAR, China
MAF 2019 1.9611077 SP.POP.GROW Population growth (annual %) MF St. Martin (French part)
MAR 2019 1.2210509 SP.POP.GROW Population growth (annual %) MA Morocco
MCO 2019 0.7263767 SP.POP.GROW Population growth (annual %) MC Monaco
MDA 2019 -1.8052255 SP.POP.GROW Population growth (annual %) MD Moldova
MDG 2019 2.6562402 SP.POP.GROW Population growth (annual %) MG Madagascar
MDV 2019 2.9156061 SP.POP.GROW Population growth (annual %) MV Maldives
MEX 2019 1.0913621 SP.POP.GROW Population growth (annual %) MX Mexico
MHL 2019 0.6450314 SP.POP.GROW Population growth (annual %) MH Marshall Islands
MKD 2019 0.0240494 SP.POP.GROW Population growth (annual %) MK North Macedonia
MLI 2019 2.9966368 SP.POP.GROW Population growth (annual %) ML Mali
MLT 2019 3.6514358 SP.POP.GROW Population growth (annual %) MT Malta
MMR 2019 0.6255483 SP.POP.GROW Population growth (annual %) MM Myanmar
MNE 2019 -0.0144652 SP.POP.GROW Population growth (annual %) ME Montenegro
MNG 2019 1.7187531 SP.POP.GROW Population growth (annual %) MN Mongolia
MNP 2019 0.5854633 SP.POP.GROW Population growth (annual %) MP Northern Mariana Islands
MOZ 2019 2.9071374 SP.POP.GROW Population growth (annual %) MZ Mozambique
MRT 2019 2.7412803 SP.POP.GROW Population growth (annual %) MR Mauritania
MUS 2019 0.0322400 SP.POP.GROW Population growth (annual %) MU Mauritius
MWI 2019 2.6403752 SP.POP.GROW Population growth (annual %) MW Malawi
MYS 2019 1.3270606 SP.POP.GROW Population growth (annual %) MY Malaysia
NAM 2019 1.8724809 SP.POP.GROW Population growth (annual %) NA Namibia
NCL 2019 1.3080311 SP.POP.GROW Population growth (annual %) NC New Caledonia
NER 2019 3.7936682 SP.POP.GROW Population growth (annual %) NE Niger
NGA 2019 2.5648419 SP.POP.GROW Population growth (annual %) NG Nigeria
NIC 2019 1.2295737 SP.POP.GROW Population growth (annual %) NI Nicaragua
NLD 2019 0.5857245 SP.POP.GROW Population growth (annual %) NL Netherlands
NOR 2019 0.6750614 SP.POP.GROW Population growth (annual %) NO Norway
NPL 2019 1.8373371 SP.POP.GROW Population growth (annual %) NP Nepal
NRU 2019 -0.9729165 SP.POP.GROW Population growth (annual %) NR Nauru
NZL 2019 1.5577277 SP.POP.GROW Population growth (annual %) NZ New Zealand
OMN 2019 2.9683134 SP.POP.GROW Population growth (annual %) OM Oman
PAK 2019 2.0292149 SP.POP.GROW Population growth (annual %) PK Pakistan
PAN 2019 1.6517869 SP.POP.GROW Population growth (annual %) PA Panama
PER 2019 1.6161572 SP.POP.GROW Population growth (annual %) PE Peru
PHL 2019 1.3639947 SP.POP.GROW Population growth (annual %) PH Philippines
PLW 2019 0.5624406 SP.POP.GROW Population growth (annual %) PW Palau
PNG 2019 1.9536791 SP.POP.GROW Population growth (annual %) PG Papua New Guinea
POL 2019 -0.0102073 SP.POP.GROW Population growth (annual %) PL Poland
PRI 2019 0.0106465 SP.POP.GROW Population growth (annual %) PR Puerto Rico
PRK 2019 0.4543199 SP.POP.GROW Population growth (annual %) KP Korea, Dem. People’s Rep. 
PRT 2019 -0.1401726 SP.POP.GROW Population growth (annual %) PT Portugal
PRY 2019 1.2651673 SP.POP.GROW Population growth (annual %) PY Paraguay
PSE 2019 2.5117825 SP.POP.GROW Population growth (annual %) PS West Bank and Gaza
PYF 2019 0.5774157 SP.POP.GROW Population growth (annual %) PF French Polynesia
QAT 2019 1.7952851 SP.POP.GROW Population growth (annual %) QA Qatar
ROU 2019 -0.5974971 SP.POP.GROW Population growth (annual %) RO Romania
RUS 2019 -0.0722344 SP.POP.GROW Population growth (annual %) RU Russian Federation
RWA 2019 2.6076526 SP.POP.GROW Population growth (annual %) RW Rwanda
SAU 2019 1.6731117 SP.POP.GROW Population growth (annual %) SA Saudi Arabia
SDN 2019 2.3914340 SP.POP.GROW Population growth (annual %) SD Sudan
SEN 2019 2.7497474 SP.POP.GROW Population growth (annual %) SN Senegal
SGP 2019 1.1442833 SP.POP.GROW Population growth (annual %) SG Singapore
SLB 2019 2.5653851 SP.POP.GROW Population growth (annual %) SB Solomon Islands
SLE 2019 2.1090753 SP.POP.GROW Population growth (annual %) SL Sierra Leone
SLV 2019 0.5096833 SP.POP.GROW Population growth (annual %) SV El Salvador
SMR 2019 0.2217460 SP.POP.GROW Population growth (annual %) SM San Marino
SOM 2019 2.8556021 SP.POP.GROW Population growth (annual %) SO Somalia
SRB 2019 -0.5403537 SP.POP.GROW Population growth (annual %) RS Serbia
SSD 2019 0.7822244 SP.POP.GROW Population growth (annual %) SS South Sudan
STP 2019 1.8907633 SP.POP.GROW Population growth (annual %) ST Sao Tome and Principe
SUR 2019 0.9298792 SP.POP.GROW Population growth (annual %) SR Suriname
SVK 2019 0.1339713 SP.POP.GROW Population growth (annual %) SK Slovak Republic
SVN 2019 0.6752808 SP.POP.GROW Population growth (annual %) SI Slovenia
SWE 2019 1.0775804 SP.POP.GROW Population growth (annual %) SE Sweden
SWZ 2019 1.0453092 SP.POP.GROW Population growth (annual %) SZ Eswatini
SXM 2019 0.1941343 SP.POP.GROW Population growth (annual %) SX Sint Maarten (Dutch part)
SYC 2019 0.8879253 SP.POP.GROW Population growth (annual %) SC Seychelles
SYR 2019 0.9645117 SP.POP.GROW Population growth (annual %) SY Syrian Arab Republic
TCA 2019 1.3868604 SP.POP.GROW Population growth (annual %) TC Turks and Caicos Islands
TCD 2019 2.9859375 SP.POP.GROW Population growth (annual %) TD Chad
TGO 2019 2.4203352 SP.POP.GROW Population growth (annual %) TG Togo
THA 2019 0.2834266 SP.POP.GROW Population growth (annual %) TH Thailand
TJK 2019 2.3905463 SP.POP.GROW Population growth (annual %) TJ Tajikistan
TKM 2019 1.5463892 SP.POP.GROW Population growth (annual %) TM Turkmenistan
TLS 2019 1.9638356 SP.POP.GROW Population growth (annual %) TL Timor-Leste
TON 2019 1.2489871 SP.POP.GROW Population growth (annual %) TO Tonga
TTO 2019 0.3673477 SP.POP.GROW Population growth (annual %) TT Trinidad and Tobago
TUN 2019 1.1136437 SP.POP.GROW Population growth (annual %) TN Tunisia
TUR 2019 1.3392604 SP.POP.GROW Population growth (annual %) TR Turkey
TUV 2019 1.1920328 SP.POP.GROW Population growth (annual %) TV Tuvalu
TZA 2019 2.9516817 SP.POP.GROW Population growth (annual %) TZ Tanzania
UGA 2019 3.5557405 SP.POP.GROW Population growth (annual %) UG Uganda
UKR 2019 -0.5333553 SP.POP.GROW Population growth (annual %) UA Ukraine
URY 2019 0.3598598 SP.POP.GROW Population growth (annual %) UY Uruguay
USA 2019 0.4739535 SP.POP.GROW Population growth (annual %) US United States
UZB 2019 1.8773635 SP.POP.GROW Population growth (annual %) UZ Uzbekistan
VCT 2019 0.3432990 SP.POP.GROW Population growth (annual %) VC St. Vincent and the Grenadines
VEN 2019 -1.2350411 SP.POP.GROW Population growth (annual %) VE Venezuela, RB
VGB 2019 0.7621377 SP.POP.GROW Population growth (annual %) VG British Virgin Islands
VIR 2019 -0.3239582 SP.POP.GROW Population growth (annual %) VI Virgin Islands (U.S.)
VNM 2019 0.9601105 SP.POP.GROW Population growth (annual %) VN Vietnam
VUT 2019 2.4309202 SP.POP.GROW Population growth (annual %) VU Vanuatu
WSM 2019 0.4918289 SP.POP.GROW Population growth (annual %) WS Samoa
XKX 2019 -0.1579915 SP.POP.GROW Population growth (annual %) XK Kosovo
YEM 2019 2.3005801 SP.POP.GROW Population growth (annual %) YE Yemen, Rep. 
ZAF 2019 1.3386174 SP.POP.GROW Population growth (annual %) ZA South Africa
ZMB 2019 2.8923729 SP.POP.GROW Population growth (annual %) ZM Zambia
ZWE 2019 1.4196810 SP.POP.GROW Population growth (annual %) ZW Zimbabwe
library(leaflet)

pal <- colorNumeric("viridis", domain = pop_geo$value)

labels <- sprintf("<strong>%s</strong><br/>%s: %g%%",
                  pop_geo$name_long, pop_geo$indicator, round(pop_geo$value, 2)) %>% 
  lapply(htmltools::HTML)

Map_pop_growth <- leaflet(pop_geo, height = 400, width = "100%") %>%
  setView(20,25, zoom = 1) %>%
  addTiles() %>%
  addPolygons(
    fillColor = ~pal(value),
    weight = 1,
    opacity = 1,
    color = "grey",
    fillOpacity = 0.7,
    label = labels,
    labelOptions = labelOptions(
      style = list("font-weight" = "normal", padding = "3px 6px"),
      textsize = "15px",
      direction = "auto")) %>%
  addLegend(pal = pal, values = ~value, opacity = 0.9, 
            title = NULL,
            position = "bottomright",
            labFormat = labelFormat(suffix = "%"))

Map_pop_growth

Echelle nationale

Dans le cadre des démarches de gouvernement ouvert et de transparence, plusieurs pays ont investi dans la mise en place de politiques d’ouverture de données. L’Open Knowledge Foundation a définit un indice d’évaluation de l’état de l’ouverture des données publiques.

La France est classée parmis les les gouvernements leaders en politique d’open data! (source).

La plateforme data.gouv, développée par Etalab, est considérée comme la principale plateforme de diffusion de données publiques de l’état français. Les données sont catégorisées selon différentes thématiques: agriculture, culture, économie, environnement, transports… De plus en plus de données sont maintenant accessibles via des APIs ouvertes: découpage administratif, base d’adresse nationale, base SIRENE…).

Le tableau ci-dessous contient un extrait des principales bases de données publiques par thématique:

Thématique Producteur Données Description
Agriculture Le service de la statistique et de la prospective du ministère de l’agriculture GRAPH’AGRI Les statistiques liées à l’agriculture, aux industries agro-alimentairess, population agricole
Communication ARCEP ARCEP OPEN DATA Cartographie de la couverture des opérateurs et des mesures de qualité de service réalisées en conditions réelles.
Emploi INSEE Banque de Données Macro-économique Base de données de séries et indices sur l’ensemble des domaines économiques
Economie Ministère de l’économie et des finances Impot locaux Statistiques sur les impôts locaux
Environnement Ministère de la transition écologique et solidaire Entrepôt d’indicateurs et de données sur l’environnement Un entrepôt qui centralise les statistiques sur l’environnement agrégées à la région et au département.
Foncier Ministère de l’économie et de la finance Demandes de valeurs foncières La base de donnés des transactions immobilières intervenues au cours des 5 dernières années sur le territoire français.
Santé Ministère des solidarités et de santé Statistiques annuelles des établissements de santé Indicateurs sur l’activité et les ressources en équipements et en personnels des établissements de santé.
Territoires IGN Base Adresse Nationale Elle référence l’intégralité des adresses du territoire français.
Cadastre Ministère de l’économie et des finances Plan Cadastre Informatisé Un assemblage des différentes parcelles cadastrales du territoire

D’autres organismes publiques fournissent des portails d’accès à leurs données:

  • L’INSEE: statistiques officielles de l’emploi, recensement, enquêtes nationales…
  • L’IGN: géoportail, occupation des sols, cartes forestières, réseaux routiers, cadastre…
  • L’ADEME: Base carbone, indicateurs d’impacts environnementaux (AGRIBALYSE)…
  • La RATP: Offre de transport, trafic des stations…

Echelle régionale

Les données ouvertes sont aussi fournies et publiées à travers des plateformes proposées par différentes collectivités territoriales (régions, départements, communes…). La majorité des régions française ont investi dans des portails d’open data tels que la région ile de France, la Bretagne, Auvergne-Rhône-Alpes, Grand-Est… Le portail open data de la région ile de France, par exemple, compte environ 780 jeux de données dans 17 thématiques différentes (pistes cyclables, horaires des lignes de transport, jardins et parcs, qualité d’air…).

On retrouve aussi portails d’open data à l’échelle des villes et des métropoles tels que Paris, Rennes, Issy-les-moulineaux, Nantes, Grenoble… Paris Data, par exemple, contient 275 jeux de données sur 7 thématiques tels que la localisation des stations Velib, les terrasses, les toilettes publiques, les stationnements, les fontaines à boire, le comptage routier et vélo…

Vous pouvez consulter ici la carte interactive des acteurs de l’open data territorial

Le développement de ces plateformes a été facilité grâce àd ifférentes initiatives publiques et privées pour accompagner les collectivités locales dans leurs projets d’ouvertue des données: OpenDataFrance, OpenDataSoft, Publidata, Datactivist, Datapublica

Usages

Les points positifs

En plus du soucis de transparence, l’ouverture des données a permis et facilité le développement de différents services et applications dans différents domaines.

Plusieurs acteurs de l’imobilier (tels que Meilleurs Agents, Price Hubble, GeoFoncier…) exploitent par exemple la base de données des valeurs foncières pour proposer des outils d’estimations des prix des biens. La base de données des équipements est aussi utilisée par des sites d’annonces immobilières (se loger, bienIcie, cityscan…) ou à des fins de géomarketing (GeoCible), pour caractériser le contexte géographique des biens.

Le développement d’une plateforme dédiée à la publication des données de transport a aussi permi le développement de plusieurs services autour des systèmes d’informations multimodaux comme: Cityway, viaTransit, MyBus, Parkingmap…

Et plus récemment, plusieurs tableaux de bords ont été produits pour suivre l’évolution de l’épidémie du covid-19 grâce à la publication des statistiques de détection et d’hospitalisation par Santé Publique France.

Les points négatifs

Comme vous l’avez surement constaté dans cet article, il y a tellement d’acteurs, de fournisseurs, de plateformes et de portails d’open data qu’il est devenu compliqué de s’y retrouver.

Cet article présente une tout petit panorama du monde de l’open data, mais on peut facilement se perdre dans les différents rapports et plateformes.

Peut être un jour on aura un seul portail d’accès aux données ouvertes?

Vous pouvez visitez mes autres travaux en cours sur l’open data ici:

Saif Shabou
Saif Shabou
Building data products for a better planet

My research interests include Artificial intelligence and data products designing and deployement.