05_real_real_data_datenportal_csv.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Zähme die Tabellen des Grauens"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Lächle und sei froh, es könnte noch schlimmer kommen. Und ich lächelte und war froh ... und es kam schlimmer.\n",
    "\n",
    "Die Destatis-Flat-Tables sind im Vergleich zu anderen Datenportalen schon ganz gut.\n",
    "Das geht geht auch schlimmer: "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wir zeigen dir jetzt einmal das Datenportal [regionalstatistik.de](https://www.regionalstatistik.de/genesis/online/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ziel ist eine Choroplethen-Karte wie diese:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "\n",
       "        <iframe\n",
       "            width=\"600\"\n",
       "            height=\"750\"\n",
       "            src=\"https://datawrapper.dwcdn.net/IJwst/4/\"\n",
       "            frameborder=\"0\"\n",
       "            allowfullscreen\n",
       "        ></iframe>\n",
       "        "
      ],
      "text/plain": [
       "<IPython.lib.display.IFrame at 0x7f6033298518>"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Display the associated webpage in a new window\n",
    "import IPython\n",
    "IPython.display.IFrame('https://datawrapper.dwcdn.net/IJwst/4/', width='600', height='750')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1. Daten als .csv herunterladen"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Suche auf regionalstatistik.de nach ‘Bauland’ oder direkt nach der Nummer der Tabelle: 61511-01-03-4. Lade die Daten als .csv herunter und speichere sie im ./data Ordner ab."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2. Tabelle anschauen"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Der erste Fehler fällt dir schon auf, wenn du versuchst, die Tabelle im Jupyter Notebook anzuklicken. \n",
    "\n",
    "Du bekommst folgende Fehlermeldung:\n",
    "\n",
    "```\"File Load Error for 61511-01-03-4.csv\n",
    "/home/p3nny/pfv/data/61511-01-03-4.csv is not UTF-8 encoded\"\n",
    "```\n",
    "\n",
    "Das heißt, der Zeichensatz, mit dem das Dokument angelegt ist, entspricht nicht dem Standard utf-8 sondern es wird ein deutsches Sonderformat verwendet.\n",
    "\n",
    "Öffne die .csv bitte mal in Excel oder Google Spreadsheets etc.\n",
    "\n",
    "Vor Dir siehst du eine recht verschachtelte Tabelle. Sie ist gut geeignet, um auf DIN-A4-Seiten ausgedruckt zu werden, Pandas oder ein Visualisierungstool wie Datawrapper ist damit jedoch überfordert."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3. In pandas einlesen"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Versuche mal die Tabelle per read_csv in Pandas einzulesen. Denke daran, dass du pandas erst einmal importieren musst."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv(\"./data/61511-01-03-4.csv\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "\n",
    "\n",
    "Das wird nicht einfach, aber es geht. Allerdings musst du pandas an vielen Stellen auf die Sprünge helfen."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('./data/61511-01-03-4.csv', sep=';', encoding='ISO-8859-1', skiprows=7, \n",
    "                 skipfooter=4, engine=\"python\",\n",
    "                 decimal=',',\n",
    "                names=['Jahr', 'AGS', 'Ort', 'Art', 'Einheit', 'Insgesamt', 'baureifes Land'],\n",
    "                dtype={'AGS': 'str'})"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Hier kommt die Schritt für Schritt Erklärung:\n",
    "    \n",
    "sep=';' \n",
    "In Deutschland wird anders als in den USA nicht das Komma als Trenner verwendet (das ist ja bereits belegt, weil wir '3,3' statt '3.3' schreiben), sondern der Trenner ist ein Semikolon ';'.\n",
    "\n",
    "encoding='ISO-8859-1'\n",
    "Setzt das zeichenformat auf 'ISO-8859-1', eine andere oft von deutschen Behörden genutzte Variante ist 'latin-1'. Welches verwendet wurde, weiß man vorher nicht. Deshalb müsst ihr die durchprobieren, falls utf-8 nicht geht. \n",
    "\n",
    "skiprows=7\n",
    "Überspringt den verschachtelten Tabellenkopf. Wie viele Zeilen du überspringen musst, ist von .csv zu .csv unterschiedlich. Auch hier hilft nur ausprobieren.\n",
    "\n",
    "skipfooter=4, engine=\"python\"\n",
    "Skipfooter lässt Zeilen unten weg, die nicht zur Tabelle gehören. Diese Funktion erfordert die Angabe engine=\"python\", sonst gibt es eine Fehlermeldung.\n",
    "\n",
    "decimal=','\n",
    "Gibt an, dass Python ',' als '.' bei Kommazahlen interpretieren soll: '3.2' statt '3.3'\n",
    "\n",
    "Damit lässt sich die Tabelle bereits einlesen. Hilfreich sind diese noch diese beiden Parameter:\n",
    "\n",
    "names=['Jahr', 'AGS', 'Ort', 'Art', 'Einheit', 'Insgesamt', 'baureifes Land']\n",
    "Gibt an, wie die Spalten heißen sollen\n",
    "\n",
    "dtype={'AGS': 'str'}\n",
    "Gibt schon beim einlesen an, dass der AGS als String eingelesen werden soll. Wenn der als Zahl erkannt wird, dann geht die führende Null verloren.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3. Entscheiden, was visualisiert werden soll"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Um eine Flächenwert-Stufen-Karte (Choroplethenkarte) zu erstellen, musst du zwei Entscheidungen treffen:\n",
    "\n",
    "- Welche regionale Ebene möchtest du darstellen? In diesem Fall möchten wir Kreise in Nordrhein-Westfalen zeigen.\n",
    "- Nach welchem Merkmal soll die Karte eingefärbt werden? Um Vergleichbarkeit herzustellen, möchten wir die Kreise anhand des durchschnittlichen Kaufwert je qm einfärben."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4. Filtern auf 'durchschnittlicher Kaufwert je qm' "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df[df['Art'] == 'Durchschnittlicher Kaufwert je qm']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 5. Filtern nach dem Allgemeinen Gemeindeschlüssel, AGS"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Der amtliche Gemeindeschlüssel (AGS) ist eigentlich eine achtstellige Zahl, die alle Städte und politisch eigenständigen Gemeinden in Deutschland eindeutig identifiziert.\n",
    "In unserer Tabelle haben wir Daten bis runter auf Kreisebene, deshalb sind die ersten fünf Stellen angegeben.\n",
    "Wir interessieren uns nur für NRW, dessen Gemeindeschlüssel beginnen immer mit 05.\n",
    "\n",
    "[Hier wird der AGS interaktiv erklärt](https://datengui.de/statistik-erklaert/ags)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df[df.AGS.str.startswith('05')]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Leider haben wir in der Tabelle gemischte Werte für das gesamte Bundesland (AGS: 05), für die Regierungsbezirke (AGS zum Beispiel: 051) und für die Kreise (AGS zum Beispiel: 05111).\n",
    "So können wir die Daten nicht in Datawrapper packen, der erwartet auf einer Kreis-Karte nur Landkreise. \n",
    "Deshalb brauchen wir einen Trick, um alle Zeilen rauszufiltern, bei denen der AGS weniger als 5 Stellen hat:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ein Weg ist für jeden Wert in der Spalte AGS zu gucken, ob die Länge des Strings größer als 3 ist. Erinnert ihr euch an die len('penny) Funktion?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def check_if_larger_than_3(x):\n",
    "    if len(x) > 3:\n",
    "        return True\n",
    "    else:\n",
    "        return False"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Diese Funktion müssen wir dann auf alle Werte in der Spalte AGS anwenden. Dort wird dann entweder 'False' oder 'True' ausgegeben."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.AGS.apply(check_if_larger_than_3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Pandas kann eine solche Funktion nutzen, um den Dataframe zu filtern: "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df[df.AGS.apply(check_if_larger_than_3)].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Um Schreibarbeit zu sparen, nutzt man in der Datenanalyse einen kürzeren Weg, um die Funktion zu definiieren. Dann sieht das Ganze so aus:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df[df['AGS'].apply(lambda x: len(x)>3)]\n",
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Das sieht schon ganz gut aus.\n",
    "Aber ist dir Aachen aufgefallen?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df[df.Ort.str.contains('Aachen')]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Aus Gründen wird Aachen in der Regionalstatistik oft mehrfach angegeben.\n",
    "Wir filtern die kreisfreie Stadt und den Kreis Aachen raus."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df[(df.AGS != '05354') & (df.AGS != '05334002') ]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 6. Spalten auswählen"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Wir empfehlen, nur die wirklich notwendigen Spalten in Datwrapper zu kopieren. Deshalb nicht nötige Spalten weglassen:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = df[['AGS', 'Ort', 'baureifes Land']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 7. Daten in die Zwischenablage kopieren"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Statt die Daten als .csv abzuspeichern, kannst du sie auch in die Zwischenablage kopieren (wie mit STRG-C) und in Datawrapper per STRG-V einfügen. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_clipboard()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 8. Baue deine Karte\n",
    "- In Datawrapper wählst du NRW Landkreise als neue Karte aus\n",
    "- fügst dann die Daten ein und wählst die entsprechenden Spalten aus (AGS und Wert). AGS steht für 'amtlicher Gemeindeschlüssel'. Datawrapper nutzt diese Gemeindekennziffer, um Daten und Gebiete eindeutig zuzuordnen.\n",
    "- Danach kannst du die Karte beschriften und deine Datenquelle angeben und die Karte mit Tooltips, Legende etc. nach deinen Wünschen gestalten.\n",
    "- Am Schluss auf 'Veröffentlichen' klicken."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Prima!\n",
    "\n",
    "Auf zum nächsten Datenformat:\n",
    "    \n",
    "**[>> Json-Notebook](05_json.ipynb)**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}