[deleted post on] d3 visualisations of the GDELT data

I accidentally deleted my post on visualising the GDELT data using d3, and because it was really fiddly to make blogger display it properly in the first place, I won't reupload it. Instead here is the intro along with the RMD file (compile it in R using knitr). With any luck, running the code will generate a nice d3 visualisation where you can click shiny buttons to make data appear or disappear at will. I have not maintained this script since the early days of GDELT, so there's every likelihood it will need some tinkering to work with the latest data. 

[start of deleted post]
Below I take the example of the GDELT data to demonstrate how Python can very quickly slice data into manageable chunks, which in turn can be formatted with R and visualised using rCharts to create interactive d3 visualisations. I don't think I present anything new here, but rather give a quick demo of how easy it can be to peek into relatively big data. Regarding GDELT specifically, I've included a quick-fix for importing the details of the event-codes into the data, which helps clarify some specifics. Some users of the GDELT data have apparently found it a bit impenetrable, a bit dense, because of the sheer quantity of data. With any luck this post should lower this barrier to getting started with GDELT.

But more generally I utilise the rCharts package which draws on d3 to make interactive charts. This makes getting an overview very much easier, as irrelevant event categories can easily be hidden. The workflow below is much more efficient than it would be if the whole process was done in just one language. Timed on my old laptop the 3.3 million events were filtered and made interactive in about 30 seconds.

2 comments:

  1. KARNA RASA HATI YANG GEMBIRA BERKAT BANTUAN AKI SOLEH
    MAKANYA SENGAJA NAMA BELIAU SAYA CANTUNKAN DI INTERNET !!!

    assalamualaikum wr, wb, saya IBU PUSPITA WATI saya Mengucapkan banyak2
    Terima kasih kepada: AKI SOLEH
    atas nomor togelnya yang kemarin AKI berikan "4D"
    alhamdulillah ternyata itu benar2 tembus AKI
    dan berkat bantuan AKI SOLEH saya bisa melunasi semua hutan2…
    orang tua saya yang ada di BANK BRI dan bukan hanya itu AKI alhamdulillah,
    sekarang saya sudah bisa bermodal sedikit untuk mencukupi kebutuhan keluarga saya sehari2.
    Itu semua berkat bantuan AKI SOLEH sekali lagi makasih banyak ya, AKI
    yang ingin merubah nasib
    seperti saya...?
    SILAHKAN GABUNG SAMA AKI SOLEH No; { 082-313-336-747 }

    Sebelum Gabung Sama AKI Baca Duluh Kata2 Yang Dibawah Ini
    Apakah anda termasuk dalam kategori di bawah ini...!!
    1: Di kejar2 tagihan hutang..
    2: Selaluh kalah dalam bermain togel
    3: Barang berharga sudah
    terjual buat judi togel..
    4: Sudah kemana2 tapi tidak
    menghasilkan, solusi yang tepat..!
    5: Sudah banyak dukun ditempati minta angka ritual blom dapat juga,
    satu jalan menyelesaikan masalah anda..
    Dijamin anda akan berhasil
    silahkan buktikan sendiri
    Atau Chat/Tlpn di WhatsApp (WA)
    No WA Aki : 082313336747

    TERIMA KASIH YANG PUNYA
    ROOM ATAS TUMPANGANYA SALAM KOMPAK SELALU
    "KLIK DISINI BOCORAN TOGEL SGP HK SDY DAN DLL"

    ReplyDelete
    Replies
    1. KARNA RASA HATI YANG GEMBIRA BERKAT BANTUAN AKI SOLEH
      MAKANYA SENGAJA NAMA BELIAU SAYA CANTUNKAN DI INTERNET !!!

      assalamualaikum wr, wb, saya IBU PUSPITA WATI saya Mengucapkan banyak2
      Terima kasih kepada: AKI SOLEH
      atas nomor togelnya yang kemarin AKI berikan "4D"
      alhamdulillah ternyata itu benar2 tembus AKI
      dan berkat bantuan AKI SOLEH saya bisa melunasi semua hutan2…
      orang tua saya yang ada di BANK BRI dan bukan hanya itu AKI alhamdulillah,
      sekarang saya sudah bisa bermodal sedikit untuk mencukupi kebutuhan keluarga saya sehari2.
      Itu semua berkat bantuan AKI SOLEH sekali lagi makasih banyak ya, AKI
      yang ingin merubah nasib
      seperti saya...?
      SILAHKAN GABUNG SAMA AKI SOLEH No; { 082-313-336-747 }

      Sebelum Gabung Sama AKI Baca Duluh Kata2 Yang Dibawah Ini
      Apakah anda termasuk dalam kategori di bawah ini...!!
      1: Di kejar2 tagihan hutang..
      2: Selaluh kalah dalam bermain togel
      3: Barang berharga sudah
      terjual buat judi togel..
      4: Sudah kemana2 tapi tidak
      menghasilkan, solusi yang tepat..!
      5: Sudah banyak dukun ditempati minta angka ritual blom dapat juga,
      satu jalan menyelesaikan masalah anda..
      Dijamin anda akan berhasil
      silahkan buktikan sendiri
      Atau Chat/Tlpn di WhatsApp (WA)
      No WA Aki : 082313336747

      TERIMA KASIH YANG PUNYA
      ROOM ATAS TUMPANGANYA SALAM KOMPAK SELALU
      "KLIK DISINI BOCORAN TOGEL SGP HK SDY DAN DLL"

      Delete