Access Public Blockchain Ethereum menggunakan Google Cloud – Google Big Query dan Google Datastudio

Assalamualaikum wbt,

Mengakses data blockchain ada satu perkara yang mencabar. Kebiasaannya penyelidik menggguna data yang diekstrak melalui kaedah ETL (Extract, Transfer, load) melalui library python yang dibangunkan oleh medvedev (https://github.com/blockchain-etl).Pendekatan ini menggunakan akses ke Blockchain Explorer (Etherscan.io) melalui API yang disediakan. Cuma ada limitasi pada akses untuk 10,000 rekod sahaja pada satu2 masa.

Oleh yang demikian, atas permintaan akses ke data public blockchain, pihak  Google telah menjadikan data Ethereum sebagai public data. Justeru ini, dataset ini boleh diakses di google big query secara pay per use.

Saya kongsikan tutorial bagaimana google bigquery mengakses data blockchain Ethereum dan menggunakan bahasa SQL untuk query data.

1. Akaun Google Cloud yang aktif

Untuk mengakses google bigquery, anda perlu mempunyai akaun google cloud sama ada secara subscription atau free prepaid ($300). Anda boleh subscribe secara percuma dengan prepaid $300 bagi akaun google baharu.

2. Akses ke cloud.google.com

https://console.cloud.google.com/

dan pilih menu ‘Big Query’ dan paparan adalah seperti di bawah :

3.Mengakses Dataset Ethereum

Di ruang carian explorer, masukkan keyword ‘Ether’ atau nama penuh ‘Ethereum’. Dua public dataset akan dipaparkan iaitu crypto_ethereum dan crypto_ethereum_classic. 

Dalam tutorial ini kita menggunakan dataset crypto_ethereum.

Struktur data Ethereum yang juga digelar table2 adalah terdiri daripada 9 assets iaitu  balances, blocks, contracts, logs, sessions, token_tranfers, tokens, traces dan transactions.

4.Mengakses Data 

Contohnya, saya ingin menglibat data di dalam struktur data (tables) transaction. Anda perlu klik pada table ini dan editor sql akan dipaparkan seperti di bawah :

informasi atau skema dipaparkan.

Klik menu ‘query’ untuk memasukkan ruang editor.

default sql dipaparkan dan anda boleh edit sql ini dengan meletakkan kolum yang ingin dipaparkan serta bilangan rekod.

Tekan butang ‘run’.

Paparan rekod disenaraikan seperti di atas.Anda mengeksport data ini di dalam bentuk csv dan format json. Berdasarkan data ini anda boleh membuat analisa untuk membangunkan model Machine Learning dan Visual menggunakan Google Data Studio.

5.Visualisasi Google Datastudio

Berdasarkan data yang dijana oleh query dari big data query, data ini bole divisualkan menggunakan google data studio atau tools visual yang lain seperti power bi.

Klik pada ‘explore data’ dan pilih ‘explore with data studio.

Paparan analitik di Google Datastudio

 

Sekian.Selamat Mencuba

Terima Kasih.