Cara Install CKAN untuk Open Data Portal di Ubuntu 20.04

Comprehensive Knowledge Archive Network (CKAN) adalah perangkat lunak open source untuk portal open data, CMS yang dapat membantu kita dalam mengelola dan menerbitkan sekumpulan data. CKAN digunakan oleh pemerintah pusat dan daerah, lembaga penelitian, dan organisasi lain untuk mempublikasikan data.

Contoh pemakaian di Indonesia yaitu Satu Data Indonesia (SDI) yang merupakan kebijakan tata kelola data pemerintah dengan tujuan untuk menciptakan data berkualitas, mudah diakses, dan dapat dibagipakaikan antar instansi pusat dan daerah. Kebijakan SDI ini tertuang dalam Peraturan Presiden No. 39 Tahun 2019 tentang Satu Data Indonesia. Melalu SDI, seluruh data pemerintah dan data instansi lain yang terkait dapat bermuara di Portal Satu Data Indonesia (data.go.id). Contoh pemerintah daerah yang memiliki portal open data yaitu Open Data Jakarta, Open Data Bandung, dan Open Data Kalimantan Barat.

*Tech Stack*

CKAN dikembangkan dengan menggunakan bahasa pemrograman Python sebagai backend, JavaScript sebagai frontend, database PostgreSQL dan search engine Solr. CKAN memungkinkan untuk ditambahkan ekstensi atau fitur tambahan karena memakai arsitektur modular. Selain itu CKAN juga memiliki fitur API.

*System Requirements*

-Hardware Requirements-

*Untuk portal dengan skala nasional dengan trafik tinggi:*

· 2 server dengan RAM 8GB. Satu server untuk web dan satunya lagi untuk database/Solr · Storage 160GB. Web server bisa saja lebih besar, sesuai kebutuhan, seberapa banyak data yang ingin disimpan · Quad core processor. Lebih cepat lebih baik

*Untuk portal level daerah dengan trafik lebih rendah:*

· 2 server dengan RAM 2GB · Storage 80GB · Dual core processor

/Web dan database dapat digabungkan dalam satu server yang sama, tetapi CKAN merekomendasikan memisahkannya demi alasan keamanan./

-Software Requirements-

*Operating system* Direkomendasikan menggunakan Ubuntu 16.04 64bit, CKAN tersedia dalam paket .deb. CKAN juga sudah diuji di CentOS dan distribusi Linux utama lainnya.

*Web server*

· Apache · Nginx, untuk https dan caching · Python 2.7.x

*Database server*

· Postgres 9.3+ · Redis · Tomcat/Jetty + Solr

/System requirements di atas berdasarkan hosting guidelines CKAN, update terakhir 20-12-2017./

*Perangkat Tutorial*

Perangkat yang digunakan di tutorial ini:

· VPS 1CPU, RAM 2GB, Disk 50GB · Ubuntu 20.04 · Nginx 1.18 · Python 3.8.5 · Supervisor 4.1.0 · PostgreSQL 12.4 · Redis 5.0.7 · Solr 3.6.2 · CKAN package 2.9.1

Port yang digunakan:

Service Port Used for Nginx 80 Proxy uWSGI 8080 Web server uWSGI 8800 DataPusher Solr/Jetty 8983 Search PostgreSQL 5432 Database Redis 6379 Search

*1. Install CKAN package*

Update Ubuntu.

[INPUT]

1 2 sudo apt update sudo apt upgrade -y

Install package dependencies.

[INPUT]

1 sudo apt install -y libpq5 redis-server nginx supervisor

Download CKAN package.

[INPUT]

1 wget http://packaging.ckan.org/python-ckan_2.9-py3-focal_amd64.deb

Install CKAN package.

[INPUT]

1 sudo dpkg -i python-ckan_2.9-py3-focal_amd64.deb

*2. Install PostgreSQL*

Install PostgreSQL database.

[INPUT]

1 sudo apt install postgresql -y

Cek apakah PostgresSQL terinstall dengan baik dengan cara menampilkan database yang ada.

[INPUT]

1 sudo -u postgres psql -l

Membuat user PostgreSQL dengan nama ckan_default.

[INPUT]

1 sudo -u postgres createuser -S -D -R -P ckan_default

Membuat database PostgreSQL dengan nama ckan_default.

[INPUT]

1 sudo -u postgres createdb -O ckan_default ckan_default -E utf-8

Cek apakah database ckan_default berhasil dibuat.

[INPUT]

1 sudo -u postgres psql -l

Hasilnya.

[INPUT]

1 2 3 4 5 6 7 8 9 10                                  List of databases      Name     |    Owner     | Encoding | Collate |  Ctype  |   Access privileges   ————–+————–+———-+———+———+———————– ckan_default | ckan_default | UTF8     | C.UTF-8 | C.UTF-8 | postgres     | postgres     | UTF8     | C.UTF-8 | C.UTF-8 | template0    | postgres     | UTF8     | C.UTF-8 | C.UTF-8 | =c/postgres          +               |              |          |         |         | postgres=CTc/postgres template1    | postgres     | UTF8     | C.UTF-8 | C.UTF-8 | =c/postgres          +               |              |          |         |         | postgres=CTc/postgres (4 rows)

*3. Install Solr*

Install Solr engine.

[INPUT]

1 sudo apt install solr-tomcat -y

Buka file konfigurasi Tomcat.

[INPUT]

1 sudo nano /etc/tomcat9/server.xml

Ubah default port Tomcat dari 8080 ke nomor 8983.

[INPUT]

1 Connector port=”8983″ protocol=”HTTP/1.1″

Ganti file default schema.xml dengan symlink ke file CKAN schema yang disertakan di dalam sources.

[INPUT]

1 2 sudo mv /etc/solr/conf/schema.xml /etc/solr/conf/schema.xml.bak sudo ln -s /usr/lib/ckan/default/src/ckan/ckan/config/solr/schema.xml /etc/solr/conf/schema.xml

Restart Solr dengan merestart tomcat.

[INPUT]

1 sudo systemctl restart tomcat9

*4. Konfigurasi CKAN*

Buka file konfigurasi CKAN.

[INPUT]

1 sudo nano /etc/ckan/default/ckan.ini

Aktifkan opsi solr_url dengan menghapus hashtag (#).

[INPUT]

1 solr_url=http://127.0.0.1:8983/solr

URL untuk CKAN site, misalnya memakai subdomain data.defnex.com.

[INPUT]

1 ckan.site_url = http://data.defnex.com

Opsi untuk koneksi ke database PostgreSQL, misalnya username = ckan_default, password = secretpassword, dan database = ckan_default.

[INPUT]

1 sqlalchemy.url = postgresql://ckan_default:secretpassword@localhost/ckan_default

Inisialisasi database CKAN.

[INPUT]

1 sudo ckan db init

Hasilnya.

[INPUT]

1 2 3 4 2020-11-13 07:12:12,813 INFO  [ckan.cli.db] Initialize the Database 2020-11-13 07:12:15,420 INFO  [ckan.model] CKAN database version upgraded: base -> ccd38ad5fced (head) 2020-11-13 07:12:15,420 INFO  [ckan.model] Database initialised Initialising DB: SUCCESS

Restart Supervisor dan cek statusnya.

[INPUT]

1 2 sudo supervisorctl reload sudo supervisorctl status

Hasilnya.

[INPUT]

1 2 3 ckan-datapusher:ckan-datapusher-00   RUNNING   pid 2711, uptime :00:21 ckan-uwsgi:ckan-uwsgi-00             RUNNING   pid 2712, uptime :00:21 ckan-worker:ckan-worker-00           RUNNING   pid 2713, uptime :00:21

Restart Nginx.

[INPUT]

1 sudo systemctl restart nginx

*5. Pengujian*

Uji dengan browse http://localhost atau http://data.defnex.com.

CKAN web frontpage

*6. Install SSL*

Backup file default konfigurasi server block ckan.

[INPUT]

1 2 cd /etc/nginx/sites-available/ sudo cp ckan ckan.bak

Buka file konfigurasi ckan.

[INPUT]

1 sudo nano ckan

Masukkan opsi server_name dan log.

[INPUT]

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 proxy_cache_path /tmp/nginx_cache levels=1:2 keys_zone=cache:30m max_size=250m; proxy_temp_path /tmp/nginx_proxy 1 2;   server { listen 80; server_name data.defnex.com;       client_max_body_size 100M;     location / {         proxy_pass http://127.0.0.1:8080/;         proxy_set_header Host $host;         proxy_cache cache;         proxy_cache_bypass $cookie_auth_tkt;         proxy_no_cache $cookie_auth_tkt;         proxy_cache_valid 30m;         proxy_cache_key $host$scheme$proxy_host$request_uri;         # In emergency comment out line to force caching         # proxy_ignore_headers X-Accel-Expires Expires Cache-Control;     }   access_log /var/log/nginx/data.defnex.com_access.log; error_log /var/log/nginx/data.defnex.com_error.log warn;     }

Tes konfigurasi Nginx.

[INPUT]

1 sudo nginx -t

Restart Nginx.

[INPUT]

1 2 sudo systemctl restart nginx sudo systemctl status nginx

Uji kembali mengakses http://data.defnex.com, apakah tidak ada masalah setelah konfigurasi Nginx diubah.

Install certbot untuk Let’s Encrypt SSL.

[INPUT]

1 2 sudo snap install –classic certbot sudo ln -s /snap/bin/certbot /usr/bin/certbot

Request SSL untuk data.defnex.com.

[INPUT]

1 sudo certbot –nginx -d data.defnex.com

Uji browse https://data.defnex.com.

CKAN dengan protokol https

*7. Membuat sysadmin user*

Gunakan CKAN command line interface untuk membuat sysadmin user pertama kali dan bisa juga untuk membuat test data.

Mengaktifkan virtualenv.

[INPUT]

1 2 . /usr/lib/ckan/default/bin/activate cd /usr/lib/ckan/default/src/ckan

Membuat user baru dengan nama *musa* dan menjadikannya sebagai sysadmin.

[INPUT]

1 ckan -c /etc/ckan/default/ckan.ini sysadmin add musa email=trial@musaamin.web.id name=musa

Hasilnya.

[INPUT]

1 2 3 4 5 6 User “musa” not found Create new user: musa? [Y/n]: y Password : Repeat for confirmation: Successfully created user: musa Added musa as sysadmin

Atau jika ingin menjadikan user yang sudah ada sebagai sysadmin.

[INPUT]

1 ckan -c /etc/ckan/default/ckan.ini sysadmin add musa

Uji sysadmin user yang baru dibuat dengan login di web CKAN.

CKAN dashboard

*8. Pemakaian Resources*

Mengecek pemakaian resources VPS yang terpakai dengan menggunakan htop.

[INPUT]

1 2 sudo apt install htop -y htop

Resources VPS yang terpakai

Selamat mencoba 🙂

Leave a Reply

Your email address will not be published.