Airflow部署流程與超實用功能介紹Airflow系列文章，都是使用1.10.12版本，然而在筆者撰寫文章時，Airflow版本已經升級為2.0，許多指令、用法與1.X版本已大相逕庭，請讀者閱讀本文時，務必安裝正確的Airflow版本(1.10.12)。Apr 13, 2021Apr 13, 2021
Airflow 取代Crontab與Celery完成定時PTT熱門文章爬蟲為了實現排程任務，例如定時爬蟲、定時統計數據或是定時請求第三方開源API數據等，Python開發人員能夠使用Linux自帶的Crontab工具進行開發，但若遇到任務失敗，由於缺乏可視化頁面，任務管理相當不方便；至於Celery…Apr 12, 2021Apr 12, 2021
使用uWSGI、Nginx與Docker Compose部署Python Web Application(Flask, Django) — 番外篇上一個章節，說明了如何透過Docker Compose部署Python的Web Application，讀者可以點擊這裡。…Apr 7, 2021Apr 7, 2021
Django + Elasticsearch 實現餐廳搜索Elasticsearch是目前廣泛應用的分散式全文搜尋引擎，它是NoSQL數據庫的一種，Elasticsearch的資料都是以JSON形式進行存取，並且透過Replica與 Shard…Apr 7, 20211Apr 7, 20211
使用uWSGI、Nginx與Docker Compose部署Python Web Application(Flask, Django) — 最終章上一個章節，已經說明了關於uWSGI與Nginx的參數配置，可以參考這裡。本節我們將透過Docker Compose來進行Python的Web Application的最終部署，由於篇幅的關係，關於Docker與Docker…Apr 1, 2021Apr 1, 2021
使用uWSGI、Nginx與Docker Compose部署Python Web Application(Flask, Django)—上集在Python的Web框架中，我們經常以python manage.py runserver來啟動Flask或Django的專案。然而，在生產環境中，程序的部署推薦使用Gunicorn或uWSGI，來處理HTTP的動態請求。Apr 1, 2021Apr 1, 2021
運用緩存優化後端性能 — Flask-cache之使用在互聯網蓬勃發展的時代，相信大多數讀者都會碰到以下問題：前端等待後端發送數據的時間過長，除了造成用戶體驗不佳外，也會減少用戶訪問網站的意願，同時降低用戶的黏著度，以及增加用戶的脫落率；上述問題更是降低用戶轉換率、變現率的主要推手，意味著公司營利將受到嚴峻的考驗。Mar 31, 2021Mar 31, 2021
PySpark — 串接MySQL、HBase、Elasticsearch與MongoDB上一節已詳細說明PySpark的安裝與重要的概念，請參見這裡，這章則會著重介紹PySpark如何串接各式各樣數據庫，包含MySQL、MongoDB、Elasticsearch與HBase。Mar 29, 2021Mar 29, 2021
與PySpark的邂逅—資料工程師必備能力身為一名資料工程師，想必大家對於Python的Pandas套件相當熟悉，用其處理各式各樣的專案需求，通常公司也會配備單台設備規格較佳的虛擬機，供資料工程師處理操作大量的數據。Mar 29, 2021Mar 29, 2021
