New Ideas 新點子

發表文章

目前顯示的是有「Python」標籤的文章

提高程式碼品質 | 利用 Python Pre-commit 自動化檢測

- 1月 25, 2020

為了提高之後協作專案的程式碼品質，這兩天在研究如何在 commit 前先自動檢查一些 coding style 或 syntax error，這次會分享運用 git hooks、python 的 pre-commit framework 來自動化檢查的執行步驟：一、安裝 Pre-commit 使用 pip 安裝： pip install pre-commit 二、撰寫 pre-commit 設定檔可參考以下寫法，其中 hooks 的 id 可以從此處查找選用。我選擇的有： 1. trailing-whitespace : 去除尾端的空白格 2. check-json：檢查所有 json 檔案格式 3. flake8 ：執行 flake8 檢查 coding style 4. detect-private-key：檢查檔案中是否存在 private key 三、git commit 後即可自動檢查設置完成後，每當執行 commit 指令，就會自動檢查所選的項目，下圖可看到通過就會呈現 Passed d ，沒通過就會出現 Failed 及錯誤訊息。總結透過簡單設置 pre-commit，希望在之後的協作開發專案上，能夠增加程式碼的質量，並且幫助 Code review 時不必再額外花時間檢查這些基本問題，更專注在邏輯上。參考資料用 pre-commit 提升程式碼品質 pre-commit [筆記] TreeHouse — Write Better Python 如果喜歡我的文章，想隨時收到最新行銷、技術分享，歡迎按 fb 粉專讚或加入 LINE 官方帳號，接收最新文章通知

閱讀完整內容

使用 docker 部署 Python Flask | 心得分享

- 1月 19, 2020

上篇畢業學分計算工具開發心得 | side project 的嘗試與迭代有提到近期在做的專案，很高興不久前有找到 2 位學弟妹有興趣來往下做開發。由於他們比較少開發經驗，也促使我開始思考怎麼做能幫助他們開發更順暢。目前想到了以下三點會優先執行： 1. 快速建置開發環境 2. 寫文件 3. 計算邏輯的模組化這次文章想分享這次為了加速建置開發環境，研究了用 docker 來安裝 python、相關套件、以及啟動 Flask API：一、安裝 docker 可以直接參考 docker 文件來進行安裝，就不多贅述。二、建立 requirements.txt 至 Flask 專案底下新增 requirements.txt 檔案，用來管理需要安裝的套件。 Flask==1.0.2 gunicorn==19.5.0 gevent==1.4.0 三、建立 Dockerfile 一樣在 Flask 專案底下新增 Dockerfile ( 不需有後綴檔名 )，稍稍說明一下他會做哪些事情： FROM python:3.6 MAINTAINER alansyue b123105@gmail.com COPY ./requirements.txt /app/requirements.txt WORKDIR /app RUN pip install -r requirements.txt COPY . /app CMD ["gunicorn", "-k", "gevent", "-b", "0.0.0.0:9000", "app:app"] 1. FROM python:3.6 ：使用 python 這個 image 2. COPY ./requirements.txt /app/requirements.txt : 複製 requirements.txt 檔案 3. RUN pip install -r requirements.txt: 安裝 requirements.txt 裡面的套件 4. 最後用 gunicorn...

閱讀完整內容

3 步驟獲取Google Play 中APP數據 - Python 爬蟲

- 11月 08, 2019

這是我利用 Python、Selenium 去獲取 Google play store 上 APP 資訊，目前想到的使用情境是可以分析一些使用者反饋，與大家分享是如何實作～圖片來源： flickr 本文重點結論： 1. 利用 Python、Selenium 獲取 Google play store 上 APP 資訊 2. 可針對 APP 做用戶反饋調查 ( 目前想到的 ) 3. 附上程式碼：https://github.com/AlanSyue/google-play-crawler ※ 專案 forked from ranjeet867/google-play-crawler

閱讀完整內容

自動將 Blogger 文章發佈到 facebook 粉絲專頁（上）

- 11月 02, 2019

超實用自動化工具！如何用 Python 來實現將 Blogger 的文章自動發佈到粉絲專頁，就不用自己動手，省時又省力，非常的方便！最近開始將多數文章經營在 Blogger 內，但在初期 SEO 沒做好，所以流量一直都不高，於是我開始思考是不是要透過一些社群媒體的渠道來導流，於是我開始整理一個 facebook 粉絲專頁來使用。碰到了一些問題在我開始把文章連結加上追蹤碼，想一下貼文的文案，貼文縮圖呈現等 ...，卻忽然想到，該不會我剩下的十幾篇文章都要重複上面的流程吧？如果之後每寫一篇文章不就都要做一次。身為一位工程師實在是很討厭重複性的工作，於是就萌生出：那就給程式做吧！這次的文章我想採用上、下兩集做呈現，上集想分享如何設計機制，下集會著重在程式碼的實踐。第一步、文章內容規格化在開始寫程式碼前，我看了一下前面幾篇文章規格都不盡相同，有些有首圖、有些沒有；有些有標籤、有些沒有。還有一個問題是：如果我想自動產生貼文內容，那我要怎麼取內容，而且以行銷的角度，我會希望貼文內容是可以客製化，不會是固定的文案或只抓文章前面幾段的內容。於是我開始整理了以下文章規格： 1. 文章必須有首圖（讓 Blogger 和 facebook 抓來當縮圖 ) 2. 文章前面插入一段 html 代碼，是白色且無大小的文字，我會在上面寫下希望在 facebook 貼文呈現的內容 3. 定義文章連結格式，到時候加 utm 追蹤，在 GA 查看數據時增加易讀性第二步、使用 Blogger API Google 有提供 Blogger 的 API ，於是我便利用 Blogger API 去進行以下的步驟： 1. 撈出目前 Blogger 所有文章 id 2. 比對靜態的 json 檔案 ( 用來儲存已經發過的文章 id )，並篩選出沒在檔案的 id 3. 發到 facebook 粉絲團後，將這些 id 存到 json 檔案第三步、使用 facebook API 最後一步就是使用 facebook 提供可以操作粉絲專頁發文的 API，在 Blogger API 撈出文章id 的同時，也會有文章標題、文章內容、文章網址 ... 等資訊。於是我便利用這些內容產出以下內容： 1. 貼文...

閱讀完整內容

【PTT爬蟲練習】找藝文票券出售，直接抓下來看吧 - 以 Drama - Ticket 版為例

- 3月 24, 2018

前陣子因為工作上的需求，我開始研究該如何爬取 PTT 上的資訊。最近剛好想找有沒有人販售我想看場次的票，因此就用爬取 Drama — Ticket 版來跟大家分享一下簡短的練習心得。 ( 圖片來源： PTTChrome ) 身為一位資深的鄉民，每天掛在 PTT 上是非常正常的，就算地震來襲，也一定要先登入八卦版，看看是不是真的地震，還是被自己抖腳嚇到。而前陣子因為工作上的需求，我開始研究該如何爬取 PTT 上的資訊。最近剛好想找有沒有人販售我想看場次的票，因此就用爬取 Drama — Ticket 版來跟大家分享一下簡短的練習心得。

閱讀完整內容

【14天解完新手村任務】我的爬蟲初心者心得

- 10月 04, 2017

因為興趣使然，學習用 Python 寫爬蟲，趁機會紀錄學習的心得！ (圖片來源： wikimedia.org ) Hi，大家好，最近因為興趣使然，開始學習用 Python 寫爬蟲。前幾個禮拜，終於成功寫出一個爬蟲程式抓到所需的資料，也應用在工作上，縮短了每個月需耗費二十分鐘的工作事項。 Python 在網路上的學習資源非常多，其實不用太害怕自己沒有程式背景。先說說我的背景好了，我大學是讀醫務管理學系(跟程式沒半點關係)，目前工作內容接觸到的是數位廣告投放、GA數據追蹤設定及分析，還有一些大大小小的專案企劃(還是跟程式沒半點關係)。連我都可以寫出簡單的爬蟲程式，相信許多人也都可以輕鬆辦到的XD 下面會分享這14天的學習歷程與心得，有興趣的人可以一起學習交流😁

閱讀完整內容

搜尋此網誌

New Ideas 新點子

發表文章

精選文章

2021 年 1 月熱門電子書推薦 | 精選書籍推薦

提高程式碼品質 | 利用 Python Pre-commit 自動化檢測

使用 docker 部署 Python Flask | 心得分享

3 步驟獲取Google Play 中APP數據 - Python 爬蟲

自動將 Blogger 文章發佈到 facebook 粉絲專頁（上）

【PTT爬蟲練習】找藝文票券出售，直接抓下來看吧 - 以 Drama - Ticket 版為例

【14天解完新手村任務】我的爬蟲初心者心得