No More Codes

去年氣象局網頁改版為響應式網頁後, 這篇爬蟲已經過期, 一直沒時間更新, 這次使用 python + selenium + beautifulsoup, 使用 webdriver之chromedriver, 讓chrome選擇UI設定後, 從網頁內容爬取資料. 程式先將每個月的彙整表拉出來, 因為新版彙整表資訊不完整, 缺少經緯度等資料, 所以須開啟每一個地震的詳細資料頁, 重新爬一次

最近想要下載整批的youtube影片, 有些是教學系列, 有些是電影戲劇, 用了一些工具程式, 總有些不太方便, 有的似乎因為youtube網頁有多種形式, 也不是每種都能使用, 研究了一些 youtube-dl 的使用方法, 配合python, 然後寫了一個暴力抽取 url 的函數, 用來抽取 youtube 網頁的影片來源, 雖然可能重複抽取, 不過因為 youtube-dl 會自動判斷是否已經下載, 所以也還算可以用. 完整程式在這裡, 有幾種功能:

• 單一檔案下載: 呼叫 download_video(download_url, destFileFolder), 給影片來源 download_url 及儲存目錄 destFileFolde , 例如 main() 裡面的這行:

tenserflow 2版之後有許多功能已經跟 v1不相容, 幸好 v2 包含了 v1 的方法, 只是改了類別名稱, 如果原有 v1 的程式碼想要在 v2 環境使用, 只要照以下 import 方式就可以繼續使用原 v1 程式碼:

咖啡豆辨識, 先設計打光場景, 背景用單色, 先用HSV色彩過濾得到一個初步遮罩, 再用 morphology處理遮罩, 把遮罩內的洞補起來, 並且縮小邊緣, 以獲得完全不含背景色的圖片

最近熱門的藥局領口罩, 有公開的CSV可以下載, 用python簡單就可抓取了, 觀察了一下資料,更新速度還蠻快的, 但是有住址而無GPS座標, 如果要用地圖, 需要一個轉換, 一次轉換那麼多點要花很多錢, 最好是用cache的方式, 有抓到就先存起來, 要查詢時先去cache找, 沒有再去查詢.

https://github.com/googlemaps/google-maps-services-python 有個 python 的 google map API, 試了一下還可以, 但是geocode服務找到的GPS座標, 跟直接用瀏覽器在 google map 找的座標有點誤差, 不知原因為何? 這個 package, 如果要顯示中文, 要自己加 language='zh-TW', 以下是原範例改寫的例子:

接續前一篇 [AI] keras-yolo3 測試 這篇說明如何連接具有 onvif 協定之 ipcam.

要連接 ipcam 首先要找到連接的 uri，如果手冊沒有，可以先下載 ONVIF Device Manager，先用瀏覽器登入 ipcam 後找到 port 設定，然後手動方式將 ipcam 網址加入 ONVIF Device Manager 的裝置列表，輸入帳號密碼，然後手動連線，點選中間欄位的 Live Video, 影像串流就會顯示在右方窗格，下方即可看到 uri， 例如:

YOLO (You Only Look Once) 是關於物件偵測的類神經網路演算法，作者 Joseph Redmon 以 darknet 架構實作，輕量、依賴少、演算法高效率，在工業應用領域很有價值，例如行人偵測、工業影像偵測等等。官網寫的非常詳盡，照著操作便能完成 Yolo 初步的 detection 和 training，但這裡只測試另一款使用 keras 架構實作的 keras-yolo3 的操作步驟。

操作步驟:

根據中央極限定理: 大量相互獨立隨機變數的均值經適當標準後為常態分佈。RMT不論有無發生地震均會不斷一直計算, 以目前觀察到的Mw為例, 平時多在3.5以下, 當遠方地震傳來時, 經驗上常看到Mw>4的現象. 假設每次解出的Mw是一個隨機變數Xi, 那麼:

X=X1+X2+X3+....

這篇已經過期失效, 新版的在這裡

氣象局網站的 地震活動彙整 列表, 檢視網頁內容, 真正資料網頁連結為 https://scweb.cwb.gov.tw/Page.aspx/?ItemId=20&loc=tw&adv=1, 因為是ASP網頁, 所以需先取出ASP的傳遞參數, 資料表格之 class 為 datalist4, 使用 BeautifulSoup 即可取出表格內容

為了分析地震地點的地理名稱, 使用Python語言, 從USGS下載地震資料存成文字檔. 因 USGS 使用逗點作為分隔, 因此這裡使用 $ 錢號來做輸出資料區隔, 以避免資料混淆, 亦可匯入 excel 進行整理. 輸出資料有兩個欄位, 第一個是原始地震資料來源, 第二個是擷取的地點名稱, 打算做連續地點關聯性分析, 以及加上自動翻譯為中文, 作為資料與動畫分析時自動匯入使用

去年5月證交所更換網頁, 舊版程式 已經無法使用,  因此改寫部分程式碼, 要注意的是上市部分現在改用西元年, 但是如果當日(例如星期日)沒有資料, 會傳會最近的資料, 因此存檔時務必注意日期是否正確, 不可在無開市日抓資料, 上櫃則不受影響, 無開市日期會傳回空資料, 模組gstock.py與主程式改版如下:

安裝mysql python connector:

pip install pymysql

這個程式從每日成交資訊讀取股市代號, 然後從yahoo下載公司基本資料，存成CSV檔，例如1101台泥：https://tw.stock.yahoo.com/d/s/company_1101.html

附註：ETF、權證、特別股等，沒有公司基本資料可下載