/Intern_diary

work in Network Research Lab in Academia Sinica

2/22

  • 實習心得: 第一天工作 0930~1730

輔翔學長成為我的師父
但他 3/5 要入伍當研替一個月
上午完成爬蟲實作
將開放資料 JSON 文件抓下來並分析
了解專案中參數意義
中餐和謹瑋學長、欣紘學姊吃中飯
欣紘學姊暑假要去荷蘭留學、已婚
謹瑋學長進入實驗室大約半年、之前在陽明念研究所

  • 近期工作目標:(3/1號前完成) 將感測器的數據上傳網路並抓取下來
    再做分析結果

  • 學習點:

  1. Python 爬蟲
  2. JSON 文件格式
  3. Python基本程式設計
  4. 初淺了解專案架構及程式
  5. Linux 指令要再深入複習
  6. sudo、apt-get (鳥哥)
  7. vi 環境撰寫程式
  8. SHT31 感測器架設
  9. I2C 與樹莓派連接
  10. G5 PM2.5 與樹莓派連接
  11. 麵包板基礎知識
  12. Javascript 基礎程式設計
  13. Think speak 平台認識
  14. GitHub 基礎學習

2/23

  • 實習心得: 0930~1830

上午將 SHT31 sensor 讀取每秒的溫濕度資料的程式完成
並且成功將 data 上傳 thingspeak 的 my channel
中午和大家一起吃一家吐司店當午餐
然後有去刮刮樂店
謹瑋學長刮中五百
很喜歡那裡工作環境
師父對我很好教我很多知識
下午學會 G5 sensor 的讀取程式
也同樣的將 data 上傳 thingspeak 上
但是接下來要用 UART 技術讓 raspberry pi 可以同時接收12台 sensor
不太能了解 pigpio 函式庫的運作
下班後和師父一起用餐聊了很多東西
覺得自己待在那邊一天就很賺
後來他沒讓我請他吃飯

  • 近期工作目標: 搞定 raspberry GPIO 問題讓多個 sensor 接上去
    並且成功讀取資料再上傳 thingspeak

  • 學習點:

  1. SHT31 感測器讀取資料
  2. G5 感測器讀取資料
  3. Git 實際操作並熟練
  4. vi 環境熟練
  5. Python 基本程式設計
  6. Thingspeak 平台上傳實作
  7. UART 技術認識
  8. Raspberry pi 接腳圖的認識

2/26

  • 實習心得: 1030~1900

上午搭計程車花了 320 元用 15 分鐘殺到中研院
路上遇到謹瑋學長他拿著咖啡很悠閒的進去
我真傻
但是還是不要再睡過頭了
把一顆 G5 sensor 用 UART 方式接上
在完成讀資料的 code 解碼完成
中午大家一起吃拉亞
回來後接上第二顆 G5 sensor 並上傳資料完成
但是要讓四台 sensor 每秒上傳 data 之後還要多加點東西
之後師傅開始帶我學 LASS 7688 的基礎知識和初始化作業
他不在的時候我要將四台 sensor 同時接上 並上傳
還要多了解整個 Anysense 專案的 code
要快點再將 LASS 7688 sensor 摸透

  • 近期工作目標: 接上4 個 sensor 同時每秒接收資料
    摸熟專案的 code
    以及學長丟給我的 doc

  • 學習點:

  1. UART 技術實作
  2. 操控 Raspberry pi 的 GPIO
  3. 了解專案硬體設施及軟體大略架構

3/2

  • 實習心得: 1230~1800

開學了
上完演算法就趕來中研院
沒想到師傅還在
下午把整個程式碼修過一遍
發現在供電不足的情況下
會讓感測器讀取資料不完全
所以要補足資料不齊的狀況
使用開發版解決三顆 G3 sensor 供電不足的狀況
之後再自己焊接 USB 線
沒有把國產感測器接上讀取

  • 近期工作目標: 接上三個國產感測器並放到老師實驗室測試兩個禮拜
    學會 multiple threading

  • 學習點:

  1. 解決硬體設施供電不足的情況
  2. 優化程式碼
  3. 焊接 USB 線

3/5

  • 實習心得 0910~1800

今天終於完成感測器的連接及程式碼修訂
第一次在這裡做完一件事工作
對學長也有點交代了
東逸學長今天早上在考駕照前突然來找我
他想教我一些前端網頁的東西
我很開心也很謝謝他介紹給我一些好用的開發工具和網站
希望可以趕快想個目標自己架個網站
師傅今天去當兵了
中午和欣紘學姊和謹瑋學長吃胡適小學對面的麵店
回來遇到 Sachid 一位來自印度的博班學長
跟他打個招呼卻發現自己最近英文實在爛得可以
完全失去與人溝通的能力
英文真的要好好加強了
之後上去找老師架感測器的設備
老師看完覺得我做的太不安全太不專業
所以希望我能跟韻捷學長弄出開發版

  • 近期工作目標: 架出一個網站(之後再加強後端學習)
    和韻捷學長學習開發版的相關知識
    熟練前端網頁設計

  • 學習點:

  1. 認識前端網頁的開發工具
  2. nohup exe & 指令
  3. eagle pcb 知識
  4. 感測器供電問題

3/9

  • 實習心得 1300~1800

下午帶大家的龍角跑去上班
公車上超多人飲料快被擠爆
那天來了新的研助 LEO 學長
也第一次遇見韻捷學長他一開始在忙
叫我自己先載 Sparkfun 的元件 library
他忙完一陣子後大家一起到一間研討室
韻捷學長開始教大家如何使用 eagle
雖然時間很短學的東西很少
但是還是有了一點基本概念
後來老師就來實驗室
他希望我能學會自己印刷一個 pcb
接下來到下班為止我都在樓上實驗室裝 3 台感測器的佈置

  • 近期工作目標: 設計電路板 電學基礎知識

  • 學習點:

  1. eagle 開發軟體認識及操作
  2. python time 模組應用

3/12

  • 實習心得 0850~1800

早上從北投到中研院路程大概一個小時又十五分鐘左右
星期六帶東逸學長和謹瑋學長去貓空泡茶
不錯的體驗和他們互動越來越多了
上午將電路介紹及 eagle 教學影片看完
還是沒什麼長進
接下來把國產感測器的程式碼做最後修訂
開始燒錄剩下兩台 rpi
但由於改版預設有關遠端連線的設定遲遲無法成功登入
慢慢找資料爬文
終於完成今天的工作
星期五要去老師實驗室架設
星期四晚上要去找韻捷學長學習

  • 近期工作目標: 設計電路板 自己構想專題及搜集資料 東逸學長的網站

  • 學習點:

  1. rpi 燒錄
  2. 遠端連線方式
  3. ip查詢套件
  4. VNC 認識
  5. 印製電路版教學影片

3/16

  • 實習心得 1330~2130

中午從政大幫泉恆學姊買麵疙撘來中研院
還是沒搭上679
電路圖昨天就去找韻捷學長完成
回家把 GPIO 接上今天開始要把它印刷出來
做了五片失敗了三片
首先先將設計圖印成黑白,彩色的會失敗
印在描圖紙上,在貼在 pcb 原版上
曝光 90 秒後開始用顯影劑把第一層洗掉
再來是用酸性蝕刻液將 pcb 泡成黃色
接下來對 GPIO 的洞以及插座進行鑽孔
最後將元件焊上電路板韓要測試是否有短路或是斷線問題
一次接上五個 sensor 還是有點吃力
週六回家進行測試,但由於在室內進行實驗,數值變化不大結果不佳
週日將程式優化並將資料轉成 csv 檔
並學習 pandas 與 numpy 等 library 實作

  • 近期工作目標: 實際測試 sensor

  • 學習點:

  1. 電路板印製
  2. python output a file
  3. pandas and numpy
  4. sensor 輸出編碼的程式優化

3/19

  • 實習心得 0830~1800

早上從北投出發花了一個小時又10分鐘抵達
接下來開始將週日寫的程式碼放入 raspberry pi 中
看了有關 CV 值計算上的問題
並對對照組 G5 sensor 程式碼進行更動
增加輸出檔案與時間的功能
但實際測試發現會一堆亂碼不合我所要的資料格式
中午大家又去吃了拉亞,吃到有點小膩了
下午繼續對程式進行更動
請 Rita 學姊幫我借研討室做實驗卻發現那裡沒有網路線
到樓下開始正式對工研院 sensor 進行測試
還是讀出一堆亂碼
發現有三種實驗結果
第一種是亂碼5a9dffffff424dxxxxx
第二種是正常424d00000019fxxxxxx,算出來的 pm2.5 太大
第三種才是最後算出來準確的
猜想會不會是 pcb 板子的問題或是出風口進風口的擺設問題
最後下班前把所有 sensor 帶回家
希望下週能有報告出來

  • 近期工作目標: 將實驗做完,做完資料分析並產出報告

  • 學習點:

  1. python csv
  2. nohup python -u exe & 解決問題

3/22

  • 實習心得 1245~2130

今天終於搭到679去上班
沿途風景很棒,舒適又怡人的午後
對於最近的工作開始感到煩躁,我不是討厭那邊的環境
而是對於手上麻煩的實驗感到倦怠
下週就要交報告了,最重要得資料還沒出來
下午開始就進行程式更動及最後修訂
對於字串解碼跟 GPIO 控制更能有效解決
到快五點左右為了解決之前電路板供電不足的情形
第一次自己刷了新的電路板去解決
但是很不幸的在打洞的步驟慢慢開始發現這次的新板子
在尺寸明顯比上次小,也因此排針上不去
最終失敗結束

  • 近期工作目標: 把實驗 data 產出來

  • 學習點:

  1. 電路板印刷
  2. python Excetion handle

3/25

  • 實習心得 加班 1020~1730

週末和輔翔繼續加班,把板子的問題處理完
但是尺寸不合,最終放棄
使用備案,開始燒錄更多的樹莓派
一個 sensor 配上一個 樹莓派
下載了迅速燒錄的軟體

  • 近期工作目標: 完成實驗

3/26

  • 實習心得 0830~1830

很緊張的一天,只剩一個禮拜就要結案
資料還是出不來,原因出在供電問題及實驗場地是否具備充足的網路線
供電問題在早上一連串的燒錄樹莓派解決完畢
網路線問題最後是採用開機後直接執行 python 程式
中餐大家出去吃,我和輔翔繼續完成工作
嘗試過多種開機後自動執行的方式
最後選擇在 rc.local 中嵌入程式得以執行
接下來就是把 sensor 帶回家做測試
資料分析的程式也有初步的架構和學習

  • 近期工作目標: 完成實驗,資料分析

  • 學習點:

  1. 樹莓派的開機後自動執行
  2. rpi 底層 kernal 的認識

3/29

  • 實習心得 1300~1830

一個禮拜的實驗後,實驗有了好的發展
雖然比預期少了許多實驗的時間
但是總算有資料可以拿來分析
下午開始把資料做整理,然後開始撰寫報告
先是從謹瑋那裏
從資料庫撈出的離實驗場所最近感測器去做分析
除了將他歸類整理
還要處理時間差的問題
缺漏值的部分就要用內插法將他補齊才能做圖

  • 近期工作目標: 完成報告

  • 學習點:

  1. missing data 如何處理
  2. 時間差問題
  3. 更熟練pandas and numpy
  4. matplotlib 深入繪圖
  5. 實驗報告撰寫方式

3/30

  • 實習心得 0900~1800

今天是報告截止的最後一天,整天都在趕報告
除了最基本的折線圖比較
還加入附近實驗室空氣盒子的比較
算出共變異數並分析其一致性
找出 sensor 中有兩個是有問題的裝置
學習如何繪製 scatter plot matrix 以及基本 sklearn lib 的線性回歸
並用 R - square 驗證其正確性
最後再加上耗電問題
以上都是撰寫在報告中的內容
時間稍短但是蠻順利完成,並寄給老師過目

  • 近期工作目標: 工研院案子初次實驗結案

  • 學習點:

  1. 整個資料分析的過程及程式碼撰寫
  2. 共變異數計算
  3. 相關係數計算
  4. 統計檢定
  5. 回歸分析
  6. R - square 驗證回歸之正確性
  7. scatter plot matrix 繪製
  8. 瓦數計算

4/2

  • 實習心得: 0930~1730

早上跟輔祥討論最終報告的內容
並將 rpi 一些初始設定刪除,以便之後他人使用
雖然老師有邀我一同與工研院院方開會
但是星期二的學業實在忙碌,實在抽不開身
只好婉拒,有點可惜,因為這是在中研院完成的案子
並且也是自己親手完成的
下午有點悠閒,看了演算法,做了點筆記
實在了無新意,之後就開始跟輔祥整理實驗室
他稱這項工作為認識基本硬體並整理
我不無他想,很開心很慶幸自己能參與這裡實驗室的計畫
並親手完成一個案子

  • 近期工作目標: 找到新的方向,看是要做專題還是其他的

4/9

  • 實習心得 0830~1830

經過清明連假的充電及整理
開始構思下個步驟的方向
輔祥上次有跟我提過的聊天機器人
我也利用早上時間去了解一些基礎平台架設
但是還是有點摸不著頭緒
開始學習 node.js 的文件及使用方法
還有開始摸熟 javascript 的語法
下午輔祥跟我提到希望我把工研院的系統架得更好
所以繪製新的板子繼續努力的將電路板完成
最終由於板子保固年限的問題,還是宣告失敗
離開前把 atom 編輯器基本設定架好
實際操演過 node.js 的一些模組化
有點迷惘這次的工作方向,因為 chatbot 的案子已經有碩班學長在做了
而且我想加強的定位服務也因為很多 API 限制沒辦法完成
這些都是牽扯到隱私權的問題,所以發展性也滿少的

  • 近期工作目標: 學會 node.js
    javascript,把基本的 chatbot 平台做出來

  • 學習點:

  1. node.js、npm 基礎認識
  2. 學習javascript
  3. atom 編輯器的基本使用和設置
  4. chatbot 平台的基礎設置及認識
  5. LINE API 的創建
  6. 認識 webhook

4/13

  • 實習心得 1250~1730

下午到那邊開始繼續學習node.js 的應用和文件
越來越有心得,使用 atom 也越來越得心應手
接著和輔祥去資服處找老師開會
開完回老師有兩件事交代,也就是工研院的電路板要快點做出來
再來就是不要做 chatbot 改作嵌入式系統之後再加入實驗室已有的 AI 演算法
三點多和泉恆學姊去看銘鋒老師在中研院開的球賽,雖然沒有跟老師
見到面說到話,但是和場下的碩班學長聊了蠻多的
兩人都是已經申請上美國研究所的學長,也多多寒暄了幾句
回來之後便開始對新拿到的開發版做摸索
了解 STM32 系統的開發及程式撰寫
之後還要加緊看些 utensorflow 的文件
晚餐與謹瑋學長吃自助餐,聊到他想離職的事
聊了很多,收穫很多,職場的生活真的就是用密密麻麻的人際關係串連起來的
我也要好好建立自己的人脈網

  • 近期工作目標: 摸熟嵌入式系統(STM32)
    utensor

  • 學習點:

  1. node.js 繼續學習
  2. STM32 的基本介紹及設定
  3. 人際關係的重要性

4/16

  • 實習心得: 0930~1800

早上有點睡過頭,到中研院之後
先是對於 node.js 繼續學習
半小時後,開始繼續對 STM32 開發環境做熟悉
再 mbed 上寫了幾支範例 code ,成功在開發板上操控 LED
一直沒有把 mbed os 好好建置在自己本機中
中午去吃了五號餐館,老實說有點鳥...
工作上的未來目標就是做 AIoT 把 deep learning 放到嵌入是系統上
之後再做邊際運算
下午繼續做一些 sample code 開發
持續在網路上找尋好用 library
以及其他範例,對於操控 GPIO 以及讀資料還是有點生疏
日後要盡快補足缺漏的知識

  • 近期工作目標: 嵌入式系統
    STM32F4 GPIO 控制及讀資料

  • 學習點:

  1. javascript 學習
  2. 嵌入式系統學習
  3. STM32F4 操控 LED
  4. mbed 開發環境
  5. sample code 應用

4/27

  • 實習心得: 1400~1830

考完演算法的期中考,沒吃中飯的跑去中研院實習
拿到輔翔買的新板子,把設計圖改好
再跟東逸聊聊沙奇開發的預測演算法
了解內部參數跟大致架構
接下來在看關於 deep learning 的相關教學
到下班前開始刷電路版,最後實驗還是以失敗宣告結束
失敗原因:指紋印刷在板子上,整片通電
對於研究 edge computing 這件事還是沒什麼進展

  • 近期工作目標: utensor 學習
    STM32F4 熟悉

  • 學習點:

  1. R語言
  2. 實驗室預測模型的架構

4/30

  • 實習心得: 0930~1800

早上有點賴床不想起床
到了中研院後,開始繼續我對於 STM32F4 的研究
看了 mbed 官網上的很多教學,在 online compiler 上面 run 了多支範例 code
試圖架設 mbed os 上自己 local 主機上,但是 mbed os 只支援 python2.7
自己不好控制開發環境,但是 utensor 在 online compiler 不好開發
因此還是需要一個好的開發環境,適合跑 deep learning 還有 支援 mbed os
接近中午時,輔翔接到一通電話,對於週末發生的幾場大火要進行災後測量
所以幫輔翔把 40 台的磚塊更新韌體,及設定網路設定
把空氣盒子的硬體及韌體有更大的了解
中午是謹瑋學長幫忙帶的燉飯當午餐
到了下午裝網路設定的閒暇之餘
開始研讀 tensorflow 的基礎教學
最後是跑了 MNIST 的範例,也對深度學習裡分層的編寫有了認識

  • 近期工作目標: tensorflow 學習
    mbed os 架設

  • 學習點:

  1. mbed os
  2. STM32F4 範例程式編譯及執行
  3. screen
  4. 空氣盒子韌體更新及網路設定
  5. nbed library 使用
  6. MNIST 範例程式執行及了解
  7. tensorflow

5/11

  • 實習心得: 1400~1830

中午又沒搭上直達車來上班
已經是第二次看著他從我眼前離去
韻捷把板子刷好,板子真的是我做過最漂亮的一次,果真的技術高竿
我把該焊的東西都焊上去,最後卻一個大失誤
電源座接孔大小不合,只好使用熱風機,把鎳溶掉
最後又遇到一個問題,電路檢查結果良好,插座也通電
電源器供電良好,卻遲遲收不到電,啟動工研院感測器都失敗收場
最後輔翔認為可能在感測器pin腳上有問題
修好後,可以通電啟動但是 RX 在讀資料時好像還是有問題
在那之後,就在看深度學習的筆記以及 sachit 的演算法

  • 近期工作目標: 實驗
    深度學習

  • 學習點:

  1. 熟練焊接
  2. 電路 debug
  3. tensoerflow 基本預測及模型建構

5/14

  • 實習心得: 0900~1800

早上把工研院實驗的 code review 完,改成 multiple sensor 版本
雖然沒有測試過,但是依照上週測試,感測器資料還是出不來
週末把 mbed os 架好,用了 amazon 的 cloud9 虛擬機
做了手寫字的模型建構,以及 SD card 的處理。
雖然還是沒有成功,但是向前跨出一大步
下午在做 G3 感測器用 STM32F4 讀取資料
熟練用mbed os 做建制專案、編譯出執行檔,以及函式庫的使用
對於 tensorflow 的部分看了蠻多遍的,但是實在沒有太多實作經驗
hybrid model = ANN + ARIMA
因此,專案的模型架構基本上,要去實作時間序列的預測以及倒傳類神經網路

  • 近期工作目標: wifi
    SD card
    tensorflow

  • 學習點:

  1. 虛擬機
  2. STM32F4
  3. mbed os
  4. tensorflow
  5. keras
  6. ANN
  7. ARIMA

6/1

  • 實習心得: 1320~1800

中午和鼎崴助教約在實驗室見面,跟他小聊了一下
之後幫輔翔做了一些磚塊的建置,閱讀一些關於 LSTM 的文件
以及 ARIMA 預測的評估,終於搞懂整個 code ,接下來就是
把 keras 改成 tensorflow 並存起來,晚上很匆忙的瑞恩開會
講了一個多小時,他這週試試 SD card 存檔的部分
而我完成 tensorflow 的建置

  • 近期工作目標: ARIMA model 評估
    tensorflow 模型建置

  • 學習點:

  1. tensorflow
  2. LSTM code
  3. ARIMA code
  4. 模型評估

8/29

  • 實習心得: 0915~1620

退伍後,昨天是回歸報到的一天
上午到下午都在聽和韓國交流的會議
會議後有跟老師討論今後工作的方向
被分配到一份任務
任務內容是將實驗室各項感測器的資料寫進固定的字串中
也就是將資料壓縮進固定 bits 中
做一個簡單加密的功能
當兵兩個月 linkit 的基本操作也都快忘了
現在主要是迅速 trace 完 AnySense 的 code
在寫好壓縮資料的 function 發布給老師

  • 近期工作目標: 完成壓縮資料的 function
    trace 完整個實驗室的 code

  • 學習點:

  1. python 正規表達方式
  2. 多行程、多執行緒
  3. 十進位、二進位、十六進位轉換

8/30

  • 實習心得: 0930~1730

早上把 Anysense 的 code 理解完
也開始著手解析內部的變數
對於多工、多執行緒還是有點一頭霧水
也有看一些 sigfox, loRa 的差別和優缺點
下午把 encoding 和 scaler 的部分完成
把十進位轉成二進位
最後在寫成十六進位的 12 byte 的字串中
但是可能還要多做幾次測試
因為下班前發現在浮點數與整數間的轉換有點誤差
自己的 code 也沒有寫的很乾淨利落
還有待加強

  • 近期工作目標: Debug and clean code

  • 學習點:

  1. sigfox, LoRa 差別
  2. python 字串處理
  3. python 字典使用與排序
  4. 多工、多執行緒基本理解

8/31

  • 實習心得: 0900~1730

今天主要在把昨天完成的加密函式
在寫得更乾淨簡潔
把 code 交案就開始看 django 和 node.js
最近回家有空就看看英文或是 machine learning, deep learning 影片自學

  • 近期工作目標: 自學
    what's APP chatbot

  • 學習點:

  1. 簡潔漂亮的程式碼

9/4

  • 實習心得: 1100~1700

早上搭七點的火車從屏東搭回南港上班
回去後,就繼續工研院感測器的測試和程式撰寫
把 type3 的加密和格式都完成也定義完成
但是設備讀取資料也還是斷斷續續
問題應該出在硬體供電問題,還是老問題
下週要和輔翔去其他地方佈建
如果整套系統沒有問題,就把映像檔燒出來再燒盡另外兩台之中
不然也可以試試 docker 玩一玩
今晚有和瑞恩約好開會時間
最近可能要研究一下他所說得 k8s
或是找到 what's app chatbot api 的使用方法

  • 近期工作目標: what's APP chatbot
    edge computing
    k8s

  • 學習點:

  1. raspberrypi ttyusb
  2. shell script

9/5

  • 實習心得: 0900~1700

今天很早就到實驗室工作
一開始就在把早上聽力的單字整理
之後就在和輔翔討論了一下工研院感測器的問題
多個設備讀資料依舊不穩定
之後要加入多執行緒去解決這個問題
下午開始在研究 docker, k8s 兩種分散式系統的工具
下班時還收到 rpi 上可以裝載 tensorflow 如此令人振奮的消息
明天上班就快點試試
希望能去快速完成研究
另外,whatsapp chatbot 的部分下午做了點功課
除了 whatsapp 沒有開放 api
網路上開源的 framework 也很久沒人維護
版本也沒在更新,bug issue 一堆實在是很難開始 chatbot 的研究

  • 近期工作目標: k8s, docker
    rpi tensorflow
    chatbot
    工研院案子多執行緒

  • 學習點:

  1. docker on rpi
  2. whatsapp framework
  3. k8s

9/6

  • 實習心得: 1030~1730

早上開始就把昨天看到 tensorflow install rpi 的 document 看完
安裝完成後也順利把一些工具放上去
不只花了不少時間,memory 的大小也要注意
之後分散式部署時一定要用 docker pull image 到 dockerhub
好奇性的訓練幾個簡單函數
也有在 rpi docker 上試著燒錄 image 檔出來
下午和瑞恩開了很簡短的語音通話
內容大致上和當兵前相同
對於預測演算法還需要多加簡化
希望能快點作出成果
做了一整天對於工研院設備的問題也沒解決
一直在把 rpi 上的環境做設置

  • 近期工作目標: rpi tensorflow
    工研院案子多執行緒

  • 學習點:

  1. docker on rpi
  2. tensorfklow on rpi
  3. multiple threading

9/7

  • 實習心得: 0920~2230

今天早上媽媽載我來中研院
路途真的有夠遙遠
也一直塞車
以後還是自己乖乖搭捷運比較快
但是還是聊了很多最近的想法
今天早上花了點時間把自己 vim 設定到滿意的版面
也開始著手關於加入多執行緒的程式段落
下午做了很多次測試
還遇到 tab mix space 的問題
真的有夠麻煩,也有夠白痴
還好韻捷一個簡單的關心
告訴我目前癥結的問題和解決方法
整個人腦袋又全部想了一遍
終於
終於
把從三月開始接手的工研院感測器測試案子解決
謝天謝地
繞了好遠,也走了好長的一段路
終於能同時讀取多樣感測器且維持穩定狀態

  • 近期工作目標: rpi tensorflow

  • 學習點:

  1. vimrc
  2. multiple processing
  3. multiple threading
  4. python Serial library

9/10

  • 實習心得: 1400~1730

下午才進實驗室,因為早上跑去看牙齒
今天下大雨還忘記帶傘,還好捷運站有愛心傘
之後就把另外兩組工研院設備焊起來
但是技巧還是很拙劣
還好有韻捷教我一些小訣竅
後來焊起來就很快
焊了很久眼睛開始痠痛
休息了一下
就開始燒錄其他的樹莓派
發現要燒錄出印象檔
要花非常久的時間
我還是把程式碼傳送進去比較快
之後也應該試試看 docker 包裝上傳到 dockerhub
比較好平行化處理

  • 近期工作目標: 邊際運算
    工研院實驗設備

  • 學習點:

  1. 焊接技巧
  2. 燒錄樹莓派

9/11

  • 實習日記: 0900~1800

早上把之前完成的 seq2seq 模型放置到 rpi 上
成功訓練完成
但對內部演算法還不是很熟
成效也不是很好
也許之後要多改變參數或是訓練資料
好消息是時間花得很少
這件事一定可以成功的

  • 近期工作目標: 邊際運算
    工研院實驗設備

  • 學習點:

  1. tensorflow
  2. seq2seq
  3. LSTM
  4. RNN

9/12

  • 實習日記: 0930~1700

今天繼續把演算法搞懂也閱讀了他自身的 document
在網路上也找到更多不同的模型可以做測試
把預測方式改成利用前 8 小時預測後 3 小時
大大降低 MSE 還有 error rate
接下來是希望改變 test_x 的輸入
但是還有很多工作要做才能讓整個研究變完整
例如:資料前處理要和沙奇的 model 相同、
如何快速部署到各個 rpi 上、
可能要研究更多種模型去做比較、
以及跟沙奇的模型做試驗

  • 近期工作目標: 邊際運算
    工研院實驗設備

  • 學習點:

  1. 自身演算法
  2. LSTM, seq2seq 比較
  3. training data, tesing data

9/14

  • 實習日記: 0900~1730

今天把程式碼的 input data, output data 搞懂
也用表格將數據裡清楚
也對 RNN model 更近一步了解
時間預測關係改成預測後五小時
Error rate 在一小時後的預測可以降到一趴坐右
最遠的五小時也能只有七趴
這是很棒的結果表現
只是因為程式包裝的不好
每次都在不停訓練資料浪費時間
應該找時間改進
接下來還要對資料做同步的前處理
以及不同地點效果評估
最後再選定十個站點之後實驗預測用

  • 近期工作目標: 邊際運算
    工研院實驗設備 ID

  • 學習點:

  1. 時間序列預測
  2. RNN model
  3. error rate 計算
  4. pandas, numpy, DataFrame

9/17

  • 實習日記: 0910~1800

今天早上對 sigfox 加密的 api 進行測試
連接成功,代表兩邊加密跟解密都是正確的
中午跑去北車辦理護照的役男除役
下午把最後的六台工研院感測器完成
也把三套實驗設備進行修整
但是目前還沒有辦法辨別感測器在 hub 上的序號
之後可能要利用 tty 上去做 ID 替代
邊際運算的程式碼要再找時間做修整跟系統化
應該要導入物件導向的寫法
再來,為了考慮到大量資料 I / O 發生錯誤或是映像檔悲劇燒毀
應該快點連接 guthub 自動載入最新版本
這樣下班也可以繼續撰寫程式碼
預測出來的結果跟 error rate 今天發現錯誤
改天要把 time index 加入才算完整

  • 近期工作目標: 邊際運算
    工研院實驗設備 ID

  • 學習點:

  1. 焊接技巧
  2. sigfox 收發資料、加密解密

9/20

  • 實習日記: 1310~2100

下午和老師開了個會
聊了很多關於之後研究的方向
雖然老師把主題聚焦在傳遞資料上的成本跟時間
不太在意核心預測模型的準確度
但基本上還是確定了接下來得主題
現在要做的就是找出在多少台站點做預測時 performance gain 能夠超過傳統雲端運算
接下來要好好歸化每一台從上傳到伺服器、前處理、抓下資料到最後預測出結果
然後上傳的時間,每一段時間都要去做計算
把每一次都時間及影響因素都考慮進來,這樣才完整
討論完畢之後,就開始跟輔翔完成 sigfox 跟工研院測量的整套設備
但是收發很多次 sigfox 資料,都因為訊號不好打不上去
其中也包含無法確定 sigfox UART 的序號
這個之後還要有更多的研究跟探討

  • 近期工作目標: 邊際運算
    沙奇 paper 及目前系統上的預測系統
    sigfox 收發裝置完整性
    工研院感測實驗

  • 學習點:

  1. downlink, uplink
  2. UART connect
  3. sigfox upload data

9/27

  • 實習日記: 0900~1830

早上對 sigfox api 的 Type3 進行測試
發現老師那端解碼有點問題
測試完,就開始針對已經送出去的兩組工研感測器
進行程式修正,雖然不能解決 port 上名字定義的問題
但是加上了一些 Error handle
希望能在斷線後重開有所改善
做了一些測試,之前發生的問題已經可以解決

  • 近期工作目標: Downlink, Uplink time
    Seq2seq model

  • 學習點:

  1. sigfox upload data
  2. define usb port name
  3. try and except

10/1

  • 實習日記: 1100~1800

昨天晚上睡不好,在床上賴床了很久
到了實驗室發現測試 sigfox api 的 SD card 不見了
還好程式碼都在本機裡,只是下次要重新燒韌體一次真是麻煩
吃完飯,和東逸聊了很久,把整套實驗系統設計好
只是在追求準確度跟時間上的取捨,還是有待商榷
之後把實驗站點從 g0v 搜出 id,再請謹瑋幫忙從 DB 撈資料
資料時間為 9 / 21 - 9 / 30
正好經過中秋節,希望可以針對有大幅度變化的資料去訓練模型
目前的備份只有一張,希望下次能把所有環境寫成 shell script
跟老師報告的投影片,預計在下週能跟老師報告
報告內容包括:fog, edge, cloud computing 差別、及我能針對三種不同版本
如何去進行實驗,我會需要自己建立一個cloud server and data base
以及分析 seq2seq model and forecastHybrid model 的差別

  • 近期工作目標: preentation
    model testing and evaluating

  • 學習點:

  1. model parameter testing
  2. forecastHybrid model construct

10/8

  • 實習日記: 0900~1730

早上把站點蒐集到資料拿去做測試
發現許多預測模型的問題
overfitting 的問題是最需要去解決的
之後對邊際運算的研究去深入探討
想出更多種可以比較的 feature
Docker hub 的建置也做了 demo images 的佈署
Error rate 的比較要基於相同資料做比對
或是相同模型在不同系統上做比對
但是 R environment 的環境蠻難在 rpi 上運行
這部分也極需解決
最後,工研感測器的 usb name 也還是沒有完成
近期可能要趕工了

  • 近期工作目標: compare model in different system

  • 學習點:

  1. model parameter testing
  2. forecastHybrid model construct
  3. build R environment in RPI
  4. DockerHUB

10/11

  • 實習日記: 0900~1830

原本早上跟老師有開會,結果老師去了立法院備詢
到了實驗室開始整理過去下載過的 paper 準備去閱讀
之後,泉恆學姊找我去聽演講
聽完有點不知所云,下午和謹瑋努力工研 device 的偵錯
過程一直失敗
最後只好利用 programming 的 Exception handling 去解決
完成後去找老師報告,他還是匆匆離去,這次有點失望
下週要佈建四組,之後還有五百台的量要處理
而且每台都要有 Wifi 的 功能
這樣的模組功能,下週要繼續完成

  • 近期工作目標: compare model in different system
    wifi function in rpi

  • 學習點:

  1. wifi connect in rpi
  2. forecastHybrid model and seq2seq model construct
  3. static USB port name

10/22

  • 實習日記:

早上接到了老師電話,要在老師家中裝設一組設備
便立刻幫老師處理了一組,蠻趕的,只有半小時的時間
在準備期間還把一張已經寫好的 sd card 折斷,超級扯
還好趕在老師來到前準備好,之後便到老師家架設實驗設備
但是原本寫好的 wifi 沒有連上,因此先接上老師家的 router
有線進去更改 wifi 設定,等到出現 ip 時,便切換成 wifi 模式
但是後來卻發現一點問題
首先,老師後台設定在 id 處理上會有重複定義的問題
再來,如果我不 ssh 進去系統不會自動啟動
反而是透過桌面啟動而啟動,所以直接 reboot 並不會喚起 program
最後以失敗收場,回到實驗室一直檢討,也一直測試
尤其後還發現,買的 sd card 容量都是 8G,如果燒錄的會依然大於 7.99 G
自己燒錄了很多次依然失敗,還好輔翔的工具可以使用
老師後來希望我能加上沒有 sigfox 的版本,但是這樣可能就要手動加入 id
晚上輔翔請我吃飯,聊了很多,真的很高興當初帶我的導師是他

  • 近期工作目標: 工研感測器實驗跟偵錯

  • 學習點:

  1. 整套實驗設備設置
  2. crontab 排程
  3. pishrink 工具
  4. rpi wifi setting

10/25

  • 實習日記: 0900~1730

由於,星期一的佈點失敗,因此加強測試實驗
終於找到問題,現在版本是透過 rc.local 喚起程式並執行
但是,如果今天感測器沒有讀到資料,資料還是會繼續上傳
這方面,我還要做點修正
另外,沒有 sigfox 版本的功能也要加上去
測試過很多次,將寫好的 wifi 帳密寫入
確實可以開機後尋找適合的 wifi 並連上
老師家那天的問題可能是開機沒啟動
當天也做了多次測試,確實沒有被老師認證的 id
都會在 mqtt 上被叫做 CCLLJJ
所以 id 的確認,還要等老師那邊確認才行

  • 近期工作目標: 工研院感測器實驗

  • 學習點:

  1. rc.local
  2. rpi wifi
  3. mqtt

10/29

  • 實習日記: 0930~1730

由於上星期五謹瑋幫我在萬華跟板橋佈的點都失敗
今天一到實驗室就趕快進行偵錯跟網路測試
確定在準備好的 wifi 帳密情況下,是可以順利切換網路
另外,負載也沒有問題,自動下載也 ok
接下來變寫了一張 4G 的版本,再燒錄成多份 8G 版本
裡面會自動連線 brick01 or Witcher wifi
crontab 也順利設定在 0、8、16 自動更新
基本上只要知道對方的 wifi 系統便會成功運作並且打資料到 api
前提是,網路穩定、後端接受 sigfox id
下午除了做了多種測試,也將sigfox doc 寫好
這週四要送出 6 組設備給 Edimax 測試,所以下午都再焊接感測器
希望這週能成功,以及處理好老師後端的 id 問題

  • 近期工作目標: research paper
    Edimax 週四的六組設備

  • 學習點:

  1. rpi wifi 切換
  2. 軟硬整合
  3. MQTT 頻道
  4. 燒錄 img

11/1

  • 實習日記: 0900~1730

星期二泉恆學姊幫我修好老師後端的問題
工研感測器的案子終於到一個段落,這週訊舟的設備沒有送出去
所以早上都在寫研究的 code ,已經把系統放在 server 上
然後 github 連接也做好,兩邊可以開始同步計算
第一次實驗運端計算的 Computing Time 比起邊際運算的 Computing Time
快了二十倍,錯誤率基本上是相同的,這部分是還沒加上連接資料庫抓資料的時間
但是在模型的建置上,想改寫內部演算法,降低錯誤率
星期五專題開會,也得到了許多新的知識跟技能
這在研究上會有很大的幫助,希望能加強預測能力
專題目前的預測方式是拉近距離鄰居加強預測能力
而如果運用在邊際運算上,這樣會多一次的 DownLink
這方面的整合我還是得問過錳坤老師才能實作

  • 近期工作目標: 修改模型

  • 學習點:

  1. Computing Time Comparision
  2. Github delete file and folder
  3. Seq2seq model
  4. tf.keras