我並非金融背景,但與一位交易經驗豐富的朋友合作,開發了此專案,專案將科技與金融結合,解決交易中的瓶頸,同時提供市場洞察。主要分為兩個主要部分:爬蟲系統,用於自動化新聞爬取、存取、分析和推送,以解決資訊不對稱的問題;以及資金流與市場動向分析,用於監控大額資金進出,提供市場洞察,幫助做出更明智的交易決策。我們歡迎更多參與者的加入,讓我們一起完善這個專案。
(註 : 此專案尚在進行,故程式僅寫出部分範例程式並未公開完整程式,如有興趣可以來信詢問詳情)
- 爬蟲 : 使用爬蟲程式爬取美國、中國、台灣、韓國約40~50個網站,並使用Google翻譯API將外語翻成中文。
- SQL : 使用MySQL做為資料儲存的工具,以供查詢及未來NLP訓練使用,目前各語言約有150萬則新聞(一年半)。
- Telegram : 由於不會時時刻刻看著電腦,所以當重要的新聞或是重要的關鍵字出現,會將其透過Telegram API送至Telegram,讓我們可以第一時間透過Telegram得知重要的新聞,諸如紅海事件、中國爆發流感等等的突發事件,早一小時甚至一分鐘知道也許就能提早應對。
- GUI : 重要的新聞會想存下來之後看,或是編寫自己的意見,或是給其加上tag,亦或是想查詢關鍵字等等,但是直接用SQL Syntax可能有點麻煩,且並不適合給不會程式的人操作,因此GUI就成了重要的工具。
- NLP : 因為每日新聞量眾多,且其中有不少相似甚至重複的新聞,畢竟如果是重要的新聞各大新聞網絕對會搶著報,所以刪除重複就是我們想做的,之後也希望可以做新聞的自動分類或是提取關鍵字並依照頻率做出文字雲等等,但目前仍在開發中。
- 市場連動 : 大家應該常常聽到什麼美國股市帶動台灣股市、美元指數帶動各國大盤、新台幣匯率帶動台灣指數或是比特幣漲足了就會換較小的幣值漲,但這些都是感覺,若可以數值化的證實有或沒有,或是哪段時間有哪段時間沒有,那在指數或商品發動漲勢或跌勢時,即可開始關注其連動標的。
- 資金流 : 亞洲市場尤其韓國跟台灣,機構的組成中雖然有國內投信或是自營商,但是最大的金主還是外資,基本上看好外資的走向或是其承受風險的成的程度就可以知曉現在市場的風氣,讓我們交易時可以有個判斷的依據。
- 建模 : 一個國家除了個股現貨,衍生性產品通常也不少,如期貨、選擇權又或是權證,而且不同的機構類別會有不同的愛好,如台灣的話投信就不太玩選擇權,但自營商很愛玩,外資則根據市場現況決定玩現股還是有風險的期貨與選擇權等等,所以我們想透過建構加權模型找出各標的的機構綜合數值,來評斷現在市場的動量是往何處運行。
- 可視化的升級 : 以往使用
matplotlib
或是seaborn
作為可視化的工具,但是這兩個有個缺點,如果要改時間範圍,或是想換個標的看,又或是想單獨看外資,那必須回到程式中更改,這除了很麻煩也需要有程式基礎的人才比較好操作,因此透過Plotly與Dash來建立互動式的可視化界面,要改什麼要調什麼都可以在Dashboard上面運作,增加了可用性及方便性
┌ Akasha - Money_flow_system┌ Akasha - Money_flow
│ └ Readme.md
│
├ Akasha - Web_scrapy_system┌ Akasha - GUI
│ ├ Akasha - MySQL
│ ├ Akasha - Web_scrapy
│ └ Readme.md
├ LICENSE
└ README.md
- Akasha - Web_scrapy_system: 為上面提到的爬蟲系統,資料夾內對爬蟲系統有詳細的介紹
- Akasha - Money_flow: 為上面提到的資金流與市場動向,裏頭也有詳細的介紹可以閱讀