2019年10月9日 星期三

update saved data into database

from datetime import date
import time
import pandas as pd
from io import StringIO
import sqlite3

def update_twse_db(orddate):

    dd=date.fromordinal(orddate)
    datestr=dd.strftime("%Y%m%d")

    f=open("d:/archive/stock/twse/"+datestr, "rt", encoding="utf8")
    print("fetching ", datestr)
    content=f.read()
    f.close()

    # if content is empty, the stock market is not open
    if content=='':
      return None

    # clear all '=' in some lines
    content=content.replace('=','')

    # filter all lines without 10 fields of data
    lines=content.split('\n')
    lines=list(filter(lambda l:len(l.split('",')) > 10, lines))

    # join all lines with carriage return
    content = "\n".join(lines) 

    # use pd to read content as csv file
    df=pd.read_csv(StringIO(content))

 

    # remove all element str and remove ','
    df = df.astype(str)
    df = df.apply(lambda s: s.str.replace(',', ''))

    # add 'date' field to the sheet
    df['orddate']=pd.to_numeric(orddate) 

    df = df.rename(columns={'證券代號':'stock_id'})
    df = df.rename(columns={'證券名稱':'name'})
    df = df.rename(columns={'成交股數':'shares'})
    df = df.rename(columns={'成交筆數':'transactions'})
    df = df.rename(columns={'成交金額':'amount'})
    df = df.rename(columns={'開盤價':'open'})
    df = df.rename(columns={'最高價':'high'})
    df = df.rename(columns={'最低價':'low'})
    df = df.rename(columns={'收盤價':'close'})
    df = df.rename(columns={'漲跌(+/-)':'sign'})
    df = df.rename(columns={'漲跌價差':'diff'})
    df = df.rename(columns={'最後揭示買價':'lastbuy'})
    df = df.rename(columns={'最後揭示買量':'lastbuys'})
    df = df.rename(columns={'最後揭示賣價':'lastsell'})
    df = df.rename(columns={'最後揭示賣量':'lastsells'})
    df = df.rename(columns={'本益比':'eps'})


    # drop stock id not equal to 4 chars
    df = df[df.stock_id.str.len()==4]
   
    # set index as stock_id and date
    df = df.set_index(['stock_id', 'orddate']) 
    df = df.apply(lambda ss:pd.to_numeric(ss, errors='coerce') if ((ss.name!='name') and (ss.name!='sign')) else ss)

    # remove the last empty field

    # df = df[df.columns[df.isnull().all() == False]]
    df = df.drop(columns=['Unnamed: 16','sign'])

    return df



def update_tpex_db(orddate):

    dd=date.fromordinal(orddate)
    datestr=dd.strftime("%Y%m%d")

    f=open("d:/archive/stock/tpex/"+datestr, "rt", encoding="utf8")

    print("fetching ", datestr)

    content=f.read()
    f.close()

    # clear all '=' in some lines
    content=content.replace('=','')

    # filter all lines without 10 fields of data
    lines=content.split('\n')
    lines=list(filter(lambda l:len(l.split(',')) > 10, lines))

    # join all lines with carriage return
    content = "\n".join(lines)

    # if content is less than 100 lines, the stock is not open
    if content.count('\n')<100:
      return None

    # use pd to read content as csv file
    df=pd.read_csv(StringIO(content))

    # remove all element str and remove ','
    df = df.astype(str)
    df = df.apply(lambda s: s.str.replace(',', ''))

    # add 'date' field to the sheet
    df['orddate']=pd.to_numeric(orddate)

    # remove all space char in column name
    for i in df.columns:
        df = df.rename(columns={i : i.replace(' ', '')})

    df = df.rename(columns={'代號':'stock_id'})
    df = df.rename(columns={'名稱':'name'})
    df = df.rename(columns={'收盤':'close'})
    df = df.rename(columns={'漲跌':'skip_1'})
    df = df.rename(columns={'開盤':'open'})
    df = df.rename(columns={'最高':'high'})
    df = df.rename(columns={'最低':'low'})
    df = df.rename(columns={'均價':'skip_2'})
    df = df.rename(columns={'成交股數':'shares'})
    df = df.rename(columns={'成交金額(元)':'amount'})
    df = df.rename(columns={'成交筆數':'transactions'})
    df = df.rename(columns={'最後買價':'lastbuy'})
    df = df.rename(columns={'最後賣價':'lastsell'})
    df = df.rename(columns={'發行股數':'allshares'})
    df = df.rename(columns={'次日參考價':'skip_3'})
    df = df.rename(columns={'次日漲停價':'skip_4'})
    df = df.rename(columns={'次日跌停價':'skip_5'})

    # drop stock id not equal to 4 chars (including '代號')
    df = df[df.stock_id.str.len()==4]

    # set index as stock_id and date
    df = df.set_index(['stock_id', 'orddate'])

    # convert all field to numbers except name
    df = df.apply(lambda s:pd.to_numeric(s, errors='coerce') if (s.name!='name') else s)

    # drop all columns to be skipped
    df = df.drop(columns=['skip_1','skip_2','skip_3','skip_4','skip_5'])

    return df

argv1='20190703'
argv2='20190731'

d1=date.fromisoformat(argv1[:4]+'-'+argv1[4:6]+'-'+argv1[6:8])
d2=date.fromisoformat(argv2[:4]+'-'+argv2[4:6]+'-'+argv2[6:8])

d1ord=d1.toordinal()
d2ord=d2.toordinal()

conn=sqlite3.connect('d:/archive/stock/twstock.db')

for i in range(d1ord, d2ord+1):

    # test if datalog contains orddate data
    cc = conn.execute("select twse_update from datalog where orddate="+str(i))
    res = cc.fetchone()

    if res!=None :
        continue

    # this orddate data is not updated yet, go on update the database
    df=update_twse_db(i)

    # if the content is empty, the day is off, skip
    if (type(df)!=pd.core.frame.DataFrame):
        continue

    df.to_sql('stock', conn, if_exists='append')
   
    # updata datalog for orddate
    cc = conn.execute("insert into datalog (orddate, twse_update) values ("+str(i)+",1)")   
    conn.commit()
   
    df=update_tpex_db(i)

    if (type(df)!=pd.core.frame.DataFrame):
        continue

    df.to_sql('stock', conn, if_exists='append')
   
    # update datalog for orddate
    cc = conn.execute("update datalog set tpex_update = 1 where orddate="+str(i))
    conn.commit()

conn.close()

2019年10月7日 星期一

crawl twse and tpex data into files

crawl_save.py


from datetime import date
import requests
import dill

def crawl_date(ordinaldate):
    dd = date.fromordinal(ordinaldate)
    datestr = dd.strftime("%Y%m%d")
    fetchstr = 'http://www.twse.com.tw/exchangeReport/MI_INDEX?response=csv&date=' + datestr + '&type=ALLBUT0999'
    print("fetching",fetchstr)
    r = requests.post(fetchstr)
    f = open("twse/"+datestr, "wt", encoding="utf8", newline='\n')
    f.write(r.text)
    f.close()
    datestr2 = dd.strftime("%Y/%m/%d")
    datestr2 = datestr2.replace(datestr2[0:4], str(int(datestr2[0:4])-1911))
    fetchstr = 'http://www.tpex.org.tw/web/stock/aftertrading/daily_close_quotes/stk_quote_download.php?l=zh-tw&d=' + datestr2 + '&s=0,asc,0'
    print("fetching tpex ", fetchstr)
    r = requests.post(fetchstr)
    f = open("tpex/"+datestr, "wt", encoding="utf8", newline='\n')
    f.write(r.text)
    f.close()
    return 0

crawl_test.py
from datetime import date
import crawl_save
import time

if __name__ == "__main__":
    import sys
    if ((not sys.argv[1]) or (not sys.argv[2])):
        print("need 2 parameters\n");
        sys.exit(0)
    d1=date.fromisoformat(sys.argv[1][:4]+'-'+sys.argv[1][4:6]+'-'+sys.argv[1][6:8])
    d2=date.fromisoformat(sys.argv[2][:4]+'-'+sys.argv[2][4:6]+'-'+sys.argv[2][6:8])
    d1ord=d1.toordinal()
    d2ord=d2.toordinal()
    for dd in range(d1ord, d2ord+1):
        crawl_save.crawl_date(dd)
    time.sleep(10)

2019年9月10日 星期二

setup items for retrieving twse info

key knowledge :
- 2 URLs for stock info
- determine which day is off
- determine database fields
- how to determine boolean tunnel

modules :
- http engine
- stock info parsing engine
- daily update engine
- fields data generation

twse URL:
https://www.twse.com.tw/exchangeReport/MI_INDEX?response=csv&date=20190924&type=ALLBUT0999

tpex URL:
http://www.tpex.org.tw/web/stock/aftertrading/daily_close_quotes/stk_quote_download.php?l=zh-tw&d=107/02/09&s=0,asc,0


database fields :
from twse :

stock_id
orddate
name             object
shares           int64
transactions      int64
amount            int64
open            float64
high            float64
low             float64
close           float64
diff            float64
lastbuy         float64
lastbuys          int64
lastsell        float64
lastsells         int64
eps             float64
allshares         int64

derived data :
deviation            float64
avg_5                 float64
avg_10               float64
avg_20               float64
avg_60               float64



2016年12月21日 星期三

utorrent 換電腦完整轉移

動物機常常遇到系統故障,
需要換硬碟/升級系統,
但是要保留原來所有種子的狀態,
剛剛試過, 下列步驟就可以完整保留所有下載狀態,

1. 所有檔案掛載的磁碟代號, 都要保持一樣,
    例如你原來 D: 及 E: 兩顆硬碟掛載來下載檔案,
    這兩顆硬碟的磁碟代號及所有檔案, 都要保持一樣

2. 把原來硬碟中的 "c:\Program Files(x86)\utorrent"
    copy 到你新的硬碟中, 裏頭有你原來 utorrent 執行程式

3. "c:\使用者\使用者名稱\AppData\Roaming\utorrent"
    目錄也要 copy 到新硬碟中, 裏頭包含你所有分享還有
    正在下載的種子, 及相關的資料, 但是 AppData 目錄是
    隱藏的, 所以先到 "c:\使用者\使用者名稱"目錄底下,

 選擇"資料夾和搜尋選項"之後, 把"顯示隱藏的檔案、資料夾及磁碟機"
選項打開, 就可以看到 AppData 資料夾了, 同樣在新硬碟上, 也需要
打開隱藏資料夾, 把目錄 copy 過去
    XP 或者 Win 10 最前面的名稱, 也許是 "Documents and Settings"
   或其他目錄名稱, 請自行調整目錄名稱, XP 的目錄路徑,
   AppData 底下就直接是 utorrent 目錄, 沒有 Roaming 這個目錄

4.在新的硬碟及系統中, 直接到 "c:\Program Files(x86)\utorrent"
   底下, 直接執行 utorrent.exe, 會重新安裝 utorrent, 在目錄選項中
   , 記得選擇指定到剛剛 "c:\使用者\使用者名稱\AppData\Roaming\utorrent"
  中, 當安裝好之後, 你執行 utorrent, 就可以看到所有之前的
  分享與下載一半的檔案, 都完整的出現了.

2016年7月4日 星期一

Using ffmpeg to transcode DVD KTV files into VCD format

The main issue is about to convert DVD dual stereo audio channels
into one stereo audio in VCD format.

A good reference can be found here .

The command line parameters for the transcoding is :

ffmpeg -i input.mpg -target ntsc-vcd -filter_complex
"[0:a:0][0:a:1]amerge=inputs=2,pan=stereo|c0<c0+c1|c1<c2+c3" output.mpg

However, the mpeg1 codec in ffmpeg is poor. The video quality
is not good enough in my opinion.


2016年4月29日 星期五

使用 PC 唱卡啦OK 遇到的麥克風問題


最近想直接使用 PC 的音效卡接麥克風,來唱卡啦 OK,
卻遇到一堆問題, 經過一番搜尋之後, 目前整理出一些心得.

首先是一般卡啦OK機用的麥克風, 並不適合直接
連接 PC, 因為阻抗差很多(網路上查到的資料這樣說),
所以連上 PC 音效卡的 mic 輸入, 一定要增加 db 值才能
聽到聲音, 但是連帶的 white noise 也增加了.

所以解決的方法有 :
1. 改用 PC 專用的麥克風(不過可能效果無法跟卡拉OK專用
    的麥克風好)
2. 麥克風先接了一個前級放大之後, 再接入 PC, 不過有人說
    PC 的音效卡可能會濾掉比較多的音頻, 所以透過音效卡再
    出來的聲音沒辦法很好.
3. 當然就是不用 PC 音效卡接mic, 而是用卡啦OK 專用的擴大機,
    不過既然會想用 PC 接麥克風, 當然就是沒有擴大機才做的選擇

第二個會遇到的問題, 就是 PC 的麥克風, 在 win7 以後的作業系統,
都會有延遲的問題, 也就是你對麥克風發出的聲音, 要經過 0.5 秒
甚至一兩秒後, 才能在 PC 喇叭聽到. Win XP 上就沒有這樣的問題.
微軟的網站對這個問題的解答(建議), 就只有更換音效卡的最新
驅動程式.
網路上另外查到的解釋, 因為 Win7 之後, 聲音的驅動程式架構更複雜,
所以從最底層的驅動程式收到麥克風的資料後, 到應用程式收到資料
之間, 有很多中間層, 都會造成資料的延遲....  可是這些中間層,
是包含在音效卡的驅動程式, 還是 Windows 本身也有, 就不知道了.

解決的方法, 目前查到的, 是改用 asio4all 驅動程式, 這個驅動程式
會直接從音效卡驅動程式的 WDM 那層, 就把麥克風的資料接出來,
應用程式如果可以搭配 asio4all 驅動程式, 就可以拿到很底層就
接出來的資料, 降低延遲. asio4all 的驅動程式可以在底下網址下載 :
   http://www.asio4all.com/

另外, 麥克風的聲音, 最原始的聲音很乾, 通常要好聽要經過處理,
最簡單的方式是用 echo 的方式, 但是好聽一點的方式, 現在都是用
reverb 的方式. 搭配 asio4all 驅動程式, 目前查到的, 可以使用
VSTHost 及 reverb 的 VST plugin,

VSTHost 是執行 VST plugin 的程式, 可以從底下網址下載
http://www.hermannseib.com/english/vsthost.htm

VST plugin 有很多種,我們想用的 reverb 效果, 可以從底下網址下載
http://freeverb3vst.osdn.jp/downloads.shtml

至於要安裝 32 bits 或 64 bits 版本, 就看實際安裝的 Windows 系統
是哪一種類型.

freeverb3vst 的程式下載之後, 解開壓縮檔, 在 lib 目錄底下有個
Freeverb3VST_Freeverb.dll 就是我們要的 reverb plugin, 可以單獨
copy 到 VSTHost 安裝的目錄. 其他檔案就都沒用, 或者底下還有
其他的 plugin 有興趣也可以玩玩.

VSTHost 程式不需要安裝, 解開壓縮檔之後, 執行 vsthost 主程式,
首先要改變設定, 在下拉式選單 [Device]->[Wave] 畫面中, 選擇
output port 是 asio4all, 輸入的部分自然也會被強迫被使用 asio4all
 接下來就是選用 VST plugin, 可以在下拉式選單 [File]->[New Plugin]
的畫面中, 選擇剛剛的 Freeverb3VST_Freeverb.dll
 選用了之後, 就會自動幫你拉好, 從麥克風進來, 經過
reverb plugin 之後, 在輸出到喇叭.
如果要調整 reverb 的參數, 可以點選 reverb plugin 圖示上的 [X] 左邊
綠色的圖案, 至於裏頭的參數的意義, 我還沒深入研究, 所以也不
多做解釋了.
目前的結果, 可以存成另一個 .fxb 檔案, 下次開啟 vsthost 的時候,
目前的結果會自動被載入.  所以如果把vsthost 程式, 放到開機就會
執行的程式集中, 應該就可以 PC 開機後, 麥克風的聲音就可以
直接輸出到喇叭, 而且有 reverb 效果.

至於 asio, vst plugin 的原由, 都是由一家德國的公司制定發明的,
有興趣多了解的, 可以直接看看 vsthost 所附的 pdf 說明檔.
後記 : 用了這個方法之後, 反而會讓 asio4all 霸佔了整個音效輸出,
原本播出卡拉OK的伴唱音樂, 反而出不來了, 所以可能還要再
安裝其他 virtual audio line 的驅動程式, 才能再混伴唱與麥克風音量.
我到後來也放棄直接用 PC 的麥克風, 除了延遲問題之外,
PC 適合的麥克風, 與擴大機專用的唱歌麥克風, 在阻抗與增益的特性
都不同, 用擴大機用的麥克風, 接在 PC 上聲音會很小; 如果把
PC 的麥克風輸入音量放大, 會有些 white noise 雜音, 很難唱.



2015年12月28日 星期一

MSYS2 安裝步驟

MSYS2 跟 MSYS 比起來, 更加趨近 Unix system 的操作環境,
也加入了 Arch Linux 使用的 pacman 來管理安裝 package,
所以過程中會需要透過 pacman 來安裝一些 package

除此之外, MSYS 的 shell 沒有 large file system support, 所以顯示
超過 4GB 以上的檔案大小會有問題, MSYS2 的 shell 是
bash, 顯示超過 4GB 以上的檔案大小沒問題.

MSYS2 可以從 https://msys2.github.io/ 下載安裝檔案,
完成安裝之後, 會安裝一些基本的 packages,
接著會開啟一個 MSYS2 shell window,
在 shell 底下執行

pacman --needed -Sy bash pacman pacman-mirrors msys2-runtime

關掉目前的 MSYS2 shell 之後, 然後再重開一個,
接下來執行
pacman -Syu
如果要安裝 package, 可以用 "pacman -S package_name" 來安裝,
例如安裝 Mingw,
pacman -S mingw-w64-x86_64-gcc
pacman -S mingw-w64-x86_64-make

有哪些 packages 可以安裝, 可以參考 http://sourceforge.net/p/msys2/wiki/Packages/
或者下
pacman -Ss keyword
來查詢有關 keyword 的套件列表

如果要執行 MingW, 需要啟動 MingW64 或 MingW32 shell,
如果需要安裝package, 則啟動 MSYS2 shell

pacman -S mingw-w64-x86_64-pkg-config
pacman -S mingw-w64-x86_64-gtk3

when compiling the GTK+ source code, using :
gcc -o test1 test1.c $(pkg-config --cflags --libs gtk+-win32-3.0 gmodule-2.0)