from datetime import datetime
import re
import urllib.parse
from time import sleep

from bs4 import BeautifulSoup
from db_connector import xserver_keiba
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


# ====================================================================================================
class data_class:
    def __init__(self, data_title: list) -> None:
        self.race_id = ''
        self.race_date = ''
        self.race_times = data_title[0]
        self.course_place = data_title[1]
        self.race_days = data_title[2]
        self.race_no = 0
        self.race_name = ''
        self.race_grade = ''
        self.race_time = ''
        self.coruse_type = ''
        self.course_distance = ''
        self.not_found = 0

    def upsert_sql(self):
        sql = f'''
            INSERT INTO race_mst(race_id,race_date,race_times,course_place,race_days,race_no,race_name,race_grade,race_time,coruse_type,course_distance,not_found)
            values ({self.race_id},'{self.race_date}','{self.race_times}','{self.course_place}','{self.race_days}',{self.race_no},'{self.race_name}','{self.race_grade}','{self.race_time}','{self.coruse_type}','{self.course_distance}',{self.not_found})
            ON DUPLICATE KEY UPDATE race_date='{self.race_date}',race_times='{self.race_times}',course_place='{self.course_place}',race_days='{self.race_days}',race_no={self.race_no},race_name='{self.race_name}',race_grade='{self.race_grade}',race_time='{self.race_time}',course_distance='{self.course_distance}',not_found='{self.not_found}'
        '''.replace("''", "Null")
        return sql


# ====================================================================================================
def grade_converter(grade_class) -> str:
    # クラス名からレースのグレードを判定して返す
    if 'Icon_GradeType1' in grade_class:
        return 'GⅠ'
    elif 'Icon_GradeType2' in grade_class:
        return 'GⅡ'
    elif 'Icon_GradeType3' in grade_class:
        return 'GⅢ'
    elif 'Icon_GradeType4' in grade_class:
        return '重賞'
    elif 'Icon_GradeType5' in grade_class:
        return 'OP'
    elif 'Icon_GradeType6' in grade_class:
        return '1600万下'
    elif 'Icon_GradeType7' in grade_class:
        return '1000万下'
    elif 'Icon_GradeType8' in grade_class:
        return '900万下'
    elif 'Icon_GradeType9' in grade_class:
        return '500万下'
    elif 'Icon_GradeType10' in grade_class:
        return 'JGⅠ'
    elif 'Icon_GradeType11' in grade_class:
        return 'JGⅡ'
    elif 'Icon_GradeType12' in grade_class:
        return 'JGⅢ'
    elif 'Icon_GradeType13' in grade_class:
        return 'WIN5'
    elif 'Icon_GradeType14' in grade_class:
        return '特選'
    elif 'Icon_GradeType15' in grade_class:
        return 'L'
    elif 'Icon_GradeType16' in grade_class:
        return '3勝'
    elif 'Icon_GradeType17' in grade_class:
        return '2勝'
    elif 'Icon_GradeType18' in grade_class:
        return '1勝'
    else:
        pass


# ====================================================================================================
def main():
    db = xserver_keiba()
    # データベース内の最新レース日取得する
    sql = '''
        SELECT
            MAX(race_date) AS last_get_date
        FROM
            race_mst
    '''
    ret = db.fetch(sql)
    # dbにあるレース開催日の最大値を最初の取得対象日にする
    # レースデータがない（≒初回）は'2014-01-05'で固定する
    target_date = datetime(2014, 1, 5) if ret[0]['last_get_date'] is None else ret[0]['last_get_date']
    options = Options()
    # 画像を読み込まない
    options.add_argument('--blink-settings=imagesEnabled=false')
    # シークレットモードで起動
    options.add_argument('--incognito')
    # Chromeを起動する
    driver = webdriver.Chrome(options=options)
    # urlに日付を設定すれば対象日のレース画面になる
    driver.get(f"https://race.netkeiba.com/top/race_list.html?&kaisai_date={datetime.strftime(target_date, '%Y%m%d')}")
    sleep(0.5)
    # 対象日付が未来日になるまでループする
    while target_date < datetime.today():
        next_date_tab = True
        while next_date_tab is True:
            next_date_tab = False
            # ページソースをBeautifulSoupに食わせる
            soup = BeautifulSoup(driver.page_source)
            # 上部の日付のliにを確認
            for race_date in soup.select('#date_list_sub > li[role="tab"]'):
                # 上部の日付のliにあるdate属性から対象の日付を取得して未来日になったら終わらせる
                if int(race_date.get('date')) >= int(datetime.now().strftime('%Y%m%d')):
                    break
                # 取得済みの日付ならスキップ・未取得ならクリックする
                sql = f'''
                    SELECT
                        *
                    FROM
                        race_mst
                    WHERE
                        race_date='{race_date.get('date')}'
                '''
                ret = db.fetch(sql)
                if len(ret) > 0:
                    continue
                else:
                    driver.find_element(By.CSS_SELECTOR, f'#date_list_sub > li[date="{race_date.get('date')}"]').click()
                # ↑のクリックでソースが書き換わっているのでもう一度ページソースをBeautifulSoupに食わせる
                soup = BeautifulSoup(driver.page_source)
                # id="RaceTopRace"が複数ある可能性があるのでループさせる
                for RaceTopRace in soup.select('#RaceTopRace'):
                    # 今表示されているRaceTopRaceは上の階層の属性で判断する
                    if RaceTopRace.parent.get('aria-hidden') == 'true':
                        continue
                    # 会場別でdlが分かれているのでループする
                    for dl in RaceTopRace.select('dl.RaceList_DataList'):
                        # レースごとにliが分かれてるからループする
                        for li in dl.select('dd.RaceList_Data > ul > li.RaceList_DataItem'):
                            # --- ここから実際のデータ取得 ---
                            # リンクが複数あるから'result.html'を含んでいるかで正誤判定する
                            for a in li.select('a'):
                                if 'result.html' in a.get('href'):
                                    # 会場のヘッダー部から会場情報を取得する
                                    data = data_class(dl.select_one('dt.RaceList_DataHeader > div.RaceList_DataHeader_Top > p.RaceList_DataTitle').get_text(separator='/', strip=True).split('/'))
                                    # urlのクエリパラメータにレースIDがあるので分解する
                                    url = a.get('href')
                                    qs = urllib.parse.urlparse(url).query
                                    qs_d = urllib.parse.parse_qs(qs)
                                    data.race_id = qs_d['race_id'][0]
                                    # --- a配下にレース情報があるので取得する ---
                                    # レース番号
                                    data.race_no = a.select_one('div.Race_Num.Race_Fixed > span').get_text(strip=True).replace('R', '')
                                    # レース名
                                    data.race_name = a.select_one('div.RaceList_ItemContent > div.RaceList_ItemTitle > span.ItemTitle').get_text(strip=True)
                                    # レースのグレード設定があれば取得する
                                    if len(a.select('div.RaceList_ItemContent > div.RaceList_ItemTitle > span.Icon_GradeType')) > 0:
                                        data.race_grade = grade_converter(a.select_one('div.RaceList_ItemContent > div.RaceList_ItemTitle > span.Icon_GradeType').get('class'))
                                    # 出走時刻
                                    data.race_time = a.select_one('div.RaceList_ItemContent > div.RaceData > span.RaceList_Itemtime').get_text(strip=True)
                                    # 障害レースはクラス設定がないので分岐
                                    if len(a.select('div.RaceList_ItemContent > div.RaceData > span.RaceList_ItemLong')) > 0:
                                        # 芝・ダートはクラスが設定されているからセレクタ―で指定する
                                        data.coruse_type = a.select_one('div.RaceList_ItemContent > div.RaceData > span.RaceList_ItemLong').get_text(strip=True)[0]
                                        data.course_distance = re.findall(R'\d+', a.select_one('div.RaceList_ItemContent > div.RaceData > span.RaceList_ItemLong').get_text(strip=True))[0]
                                    else:
                                        # 障害はクラスが設定されていないから苦肉でindex指定する
                                        data.coruse_type = a.select('div.RaceList_ItemContent > div.RaceData > span')[1].get_text(strip=True)[0]
                                        data.course_distance = re.findall(R'\d+', a.select('div.RaceList_ItemContent > div.RaceData > span')[1].get_text(strip=True))[0]
                                    # レース日は変数から反映させる
                                    data.race_date = race_date.get('date')
                                    db.execute(data.upsert_sql())
                next_date_tab = True
                break

        # 次ボタンを押すと次開催日に移るのでクリックする
        try:
            WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, '#nextBtn > a')))
        except TimeoutException:
            # 次がボタンになっていない（≒次がない）時はループを抜ける（けど、過去データしか取得しないから基本的にありえない）
            break
        driver.find_element(By.CSS_SELECTOR, '#nextBtn > a').click()
        # 一瞬でもsleepしないと処理が早すぎてエラーになる可能性があるので0.5秒待機
        sleep(0.5)
        # クエリパラメータに開催日があるので日付型に変換する
        qs = urllib.parse.urlparse(driver.current_url).query
        qs_d = urllib.parse.parse_qs(qs)
        target_date = datetime.strptime(qs_d['kaisai_date'][0], '%Y%m%d')
    # 最後にChromedriverを落として終了
    driver.close()
    driver.quit()


# ====================================================================================================
if __name__ == '__main__':
    main()