処理の全貌

まずは概要説明

どんな処理をしているのか文字起こしするとこんな感じ

1. 毎朝8時にプログラムを定時期実行させて以降の処理を実行
2. ポイントサイトのモッピーに対してクローリング実行
3. スクレイピング結果は自分のブログサイト（Xserver）のデータベースに保存
4. 新規案件とポイントの増減した案件を前日比較して絞り込み
5. 絞り込み結果からブログ用のページを作成して投稿
6. 絞り込み結果からXへポストする
7. LINEで自分に処理完了を通知

ポイントサイトについて深掘りはしないのですが、クローリングから始まる一連の流れを自動化してるよって目線で見ていただけると

↓↓でもう少しだけ細かく説明します

毎朝8時にプログラムを定時期実行させて以降の処理を実行

Windows Serverを使っているのでWindows PCと同じようにタスクスケジューラを使えば定期実行の設定が簡単にできます

※詳しくは↓↓↓を見てもらえればわかるはず

設定次第で毎日決まった時間に実行したり、1時間毎に実行したりと好きなように繰り返し実行できます

ポイントサイトのモッピーに対してクローリング実行

モッピー自体に興味がある人は少ない気がするので詳細は割愛しますが、Pythonを使えばWEBサイトから欲しい情報を収集してリストアップすることが可能です

※クローリングに興味のある方は私のプロフィールからクラウドワークスやココナラでご相談ください

クローリング結果は自分のブログサイト（Xserver）のデータベースに保存

取得した情報の一部がこんな感じ

サーバーの中のデータベースに保存することでWeb画面から検索をかけたりすることが可能になるので結構使い勝手が良いです

実際にこのデータを使っているページが↓

https://point.javeo.jp/moppy_poiint_transition/

新規案件とポイントの増減した案件を前日比較して絞り込み

データベースにデータ保存してあればSQL（もっと言えばビューですが）を使って前日比較することが簡単になります

細かく言うと 「追加・削除・値の増加・値の減少」で、それぞれ秒で前日比較することもできます

絞り込み結果からブログ用のページを作成して投稿

Python使えば比較的簡単にWordpressに記事投稿できるんです

きっとAIを使えば文章もいい感じに可変にできる気もしますが今はそこまでの熱意が無いので文章は定形、↑で収集した前日比較の値から作成するテーブルを可変部分で毎日投稿しています

毎日投稿しているサイトは↓です

https://point.javeo.jp/

絞り込み結果からXへポストする

Pythonを使えば簡単にX（旧Twitter）にポストすることもできるんです

これまでよろしく、前日比較してポイントのUP・Down、新規広告をカウントしてポストの文章作ってWordpressの記事のURLを記載してポストしています

毎日ポストしているbotアカウントがこちら↓

LINEで自分に処理完了を通知

最後にサーバー側のメンテンナンスとかで稀にプログラムが実行されないことがあるのでPythonでLINE通知して終了

通知方法は↓↓を参照

ちなみに、途中でエラーがした場合はエラーを通知するようにしています

あとがき

色々手が込んだ作りにしたんですが、正直ポイントサイトに興味がある人があまりいないイメージなので、改めてまとめるとココまでやる意味とは！？と自問自答しています

なんですが、Windows Serverなど環境を整えればPythonでこんなことを全自動で毎日実行できる一例になったのでそこには価値があったと思っています

他にもいくつかWindows Serverで実行していることがあるのでどこかで紹介していきます

そもそもWindows Serverとは？

正確なサービス名称はVPS for Windows Serverのこと

そしてVPSとは「Virtual Private Server」の略で、日本語略では「仮想専用サーバー」です

詳しいことは省略しますが、簡潔に言えば大きなサーバーを小さな仮想サーバーに分割して、その小さなサーバーをユーザーに専用サーバーとして提供してくれるサービスです

さらにそのサーバーのOSが一般的なパソコンに似たWindowsを使っているものをWindows Serverというわけです

Windows Serverの良い点と悪い点

良い点

• 初期費用を安く済ませることができる
• 電気代がかからない
• 物理的な場所を取らない
• プログラム作成や環境構築を誰かに手伝ってもらうことが簡単
• 必要なときに必要なスケールアップ（スペックアップ）が可能
• 不要になったら契約解除するだけ（≒廃棄が不要）
• Windows PCライクな操作感で利用できる
• 管理者権限を持っているのでアプリインストール可能
• 管理者権限を持っているのでGoogle Driveなどのストレージサービスをマウントできる

悪い点

• 実機に比べると料金に対するスペックが低い
• リモートデスクトップ SALが無いと利用しにくい（別料金）
• Microsoft 365ライセンスが使えない（別料金のサーバー専用ライセンスが必要）
• 他のVPSに比べて料金が高い
• サービス側が決める定期メンテナンスに巻き込まれる

Xerverのプラン別料金表とオプション料金

プラン別料金

※SSDはどのプランでも100GB
※金額は1ヶ月あたりの料金

ConoHaと違って「メモリ：1GB、CPU：2コア」のプランと「３ヶ月、６ヶ月」プランが無い

スペックの方は使い物にならないから使わないし、期間の方も刻んだところで値引き率は低いので個人的には気にならない範囲

オプション料金

後述しますがリモートデスクトップ SALは必須レベル

他は使い道次第ですが、月額料金をかけてまで契約する必要はあまりないかと

ConoHaのプラン別料金表

プラン別料金

※SSDはどのプランでも100GB
※金額は1ヶ月あたりの料金
※1ヶ月の料金は時間課金タイプの上限

プラン料金はserverに比べて若干お高い料金設定

代わりにオプション料金が若干やすいのでトータルで考えれば差は無いと思って良さそう

オプション料金

自動バックアップはVPSなのに必要なの？って気もしますがお安いのでお好みで

その他はXserverと同じく使い道に合わせてお好みで

オススメのプランと比較

※プラン料金に個人的必須なリモートデスクトップ SAL料金を加算しています

私が実際に契約しているのは「メモリ：2GB、CPU：3コア」のプラン

今のところ定期実行にメモリが必要な処理は少ないのでこれで十分

予算との相談もあってこのプランにしましたが「メモリ：4GB、CPU：4コア」が可能ならそちらの方がオススメ（と言うかプラン変更しようか悩んでます）

Xserverでの契約手続き

契約のためのサイトはコチラから

※先にXserverのアカウント登録が必要です

申し込み画面

各項目については以下に

サーバーの種類

今回はWindows Serverを契約したいわけなので”Windowsサーバーのお申し込み“をクリック
※初期値は”VPSのお申し込み“になっています

サーバー名

初期値は”win-yyyy-mm-dd-hh-mm-ss”ですがお好みで変更を

プラン

ここもお好みですが私は24時間Pythonプログラムが実行できれば満足でスペックは一番下の”メモリ：2GB“にしました

サーバーの契約期間

• 1ヶ月
• 12ヶ月
• 24ヶ月
• 36ヶ月

から選ぶのですが、長ければ長い方がお得！（当たり前）

イメージタイプ

契約する対象を選ぶ

サーバーのEdition（プルダウン）はこだわりがなければその時の最新を選んでおけばいいと思う

それと別に契約の組み合わせを選ぶ

• Windows Server
• Windows Server for Remote Desktop
• Windows Server for Remote Desktop+Office（EXCEL、WORD、POWER POINT）

Remote Desktopは使い勝手の都合、個人的には必須

OfficeソフトはMicrosoft 365 (旧Office 365)のライセンスが使えないのでWindows ServerでもOfficeソフトを使いたいなら契約が必要

OfficeはわざわざWindows Serverで使う必要がないかなと思うので私は”サーバー＋Remote Desktop“にしました

ライセンス

リモートデスクトップ SAL

「リモートデスクトップ接続」を利用するために必要なライセンス契約です。
ご利用人数分のご契約が必要です。

とのこと

個人利用だけなら1個で十分ですが誰かにメンテナンスしてほしいとか、共同利用したいとかあれば1～2個余剰を持っていても良いかも

Microsoft Office SAL

「Microsoft Office」を利用するために必要なライセンス契約です。
ご利用人数分のご契約が必要です。

考え方は基本的にリモートデスクトップ SALと同じ

ただ地味にお値段高いので契約するにしても必要最低限にしたいところ

Administratorパスワード 

記載されているポリシーに合わせてご自由に

半角英大文字、半角英小文字、半角数字、半角記号（\^$+-*/|()[]{}.,?!_=&@~%#:;'”）から3種類以上を含んだ9文字以上70文字以内

管理者パスワードだし堅牢にしたいけど考えるのがめんどくさい方は↓↓↓がオススメ

https://www.luft.co.jp/cgi/randam.php

ちなみに全ての契約手続きが終わった後、初回ログインで使うので控えておく

最後に

“「Xserver VPS利用規約」に同意する”にチェックを入れて”お申し込み内容を確認する”ボタンを押下

この後は最終確認と支払い関係の画面なので割愛・・・

契約が終わったら管理ページへ

ログインページ

VPS用のログインページへ

https://secure.xserver.ne.jp/xapanel/login/xvps/

VPS契約管理ページ

色々メニューはありますがとりあえず”VPS管理”画面へ

VPSパネル

契約直後はまだサーバー起動準備中なので右上の電源状態が”稼働中”になるまで待つ

リモートデスクトップ SALを使わないサーバー起動

VPSパネルで電源ステータス左にある”コンソール”ボタンを押下するとWindowsのログイン画面になるのですがまず画面が小さい・・（なんだこの余白は）

そしてロック解除のために画面に従って”Ctrl + Alt + Del”キーを押下すると・・PC本体の方に反応してロック解除されない

結論としては画面右上にある”Send CtrlAltDel”ボタンを押す必要がありました

続いてパスワード入力

申し込み画面で登録していたAdministratorパスワードを入力

私は何となく堅牢な方がいいと思って32桁で半角英大文字、半角英小文字、半角数字、半角記号を全て含んだ乱数にしたのですがこれが仇に・・

もちろんメモは取っていたのですがコピペができない（泣く泣く手打ちしました）

当然パスワードなので堅牢な方がいいですが、この段階ではほどほどに

無事ログインした後の画面がコチラ

やっぱり小っさ！！

ってことで前置きが長くなりましたがリモートデスクトップ SALは契約した方がイライラから解放されるのでお勧めですよって話でした

リモートデスクトップを使ってサーバーに接続

スタートメニューで”Windows アクセサリ → リモートデスクトップ接続”

VPSパネルにIPアドレスを入れて

Administratorパスワードを入れて

Windowsのデスクトップが表示されるので後は好きなようにアプリインストールとかしちゃってくださ（↓はスクショ取り忘れて少しアプリインストールした後です・・）

あとがき

私はこのWindows Serverを使ってクローリングからのXポストやLINE通知をするプログラムを日々実行しています

同じような環境が欲しい人はWindows Serverを契約して、外注でプログラム＆環境構築してもらえれば実現可能なので是非検討をー

本業だけじゃなくてクラウドソーシングの受注でEXCEL＆SeleniumBasicでブラウザ操作ツールを作ることが増えてきたので何回かに分けて作り方とかコツみたいなことをまとめてみます！

EXCELでブラウザ操作ツールを作る理由

最近落ち着いたのかあまり耳にしなくなりましたが、一時期流行っていたRPAツールについて職業柄いくつか触ってきまして・・よく聞く謳い文句としては

• 誰でも簡単に作れる
• アプリケーション不問で操作できる

なんでことを耳にしますが、実際そんなことはなく・・・現実は

• 結局ユーザーはEXCEL操作を希望することが多い
• RPAツールでのEXCEL操作は歯痒いところに手が届かないことがある
• ユーザー希望でEXCEL操作以外はブラウザ（WEBアプリ）操作がほぼ
• EXCELとブラウザ以外のアプリは結局RPAツールで連携しにくい
• プログラミング知識はいらなくても結局RPAツール知識がいる
• プログラミング知識もゼロだと厳しい（知識と言うか経験？）

ので、結局のところEXCEL（VBA）でブラウザ操作できれば大体の要望満たせるんじゃないかと

さらにRPAツールのライセンスって有償のものも多く「触る機会が少ない≒自己学習が難しい」のはマイナスポイント

ついでに有償ツールだとクラウドソーシングでの募集も少なく活躍の場がないんですよね・・・

とどのつまり「EXCEL（VBA）とSeleniumが使いこなせれば十分」って結論に至り、公私で活躍しています

まずは環境づくり

EXCELはそこにWindowsPCがあればきっとインストールされているでしょう

macOSの方はSeleniumがインストールできないのでここでお別れです・・
※2023/03時点では私が知らないだけで何か方法があるかもです

SeleniumBasicのインストールは過去記事のコチラを参照ください

VBEの参照設定

VBEの画面で参照設定からSeleniumを有効に

ツール　→　参照設定　→　Selenium Type Library

有効になると当然ながらオブジェクトブラウザーにSeleniumが追加されてクラスやメンバーを見ることができるようになる

サンプルコード

めちゃめちゃ簡単なサンプルコードがコチラ↓↓

Google検索で”ジャベ雄”を検索してこのサイトのページを見つけたらクリックで開きます

Sub Sample()
Dim driver As Selenium.ChromeDriver
Dim By As New Selenium.By
Dim element As Selenium.WebElement

Set driver = New Selenium.ChromeDriver
With driver
    '---Chromeを立ち上げる
    .Start
    '---Google検索へ移動
    .Get "https://www.google.com/"
    '---検索ウィンドに"ジャベ雄"を入力
    .FindElement(By.Css("textarea[type=search]")).SendKeys "ジャベ雄"
    .Wait 1000
    '---Google 検索ボタンを押下
    .FindElement(By.Css("input[value=""Google 検索""]")).Click
    .Wait 1000
    '---検索結果の中からこのサイト（"https://javeo.jp/"の前方一致だったらタイトルリンクをクリック
    For Each element In .FindElements(By.Css("#search > div > div"))
        If element.FindElement(By.Css("div > div > div > div > a")).IsDisplayed Then
            If element.FindElement(By.Css("div > div > div > div > a")).Attribute("href") Like "https://javeo.jp/*" Then
                Call element.FindElement(By.Css("div > div > div > div > a")).Click
                .Wait 1000
                Exit For
            End If
        End If
    Next
    '---Chromeを閉じる
    .Close
End With
Set driver = Nothing
End Sub

あとがき

こんな感じでEXCELでもツールを作れるよ！てことの布教第一歩でした

Seleniumの使い道ってスクレイピングだよね？って感覚もありますが私が仕事で使う時は

1. 業務システムAからCSVでデータ取得
2. EXCELで一覧加工
3. 業務システムBにEXCELの一覧を元に登録

のような事務職あるあるの時に使っているのでブラウザ操作と言い張らせていただきました！

初級編と中級編（できれば上級編も）のページも近く作りたいのでまた見に来てくださいm(_ _)m