【SikuliX】画面遷移しながら複数箇所を順次クリックする

はじめに

SikuliXとはオープンソースのRPAツールで、事前に用意した画像と画面上のオブジェクトの類似性を元に操作が行えます。
本記事では、画像が一致した複数箇所をクリックし、画面遷移後に戻ってきて別の箇所をクリック、というの繰り返してみました。

自動化例

はてなブックマークのホットエントリー一覧から画面上の記事を全てクリックする。

はてなブックマークは以下のようにXXXUSERSというのが記載されているのでここで検索をかけています。

USERという箇所に狙いを定めてクリックを行い、画面表示後にブラウザの戻るボタンをクリックする流れです。ちなみにブラウザはGoogleChromeです。

コード

Settings.MinSimilarity = 0.8

for i in findAll("1564206907255.png"):
    click(i)
    time.sleep(2)
    click("1564207688048.png")
    time.sleep(2)

画面遷移に時間がかかるため、time.sleep(秒)を挿入しています。
この後に、やりたい自動化作業（スクリーンショット取得やブックマーク登録作業）を入れることも作りこみによっては可能です。

実行結果

ポイント

画面遷移後も戻ってくることができれば順次クリックされます。

終わりに

GUI操作で繰り返し作業が発生しているケースでは本記事の流れは結構使えると思います。
また、SikuliXではスクロールも行えるのでそれを用いると画面いっぱいまで繰り返すことも可能です。

SikuliX自体は無償で利用できるので、興味がある方は再現してみてください。

以上、ご参考になれば幸いです。