topic RE: GmailのListMessageが不安定 in Japan Community

GmailのListMessageが不安定

ko-kitaura — Mon, 28 Nov 2022 04:58:00 GMT

ビジネスオブジェクト「Email - POP3/SMTP」のListMassageアクションについて教えて下さい。
弊社環境で初めて導入したのですが、成功率がまばらで原因が分かりません。
統計をとっていないので正確な成功率が分かりませんが、少なくとも５割程度だと思います。
最低でも8割くらいに持っていきたいです。
Gmailを使用中ですが同様の事象をご経験された方がいらっしゃればご教示いただきたいです。

[環境]
Gmail法人契約
安全性の低いアプリ：許可
二段階認証：有効
アプリパスワード発行済み

毎回エラーコメントは同様のものが出ます。
エラー：Internal : コードステージによって例外がスローされたため、コードステージを実行できませんでした。転送接続からデータを読み取れません: 既存の接続はリモートホストに強制的に切断されました。。

受信メールをPOP3で取ってきたいのですが、上手くいきません。
送受信サーバーやポートは弊社環境はGmailでよく使われている汎用的なものでした。

開発時、もともとListMassegeは一度も成功しなかったのですが、安全性の低いアプリの許可と、
二段階認証の有効化、アプリパスワード発行をして設定したところ、成功するようになりました。
但し、成功率は冒頭に記載したとおりです。
またSMTPサーバーに接続して送信する分には成功率100%です。

またBluePrism社のサポートとやり取りをしたのですが明確な回答には至りませんでした。
サポートの作成した「コンシューマGmailのアカウントに接続してListMessageをするオブジェクト」を
頂戴して、インポートして弊社環境で実施したところ100%成功しました。
コンシューマGmailは問題なく、弊社の法人版Gmailに何かあるのでしょうか。

以上何卒宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ewilson — Mon, 28 Nov 2022 14:29:00 GMT

Hello @ko-kitaura,

You might want to take a look at the GMail API connector. It is a bit more complex than the POP3/SMTP VBO though and requires different configuration within your Google Workspace environment (to enable OAuth2 and client credentials).

Can you share details of how you've set the properties of the Configure action on the POP3/SMTP VBO?

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

NodokaMatsumoto — Wed, 30 Nov 2022 00:17:00 GMT

@ko-kitaura さん

こんにちは！上記ですが、
POP3/SMTP VBOで、どのように構成アクションのプロパティを設定したか、詳細を教えてくれないかとのことです。可能でしたらシェアしてみてください。

------------------------------
-------------------------------
Nodoka Matsumoto
Customer Success Manager
Blue Prism
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Wed, 30 Nov 2022 00:21:00 GMT

@NodokaMatsumoto さん
ご回答ありがとうございます。
プロパティの設定ですがキャプチャで良いでしょうか。
またオープンな場所なのでアドレス/パスワードは伏せるかたちで良いでしょうか。

以上何卒宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Wed, 30 Nov 2022 00:28:00 GMT

@ewilson さん
ありがとうございます。
キャプチャをお送りしますのでご確認をお願いします。
POP3に関して、成功するときと失敗するときがあるので、一概に間違っているというわけではなさそうです。
SMTPは100%成功します。

宜しくお願いします。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

NodokaMatsumoto — Wed, 30 Nov 2022 00:29:00 GMT

@ko-kitaura さん
はい、問題ないと思います！

@ewilson

>Can you share details of how you've set the properties of the Configure action on the POP3/SMTP VBO?
He will share the screenshot of it, it would be great if you can take a look at it. Thank you!
He mentions in the below comment is;
POP3, I am not sure if my setting is really wrong as there are times when it succeeds and times when it fails.
SMTP is 100% success rate.

------------------------------
-------------------------------
Nodoka Matsumoto
Customer Success Manager
Blue Prism
------------------------------

RE: GmailのListMessageが不安定

ewilson — Wed, 30 Nov 2022 12:51:00 GMT

Hello @ko-kitaura,

Below is a screen shot of how I set up the Configure action. It's pretty much the same as yours. I do have a newer version of the POP3/SMTP VBO than you (evident in the presence of the OAuth2 settings), but that shouldn't have anything to do with your situation. How often are you polling GMail? I know there are bandwidth/polling limitations imposed by the server, so if you're checking to often it will typically respond with an error along the lines of Account exceeded POP command or bandwidth limits.

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Wed, 30 Nov 2022 15:16:00 GMT

@ewilson さん
ご回答ありがとうございます。
パラメータ拝見しました。特に私の設定値と比べて相違は無さそうですね。

さて、ポーリングの間隔とのことですが、現在まだ本稼働前の開発段階です。
デバッグ実行でしか動かしておりませんので、決まった間隔があるわけでございません。

「Account exceeded POP command or bandwidth limits」このルールは初めて知りました。
仮にポーリング感覚が短いことに起因するとしたら、デバッグ実行の際、初回は必ずListMessageが
成功して、2回目以降は上記ルールによってしばらく失敗が続くということになりますでしょうか。
（失敗の発生周期に規則性がある？）

試していないので正確なことは言えませんが、デバッグしていて初回が必ず成功するという確約が
無かったような気がします。一
少しの間、初回実行が成功するか否かに注目してデバッグ実行に取り組んでみます。

以上宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ewilson — Wed, 30 Nov 2022 15:31:00 GMT

@ko-kitaura,

Generally, you should see the first request succeed if that's the first thing you're doing with the mailbox. In other words, you're not calling Get Message or one of the Delete actions on the mailbox multiple times before calling List Messages. If you are seeing the failure on the first request, are you receiving an error response or just not getting back the result data you expect?

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Thu, 01 Dec 2022 00:44:00 GMT

@ewilson さん

ご回答ありがとうございます。
改めて考えたのですが1つ理解できないことがあります。
Gmailの帯域制限ですが、あくまでも対象のアカウントが短時間で大量のメール送信/受信をした際に、制限を受けるという
ことですよね。

今回の処理はRPAでConfigureで認証してから、ListMessageをして、POP3サーバーから受信ボックスの同期をしている
だけであって、Gmailサーバー上でメール受信をしているわけではないのですが、それでもGmailから制約を受けるので
しょうか。

宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Thu, 01 Dec 2022 01:53:00 GMT

@ewilson さん

連続で失礼します。
情報共有ですが、弊社環境で朝から時間を空けてListMessageを2回動かしてみましたが、いずれも1発目では成功しています。
仮説が正しい可能性がでてきました。

少し話はそれますが、
メールの容量に依存するので一概には言えないかと思いますが、今後受信メールをチェックするプロセスを構築するにあたって、
どういった構成にするのが望ましいでしょうか。
今、ListMessageが失敗した際に、ブロックで復元→再開の設定をしているのですが、一度失敗したら、成功した試しがありません。
[再開の際の設定]
・待機：60sec
・リトライ数：5回

ポーリング間隔の話がありましたが、もう少し待機時間を長くとると成功するのでしょうか。

以上何卒宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ewilson — Thu, 01 Dec 2022 17:24:00 GMT

@ko-kitaura,

Something I notice about the VBO is that we only perform a disconnect/close on the POP3 connection when performing a delete action on messages. I'm wondering if we were to expose a Close action if that would help in your situation. In other words, if you receive an error, perform the exception handling, try the action again, and still get an error maybe closing the connection and re-opening might help? Let me think about this a bit.

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

ewilson — Thu, 01 Dec 2022 17:31:00 GMT

@ko-kitaura,

FYI - This page discusses the bandwidth limitations that Google imposes: https://support.google.com/a/answer/1071518?hl=en

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

NodokaMatsumoto — Mon, 05 Dec 2022 01:43:00 GMT

@ewilson

I think you got his messeges right but I share the summery of them for your reference. Hope this helps.

----

Regarding Gmail's bandwidth limit, it means that it will be restricted when the target account sends/receives a large number of emails in a short time, correct?

In this process, ListMessage is executed after authenticating with Configure by RPA, then the inbox is synchronized from the POP3 server, which means it is not receiving emails on the Gmail server. In this case, will there still be restrictions by Gmail?

FYI - In our environment, we took some time off from the morning and tried running ListMessage twice. In both tries, the first one was successful. So my hypothesis could be correct.

FYI-2, I don't think I can generalize it because it depends on the size of the email, but what kind of configuration would be suitable when building a process to check incoming emails?

My current set-up: when ListMessage fails --> Resume with a block, re-start. But it never works once it fails.

[Set up for re-start]

Wait: 60 sec

Retry: 5 times

You mentioned the polling interval. Do you think it would be successful if the wait is a little longer?

------------------------------
-------------------------------
Nodoka Matsumoto
Customer Success Manager
Blue Prism
------------------------------

RE: GmailのListMessageが不安定

ewilson — Mon, 05 Dec 2022 17:09:00 GMT

@ko-kitaura,

The question of bandwidth here is between the Digital Worker and the GMail server. Whether you're retrieving a single email or listing all of the emails in the inbox you are using bandwidth between the client and Google.

What I think we'll do is add a Disconnect or Close action to the VBO. That way yu can essentially reset the VBO and underlying network connection. I think that may help in your situation. We'll get that added today and posted to the DX ASAP.

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

ewilson — Mon, 05 Dec 2022 20:14:00 GMT

Version 10.2 of the VBO has been posted to the DX. It now includes a public action titled Disconnect. I would recommend adding a call to this action in your exception handling logic. So when you get the error from GMail you will disconnect, wait a few seconds, and then try to list the messages again.

https://digitalexchange.blueprism.com/dx/entry/3439/solution/email---pop3smtp

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Fri, 09 Dec 2022 00:05:00 GMT

@ewilson さん
ご回答ありがとうございます。
早速VBOをリリースしていただいたとのことで、非常に助かりました。

弊社環境で取り込みを行ってみたのですが、下記のようなエラーとなってしまい、取り込みが
できませんでした。
Maildata.dllとMimekit.dllが見つからないというエラーのようでした。

弊社のBluePrismのバージョンは7.0.1です。
以上何卒宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ewilson — Fri, 09 Dec 2022 01:21:00 GMT

Hello @ko-kitaura,

Those are additional DLL's that have been added as requirements of the newer versions of this VBO. They're needed to support OAuth authentication with POP3 in some cases.

If you check the asset card on the DX, you should see an additional download option for a zip file that contains those DLLs. Just drop them in the Blue Prism Automate folder and you should be good to go.

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------

RE: GmailのListMessageが不安定

ko-kitaura — Fri, 09 Dec 2022 05:35:00 GMT

@ewilson さん

ありがとうございます。
アセットカードはどこから確認できるのでしょうか。

いただいたDXのリンク内にあるダウンロードボタンをクリックすると「Email - POP3_SMTP v10.2.bprelease」だけが落ちてきます。
zipファイルのダウンロード場所が見当たりません。

以上何卒宜しくお願い致します。

------------------------------
koji kitaura
member
Alpen Co., Ltd.
------------------------------

RE: GmailのListMessageが不安定

ewilson — Fri, 09 Dec 2022 12:55:00 GMT

@ko-kitaura,

By "asset card" I mean the Digital Exchange page where the VBO resides. See the screenshot below. There's a link under the Additional Collateral heading that points to the zip file containing the DLLs.

Cheers,

------------------------------
Eric Wilson
Director, Integrations and Enablement
Blue Prism Digital Exchange
------------------------------