スキルのレポートについて

---

ユーザーがどのようにAlexaスキルと対話しているかを開発者側で把握できるよう、スキルの使用状況のメトリクスレポートを生成するツールが提供されています。使用状況メトリクスには、ユニークユーザー数や、特定のインテント対話パスを呼び出したユーザーの割合などが含まれます。スキルのメトリクスレポートを表示するには、Alexa Skills Kit開発者コンソールのレポートページを参照してください。レポートAPIを使用してスキルのメトリクスレポートにアクセスすることもできます。

Alexaスキルのレポートダッシュボードへのアクセス

Alexa開発者コンソールのレポートダッシュボードにアクセスしてレポートの生成方法を確認するには、スキルの使用状況のレポートを参照してください。

スキルで利用できるメトリクスの種類

カスタムスキルやスマートホームスキルなど、スキルのカテゴリーごとにさまざまなメトリクスレポートを利用できます（会議スキルで利用できるメトリクスレポートはありません）。 多くのメトリクスレポートは、スキルが開発中でも公開中でも利用できます。開発者コンソールのテストページからの呼び出しは、すべてのメトリクスレポートのデータから除外されます。

次の表に、スキルで使用できるメトリクスレポートのカテゴリー概要を示します。

メトリクス	説明	スキルの種類
アクション	アクションあたりのユニークユーザー、アクションの総数、アクションあたりの発話総数です。	スマートホーム
ユーザー	このメトリクスの定義はスキルの種類によって異なります。 カスタムスキル、フラッシュブリーフィング、スマートホームスキルの場合、このメトリクスは、スキルにアクセスしたユニークユーザー数の合計を表します。 音楽スキル、ラジオスキル、ポッドキャストスキルの場合、このメトリクスは、再生キューを作成したユニークユーザー数の合計を表します。	カスタム フラッシュブリーフィング スマートホーム 音楽、ラジオ、ポッドキャスト
インテント	インテントあたりのユニークユーザー、インテントあたりの発話総数、インテントの総数、失敗したインテントです。	カスタム
対話パス	スキルと対話する際にユーザーが使用するパスです。たとえば、LaunchRequestの後に特定のインテントを呼び出したユーザーの割合を確認できます。	カスタム
再生キュー	再生キューの数、ユーザーあたりの平均再生キュー、再生キューの合計時間、再生キューの平均継続時間、ユーザーあたりの再生キュー継続時間です。	音楽、ラジオ、ポッドキャスト
再生	30秒以上続いた再生キューの割合（%）です。	音楽、ラジオ、ポッドキャスト
再生	ユーザーがスキルのコンテンツを再生した総回数です。	フラッシュブリーフィング
リテンション率（公開中のスキルのみ）	ユーザーグループ（コホート）ごとのスキル使用率の時間推移です。12週の間にスキルの使用を再開したユーザーの数または割合を確認できます。	カスタム
セッション	セッションの総数、成功終了セッションの種類（エラー終了しなかったセッション）、ユーザーあたりの平均セッション数です。セッションの総数に対するタイプ別の内訳（成功、失敗、応答なしの割合）も含まれます。	カスタム
トップメディアコンテンツ	最も再生されたコンテンツ項目です。	音楽、ラジオ、ポッドキャスト
発話	スキルのカテゴリーによって発話のメトリクスレポートの内容が異なります。 カスタムスキルの場合、これらのメトリクスには、発話の総数、平均発話数、発話応答が含まれます。 スマートホームスキルの場合、これらのメトリクスには、発話の総数とユーザーあたりの平均発話数が含まれます。	カスタム スマートホーム

スキルのメトリクスの概要

レポートページの概要セクションには、スキルで利用できるメトリクスの概要が表示されます。各メトリクスは、チャートやグリッドなどで可視化して表示できます。これらのメトリクスデータは、PNG画像またはJPEG画像として書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。

Skill Quality Coach

Skill Quality Coachは、成功を収めているスキルによくあるアトリビュートについてスキルを分析し、品質スコアと改善のための推奨事項を生成します。これらの推奨事項を使用して、品質の高いAlexaスキルを作成し、ユーザーエンゲージメントを向上させることができます。

現時点でSkill Quality Coachを利用できるのは、米国（英語）ロケールで、ユーザーフィードバックを正確に測定するのに十分な数の月間アクティブユーザー数を獲得している、公開中のカスタムスキルです。

品質スコア

スキル品質スコアメトリクスは複合スコアです。スキルの完成度とユーザーフィードバックの効果を、0～5のスケールで測定します。

品質スコアは、次のスキルアトリビュートに基づきます。

• マルチモーダル応答と音声応答の豊富さ
• 音声対話モデルの適用範囲と精度
• コンテンツの新鮮さ、魅力、パーソナライズされているかどうか
• スキルエンドポイントの健全性（信頼性や遅延など）

品質スコアは、次の情報に基づいてユーザーフィードバックを評価します。

• ユーザーを惹きつけるかどうか。アクションを起こしたユーザー数、リピーター数、使用をやめたユーザー数を含む。
• ユーザーフィードバック。評価とレビューを含む。

これらのメトリクスを総合して、0～5の品質スコアを生成します。次の表は、メトリクスとスコアの関係を示しています。

	低いユーザーフィードバック	高いユーザーフィードバック
よくあるスキルアトリビュートが少ない	0～1	1～3
よくあるスキルアトリビュートが多い	1～3	3～5

推奨インサイト

Skill Quality Coachは、品質スコアを向上させるための推奨インサイトを提供します。各推奨事項は、スキルの種類とアトリビュートに基づいており、改善するために見込まれる作業が含まれます。スキルの品質を改善するには、推奨事項を実装してスキルを再公開します。

Skill Quality Coachは、次の情報に基づいて推奨事項を提供します。

• 類似スキルの高品質なデザイン機能に照らしたスキルの自動評価。
• スキルの入念な評価に基づいて、選ばれたスキルに対する推奨事項を精選するスキルインサイトチーム。

インサイトの評価を向上させるため、推奨事項についてフィードバックを提供することができます。推奨事項に同意する場合は賛同、同意できない場合は却下のフィードバックを提供してください。

スキルの有効化とトークン取得のメトリクス

アカウントリンクを使用するスキルの場合、レポートページにアカウントリンクセクションが表示され、スキルの有効化とトークンの取得に関するメトリクスを確認できます。これらのメトリクスは、公開中のスキルで利用できます。

これらのメトリクスについて理解するには、まずアカウントリンクの開始と完了について理解する必要があります。詳細については、アカウントリンクとはを参照してください。

以下の表は、スキルの有効化で確認できるメトリクスの一覧です。これらのメトリクスには、確認した時間の2日前までのデータが表示されます。

メトリクス	説明	スキルの種類
有効化総数	このメトリクスの定義はスキルの種類によって異なります。 アカウントリンクを使用しないカスタムスキル、すべてのフラッシュブリーフィングスキル、アカウントリンクを使用しない音楽スキル、ラジオスキル、ポッドキャストスキルの場合、メトリクスはスキルを有効にしたユニークユーザー数の合計を表します。 スマートホームスキル、ビデオスキル、ベビーアクティビティスキルの場合、メトリクスはスキルを有効にし、アカウントリンクを完了したユニークユーザー数の合計を表します。 スキルを有効化しても、そのスキルを起動しないユーザーもいます。ユニークユーザー数としてカウントされるのはスキルを起動したユーザーです。ユーザーによる有効化の数とユニークユーザー数に差が出るのはこのためです。	カスタム（アカウントリンクを使用しないもの） フラッシュブリーフィング 音楽、ラジオ、ポッドキャスト（アカウントリンクなし） スマートホーム ビデオ
アカウントリンクイベントの総数	アカウントリンクの開始総数と完了総数の合計です。	カスタム（アカウントリンクを使用するもの） 音楽、ラジオ、ポッドキャスト（アカウントリンクあり） スマートホーム ビデオ
アカウントリンク完了率	アカウントリンクの正常完了率です。アカウントリンクの開始総数に対するアカウントリンクの完了総数の割合です。 Alexaアプリでのアカウントリンク（AlexaアプリのみのフローとAlexaアプリから開始されたアプリ間のアカウントリンク）と、アプリでのアカウントリンク（アプリ間アカウントリンクとLogin with Amazonのフォールバックフロー）を別々に確認できます。	カスタム（アカウントリンクを使用するもの） 音楽、ラジオ、ポッドキャスト（アカウントリンクあり） スマートホーム ビデオ

トークン取得メトリクス

以下の表は、トークン取得で確認できるメトリクスの一覧です。これらのメトリクスは、ほぼリアルタイム（送信の数分後以内）で表示されます。

メトリクス	説明	スキルの種類
アクセストークンのリクエスト： 成功率	Alexaサービスからスキルの認可サーバーへの、アクセストークンのリクエストが成功した割合です。詳細については、Authorization Code Grantフローの概要を参照してください。	カスタム（アカウントリンク、Authorization code grantを使用するもの） 音楽、ラジオ、ポッドキャスト（アカウントリンクあり） スマートホーム
アクセストークンの更新リクエスト： 成功率	Alexaサービスからスキルの認可サーバーへの、アクセストークンの更新リクエストが成功した割合です。詳細については、Authorization Code Grantフローの概要を参照してください。	カスタム（アカウントリンク、Authorization code grantを使用するもの） 音楽、ラジオ、ポッドキャスト（アカウントリンクあり） スマートホーム
アクセストークンのリクエスト： エラー応答	Alexaサービスからスキルの認可サーバーへの、アクセストークンリクエストに対するエラー応答の数です。OAuth 2.0からのエラーの詳細については、OAuth 2.0認証フレームワーク仕様のError Responseを参照してください。Alexaサービスが認識できないOAuth 2.0エラーを受け取った場合、UNKNOWN_ERROR_CODEとして表示されます。TRANSIENT_ERRORは、Alexaサービスがパートナーサービスと通信できなかったことを表します。その他のエラーの場合、Alexaはnullエラーを返します。	カスタム（アカウントリンク、Authorization code grantを使用するもの） 音楽、ラジオ、ポッドキャスト（アカウントリンクあり） スマートホーム
アクセストークンの更新リクエスト： エラー応答	Alexaサービスからスキルの認可サーバーへの、アクセストークンの更新リクエストに対するエラー応答の数です。OAuth 2.0からのエラーの詳細については、OAuth 2.0認証フレームワーク仕様のError Responseを参照してください。Alexaサービスが認識できないOAuth 2.0エラーを受け取った場合、UNKNOWN_ERROR_CODEとして表示されます。TRANSIENT_ERRORは、Alexaサービスがパートナーサービスと通信できなかったことを表します。その他のエラーの場合、Alexaはnullエラーを返します。	カスタム（アカウントリンク、Authorization code grantを使用するもの） 音楽、ラジオ、ポッドキャスト（アカウントリンクあり） スマートホーム

運用メトリクス

レポートページの運用メトリクスセクションでは、検出、機能ディレクティブ、状態レポートの各ページに、それぞれデバイス検出、デバイス制御、状態クエリリクエストについてのレイテンシーと成功率のメトリクスが表示されます。各メトリクスは、チャートやグリッドなどのグラフィックスで可視化して表示されます。これらのグラフィックスデータは、PNGまたはJPGファイル形式で書き出すことができます。また、CSV形式で生データをダウンロードすることもできます。

運用メトリクスのレポートは、次の分析に基づきます。

• レイテンシー – レイテンシーは、Alexaがスキルにリクエストを送信してから応答を受け取るまでの時間です。レイテンシーは、P99、P90、P50などのパーセンタイルを使用して測定されます。レイテンシーグラフのデータを選択メニュー（円アイコンで囲まれた3つの縦のドット）を使用して、パーセンタイル統計情報や平均を選択します。1つのグラフに複数の統計情報のオプションが表示されます。

  Works with Alexa認定を維持するには、製品の機能ディレクティブの最大レイテンシーをP90で1000ミリ秒、P50で800ミリ秒にする必要があります。詳細については、Works with Alexa認定要件を参照してください。

• 成功率 – 成功率は、Alexaがスキルから受信した成功応答の合計数を、Alexaがスキルに送信したリクエストの合計数で割った数です。
• リクエスト量 – レイテンシーと成功率のグラフのリクエスト量は、2番目のY軸に表示されます。グラフのデータを選択メニュー（円アイコンで囲まれた3つの縦のドット）を使用して、リクエスト量のオン／オフを切り替えることができます。

• 正確率 – 正確率は、ReportStateディレクティブに対する応答が、以前に送信された変更レポートと一致した割合を示します。

  Works with Alexa認定を維持するには、変更レポートの精度が97%に達する必要があります。詳細については、Works with Alexa認定要件を参照してください。

運用メトリクスでは、次のレポートを利用できます。

• 検出 – Alexaはスキルに検出リクエストを送信して、ユーザーのスマートデバイスを検出します。検出ページには、スキルに対するすべての検出リクエストについてのレイテンシーと成功率のグラフが表示されます。検出の詳細については、Alexa.Discoveryインターフェースを参照してください。
• 機能ディレクティブ – ユーザーがAlexaにスマートデバイスの制御を依頼すると、Alexaは機能（ライトを点灯するなど）をトリガーするディレクティブリクエストをスキルに送信します。機能ディレクティブのページには、レイテンシータブと成功率タブがあります。どちらのタブにも、複数のグラフが表示されます。1つはすべての機能ディレクティブリクエストの集計で、もう1つはスキルでサポートされているすべての機能ごとに表示されます。機能のグラフには、すべてのディレクティブにわたる集計と、その機能に含まれるすべてのディレクティブについてのディレクティブごとの内訳が表示されます。機能ディレクティブの詳細については、スキルがサポートする各インターフェースのドキュメントを参照してください。
• 状態レポート – Alexaはエンドポイントの状態についての情報をリクエストするために、ReportStateディレクティブを送信します。状態レポートページには、スキルに対するすべての状態レポートリクエストについてのレイテンシーと成功率のグラフが表示されます。状態レポートの詳細については、スマートホームスキルの状態レポートについてを参照してください。
• 変更レポート – デバイスの状態が何らかの理由で変化した場合（例：ライトの点灯）、デバイスはChangeReportイベントでその変化をAlexaにレポートします。その後、Alexaはユーザーに最新の状態を提供できます。変更レポートのページには、これらの変更レポートのレイテンシーと正確率が表示されます。
  • レイテンシー – レイテンシーは、Alexaがスキルにディレクティブを送信してから変更レポートを受け取るまでの時間です。レイテンシーにはAlexaに指示した操作のみが含まれ、人が実際に照明を点けるといったその他の操作は含まれません。一部のAlexa機能についてはレイテンシーチャートを利用できません。

  • 正確率 – 正確率は、ReportStateディレクティブに対する応答が、以前に送信された変更レポートと一致した割合を示します。正確率には手動、Alexaへの指示のいずれの状態変更も含まれます。つまり、ユーザーが手動で照明を点けた場合もAlexaにリクエストした場合もどちらも対象となります。

    注： 変更レポートで生成されるレイテンシーと正確率の数に不一致が見られることがあります。これは想定内の差分です。正確率にはすべてのデバイスの状態変更が含まれるのに対し、レイテンシーにはAlexaに指示したデバイスの状態変更レポートしか含まれないためです。

    変更レポートの詳細については、ChangeReportイベントを使用して状態をレポートするを参照してください。

パフォーマンスメトリクス

スキルのパフォーマンスメトリクスを使用して、スキルの性能を確認します。

• エンドポイントのレイテンシー - エンドポイントのレイテンシーを使用すると、ユーザーの発話に対するスキルの応答性を確認できます。エンドポイントのレイテンシーの高いスキルは応答が遅く、ユーザーがもどかしさを感じる可能性があります。
• エンドポイントのレスポンス - エンドポイントのレスポンスメトリクスは、一定の期間ごとにスキルが応答に成功した数と失敗した数を示します。スキルの応答がない場合、ユーザーは困惑し、満足度の低下につながります。ユーザーがスキルに応答しない場合、エンドポイントのレスポンスメトリクスのスコアは低下します。
• インテントの信頼度 – インテントの信頼度メトリクスは、音声対話モデルのパフォーマンスを示します。信頼度設定のオプションは、高、中、低です。ユーザーリクエストの信頼度が低い場合、インテントリクエストはスキルに送信されず、再プロンプトが発生します。これは、ユーザーエクスペリエンスの低下につながります。

• Estimated System Errors – Estimated System Errorsメトリクスは、ASR/NLUやコンテキストから読み取ったシステムシグナルに基づいて、潜在的な会話ターンの成功率を予測します。このメトリクスを使用すると、頻繁に対話に失敗する発話を見直して経時的なスキル改善の累計を確認し、さらに精度を上げるためにスキルを変更できます。

  注： Estimated System Errorsメトリクスは、en_US、en-GB、de-DEのトラフィックの高いスキルで利用できます。

収益化メトリクス

収益化機能を含むスキルの場合、メトリクスは収益化に表示されます。

Alexaには、有料スキルとスキル内商品の3つの支払いモデルがあります。

• 買い切り型 – 1回の購入トランザクションで、スキル自体へのアクセスまたはスキル内でプレミアムコンテンツへのアクセスのロックを解除します。たとえば、有料スキルへのアクセスやゲーム内の新しいレベルへのアクセスです。買い切り型には有効期限がありません。
• サブスクリプション型 – 購入により、一定期間にわたってスキルまたはプレミアムスキルコンテンツへのアクセスを提供します。ユーザーがサブスクリプションをキャンセルするまで定期的に課金されます。無料お試しを提供する場合は、お試し期間の終了後、有料サブスクリプションによるアクセスに切り替わります。
• 消費型 – （スキル内商品のみ）購入により、ゲーム内通貨や追加ライフといったコンテンツへのアクセスのロックを解除します。ユーザーがコンテンツを消費したり使い果たしたりした場合は、繰り返し購入する場合があります。

以下の表は、収益化で確認できるメトリクスの一覧です。

メトリクス	説明	適用される種類
総購入回数	あるスキルにおいて、すべての購入に対するオファーが受諾された合計回数です。消費型の場合は、同一ユーザーが繰り返し購入した場合も、総購入回数に含まれます。	買い切り型と消費型
購入回数	スキル内の買い切り型または消費型の各商品に対してオファーが受け入れられた回数です。消費型の場合は、繰り返し購入も購入回数に含まれます。	買い切り型と消費型
オファーのインプレッション	ユーザーにAmazonから購入を促すプロンプト（スキルまたは商品と価格を提示）が表示され、それによって購入するかしないかを決定した回数の合計です。オファーのインプレッションには、無料トライアルと有料オファーの両方が含まれます。消費型の場合は、同一アイテムの初回購入と繰り返し購入の両方が含まれます。オファーのインプレッションには、upsellディレクティブで提供されるメッセージは含まれません。	買い切り型、消費型、サブスクリプション型
課金コンバージョン率	課金に至ったオファーのインプレッションの割合です。	買い切り型と消費型
アクティブサブスクリプション	スキルのアクティブなサブスクリプションの合計数を表します。後日有効期限が切れる有料サブスクリプションも含まれます。	サブスクリプション型
トライアルからのコンバージョン率	有料サブスクリプションに至った体験版サブスクリプションの割合を表します。	サブスクリプション型
開始されたサブスクリプション	新規サブスクリプションの合計数です。	サブスクリプション型
終了したサブスクリプション	ユーザーがキャンセルしたトライアルサブスクリプションまたは期限が切れた有料サブスクリプションの合計数です。ユーザーが有料サブスクリプションを取り消した場合、ユーザーの課金期間が終了するまで、サブスクリプションはアクティブな状態です。	サブスクリプション型
チャーン	期限が切れたか、ユーザーがキャンセルしたアクティブな有料サブスクリプションの割合です。	サブスクリプション型
オファーのコンバージョン率	ユーザーが新規トライアルまたは有料サブスクリプションのサインアップに至ったオファーのインプレッションの割合です。	サブスクリプション型
オファーの成立したアップセル	（スキル内商品のみ）購入に至ったアップセルのインプレッションの割合です。オファーの成立したアップセルは、upsellディレクティブを使用している場合のみ利用できます。	買い切り型、消費型、サブスクリプション型
アップセルコンバージョン率	（スキル内商品のみ）購入に至ったアップセルのインプレッションの割合です。このメトリクスは、upsellディレクティブを使用している場合のみ利用できます。	買い切り型、消費型、サブスクリプション型

Alexaショッピングアクションのメトリクス

Alexaには、カスタムスキルのショッピングアクションのカテゴリーが2つあります。

• カートに追加アクション – ユーザーがスキルに商品をAmazonショッピングカートに追加するようリクエストします。その後、ユーザーはAmazonに移動して購入を行います。
• ほしい物リストに追加アクション – ユーザーがスキルに商品をAmazonほしい物リストに追加するようリクエストします。
• 購入アクション – ユーザーがスキルセッション中にリクエストした商品を購入します。
• 商品のお勧めアクション – ユーザーがスキルのお勧めする商品について詳細情報を得ることに同意します。

メトリクス	説明
カートへの追加の提案	スキル内で商品をお勧めした回数の合計。
カートへの追加コンバージョン	商品のお勧めのうち、ユーザーがカートに追加した回数。
ほしい物リストへの追加の提案	スキル内で商品をお勧めした回数の合計。
ほしい物リストへの追加コンバージョン	商品のお勧めのうち、ユーザーがほしい物リストに追加した回数。
購入アクションの提案	スキル内で商品の購入をお勧めした回数の合計。
購入アクションコンバージョン	商品のお勧めのうち、ユーザーが購入した回数。
商品のお勧め回数	商品のお勧めアクションを使用してスキル内で商品をお勧めした回数の合計。
お勧め商品のカートへの追加コンバージョン	商品のお勧めのうち、ユーザーがカートに追加した回数。
お勧め商品の購入コンバージョン	商品のお勧めのうち、ユーザーが購入した回数。

ユーザー負荷のメトリクス

ユーザー負荷のメトリクスを使って、ユーザーがスキルとどのように対話するかを確認します。Alexaでは、さまざまなユーザーの対話パターンやその他のコンテキストに基づいたシグナルを使用して、ユーザーがスキルとの対話時に負荷を認識したかどうかを予測します。

• ユーザー負荷の概要 – ユーザー負荷の概要ダッシュボードでは、スキルと、Alexaが潜在的なユーザー負荷の原因として特定した頻度の高い発話のリストとの相対的な傾向を確認できます。

• 割り込み - 割り込みメトリクスでは、ユーザーがスキルの応答の途中に割り込んだ頻度を確認できます。割り込みの割合が高い場合、スキルの応答が長い、想定外のアップセルオプション、ユーザーにプロンプトに答える時間を十分に与えていない、といった原因が考えられます。

• 終了 – 終了メトリクスでは、ユーザーがスキルセッションを途中で終了した回数を確認できます。途中で終了する場合は、ユーザーがスキルのスコープ外のリクエストを行った、スロットの認識が正しくない、無指名の呼び出しの使い方が間違っている、といった原因が考えられます。

• 未処理のリクエスト – 未処理のリクエストメトリクスでは、スキルがユーザーリクエストを処理できなかった回数を確認できます。スキルに関連する可能性のある新規ユーザーリクエストが、この未処理のリクエストに該当する場合があります。

関連トピック

• スキルメのレポートの表示 — Alexaスキルで利用可能なメトリクスのデータを表示し、可視化する方法について説明します。
• スキルパフォーマンスメトリクスの理解とトラブルシューティング — メトリクスレポートをどのように解釈するかについて説明します。
• トラブルシューティング用にメッセージIDをダウンロードする — スキルエラーとレイテンシーの問題を解決するためのメッセージIDログの取得について説明します。
• スキルメトリクスに関するよくある質問 — Alexaスキルのメトリクスと使用状況に関するよくある質問（FAQ）です。

---

---

最終更新日: 2022 年 12 月 02 日