WEKO3
アイテム
Evaluating Group Fairness and Relevance in Conversational Search: An Alternative Formulation
https://doi.org/10.20736/0002002107
https://doi.org/10.20736/0002002107f7e9fcac-4f40-4da0-a6e7-23ee53a85bb9
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
03-EVIA2025-EVIA-SakaiT.pdf (1.7 MB)
|
|
| アイテムタイプ | デフォルトアイテムタイプ（フル）(1) | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 公開日 | 2025-06-06 | |||||||||||
| タイトル | ||||||||||||
| タイトル | Evaluating Group Fairness and Relevance in Conversational Search: An Alternative Formulation | |||||||||||
| 言語 | en | |||||||||||
| 作成者 |
Tetsuya Sakai
× Tetsuya Sakai
× Sijie Tao
× Young-In Song
|
|||||||||||
| 内容記述 | ||||||||||||
| 内容記述タイプ | Abstract | |||||||||||
| 内容記述 | The Conversational Search (CS) Subtask of the NTCIR-18 FairWeb-2 Task used Sakai's GFRC (Group Fairness and Relevance for Conversations) measure for evaluating the participating systems. As the Relevance and Group Fairness components were not directly integrated in GFRC and the measure lacked a clear user model, the present pilot study discusses an alternative called GFRC2. By directly transferring the general idea of the GFR (Group Fairness and Relevance) framework for web search to the task of evaluating generated conversations, we formulate GFRC2 as a form of expected user experience for a population of users who go through the words within the conversation. This also lets us visualise the Relevance and Group Fairness component scores for each cluster of users who are assumed to abandon the conversation at a particular relevant nugget. We demonstrate the steps of computing GFRC2 using real runs from the FairWeb-2 CS Subtask. |
|||||||||||
| 言語 | en | |||||||||||
| 出版者 | ||||||||||||
| 出版者 | NII Institutional Repository | |||||||||||
| 言語 | en | |||||||||||
| 日付 | ||||||||||||
| 日付 | 2025-06-06 | |||||||||||
| 日付タイプ | Issued | |||||||||||
| 言語 | ||||||||||||
| 言語 | eng | |||||||||||
| 資源タイプ | ||||||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||||||
| 資源タイプ | conference paper | |||||||||||
| ID登録 | ||||||||||||
| ID登録 | 10.20736/0002002107 | |||||||||||
| ID登録タイプ | JaLC | |||||||||||
| 関連情報 | ||||||||||||
| 関連タイプ | isReferencedBy | |||||||||||
| 識別子タイプ | URI | |||||||||||
| 関連識別子 | https://research.nii.ac.jp/ntcir/evia2025/index.html | |||||||||||
| 言語 | en | |||||||||||
| 関連名称 | EVIA 2025 | |||||||||||
| 開始ページ | ||||||||||||
| 開始ページ | none | |||||||||||
| 会議記述 | ||||||||||||
| 会議名 | EVIA 2025 | |||||||||||
| 言語 | en | |||||||||||
| 回次 | 11 | |||||||||||
| 主催機関 | National Institute of Informatics | |||||||||||
| 言語 | en | |||||||||||
| 開始年 | 2025 | |||||||||||
| 開始月 | 6 | |||||||||||
| 開始日 | 10 | |||||||||||
| 終了年 | 2025 | |||||||||||
| 終了月 | 6 | |||||||||||
| 終了日 | 10 | |||||||||||
| 開催期間 | June 10-13, 2025 | |||||||||||
| 言語 | en | |||||||||||
| 開催会場 | National Institute of Informatics | |||||||||||
| 言語 | en | |||||||||||
| 開催国 | JPN | |||||||||||
