WEKO3
アイテム
Fairness-based Evaluation of Conversational Search: A Pilot Study
https://doi.org/10.20736/0002001350
https://doi.org/10.20736/00020013500001f7e9-9796-4503-8612-6726974162fe
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
01-EVIA2023-EVIA-SakaiT.pdf (1.7 MB)
|
|
| アイテムタイプ | デフォルトアイテムタイプ（フル）(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-12-12 | |||||||
| タイトル | ||||||||
| タイトル | Fairness-based Evaluation of Conversational Search: A Pilot Study | |||||||
| 言語 | en | |||||||
| 作成者 |
Tetsuya Sakai
× Tetsuya Sakai
|
|||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | conversational search | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | dialogue systems | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | evaluation | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | fair ranking | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | group fairness | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | NTCIR | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | web search | |||||||
| 内容記述 | ||||||||
| 内容記述タイプ | Abstract | |||||||
| 内容記述 | NTCIR-17 introduced the FairWeb-1 task,which evaluated web page rankingsin terms of both relevance and group fairness.The present study shows how their evaluation frameworkcan be extended for the evaluation ofmulti-turn, textual conversational search systems.By using the full test topic set of FairWeb-1to harvest actual user-system conversations from the New Bing and Google Bard,we demonstrate how a series of system turns can be evaluatedusing our evaluation framework,which we callGFRC (Group Fairness and Relevance of Conversations).In addition, based onobservations from our pilot experiment,we briefly discuss a few open questions in human-in-the-loopevaluation of conversational search in general. | |||||||
| 言語 | en | |||||||
| 出版者 | ||||||||
| 出版者 | NII Institutional Repository | |||||||
| 言語 | en | |||||||
| 日付 | ||||||||
| 日付 | 2023-12-12 | |||||||
| 日付タイプ | Issued | |||||||
| 日付 | ||||||||
| 日付 | 2023-09-12 | |||||||
| 日付タイプ | Updated | |||||||
| 言語 | ||||||||
| 言語 | eng | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||
| 資源タイプ | conference paper | |||||||
| ID登録 | ||||||||
| ID登録 | 10.20736/0002001350 | |||||||
| ID登録タイプ | JaLC | |||||||
| 関連情報 | ||||||||
| 関連タイプ | isReferencedBy | |||||||
| 識別子タイプ | URI | |||||||
| 関連識別子 | https://research.nii.ac.jp/ntcir/ntcir-17/index.html | |||||||
| 言語 | en | |||||||
| 関連名称 | NTCIR-17 Conference | |||||||
| 開始ページ | ||||||||
| 開始ページ | none | |||||||
| 会議記述 | ||||||||
| 会議名 | NTCIR-17 Conference | |||||||
| 言語 | en | |||||||
| 回次 | 17 | |||||||
| 主催機関 | National Institute of Informatics | |||||||
| 言語 | en | |||||||
| 開始年 | 2023 | |||||||
| 開始月 | 12 | |||||||
| 開始日 | 12 | |||||||
| 終了年 | 2023 | |||||||
| 終了月 | 12 | |||||||
| 終了日 | 15 | |||||||
| 開催期間 | December 12-15, 2023 | |||||||
| 言語 | en | |||||||
| 開催会場 | National Institute of Informatics | |||||||
| 言語 | en | |||||||
| 開催国 | JPN | |||||||
