WEKO3
アイテム
Evaluating Systems that Generate Content
https://doi.org/10.20736/0002001541
https://doi.org/10.20736/0002001541bb516dd2-8c51-4ac6-8560-7430b123e679
| 名前 / ファイル | ライセンス | アクション |
|---|---|---|
|
|
|
| アイテムタイプ | デフォルトアイテムタイプ(フル)(1) | |||||||
|---|---|---|---|---|---|---|---|---|
| 公開日 | 2023-12-12 | |||||||
| タイトル | ||||||||
| タイトル | Evaluating Systems that Generate Content | |||||||
| 言語 | en | |||||||
| 作成者 |
Ian Soboroff
× Ian Soboroff
|
|||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | Evaluation | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | Large Language Model | |||||||
| 主題 | ||||||||
| 言語 | en | |||||||
| 主題Scheme | Other | |||||||
| 主題 | Information Retrieval | |||||||
| 内容記述 | ||||||||
| 内容記述タイプ | Abstract | |||||||
| 内容記述 | The astounding emergence of ChatGPT and other AI systems that generate content, and their apparently incredible performance, are an inspiration to the research community. The performance of these LLMs is so impressive it is widely supposed that we can use them to measure their own effectiveness! We have had evaluation methods for generated content, including question answering, summarization, and translation, and in this talk I dust them off and present both a historical view and how we might approach those methods today. tl;dr, we have a lot of work to do. | |||||||
| 言語 | en | |||||||
| 出版者 | ||||||||
| 出版者 | NII Institutional Repository | |||||||
| 言語 | en | |||||||
| 日付 | ||||||||
| 日付 | 2023-12-12 | |||||||
| 日付タイプ | Issued | |||||||
| 言語 | ||||||||
| 言語 | eng | |||||||
| 資源タイプ | ||||||||
| 資源タイプ識別子 | http://purl.org/coar/resource_type/c_5794 | |||||||
| 資源タイプ | conference paper | |||||||
| ID登録 | ||||||||
| ID登録 | 10.20736/0002001541 | |||||||
| ID登録タイプ | JaLC | |||||||
| 関連情報 | ||||||||
| 関連タイプ | isReferencedBy | |||||||
| 識別子タイプ | URI | |||||||
| 関連識別子 | https://research.nii.ac.jp/ntcir/ntcir-17/index.html | |||||||
| 言語 | en | |||||||
| 関連名称 | NTCIR-17 Conference | |||||||
| 開始ページ | ||||||||
| 開始ページ | none | |||||||
| 会議記述 | ||||||||
| 会議名 | NTCIR-17 Conference | |||||||
| 言語 | en | |||||||
| 回次 | 17 | |||||||
| 主催機関 | National Institute of Informatics | |||||||
| 言語 | en | |||||||
| 開始年 | 2023 | |||||||
| 開始月 | 12 | |||||||
| 開始日 | 12 | |||||||
| 終了年 | 2023 | |||||||
| 終了月 | 12 | |||||||
| 終了日 | 15 | |||||||
| 開催期間 | December 12-15, 2023 | |||||||
| 言語 | en | |||||||
| 開催会場 | National Institute of Informatics | |||||||
| 言語 | en | |||||||
| 開催国 | JPN | |||||||