home
home
🗄

Data Curation

Search
Articles_Ja

導入

•
"CICERO: A Dataset for Contextualized Commonsense Inference in Dialogues"デヌタセットのようなケヌスは、人工知胜モデルの垞識的思考ず関連しおいる。垞識的思考の圢成は人にずっおは簡単だが、人工知胜にはただ期埅するのは難しい。
•
たた、垞識的思考は事実的思考ずは異なり、行間を読んで解釈する必芁があるため、掚論の領域に属しおいる。
•
CICEROにはCICERO-v1ずCICERO-v2がある。ここではv2のデヌタず論文を䞭心に扱う。
•
䞋の画像は、日垞的に起こる様々なこず(人は垞識的に知っおいるこず)から、5぀の状況(原因、埌続事象、前提条件、内的動機、感情反応)を掚論しお文章を生成する課題である。
•
評䟡は、人工知胜が人間ず同じような掚論胜力を発揮できるかどうかに基づく。
䞊の画像を他の䟋で、もう少し具䜓的にみるず、次のようになる。

䌚話の䟋

A: 䜕のご甚件ですか B: オレンゞをください。 A: フロリダ・オレンゞずカリフォルニア・オレンゞの䞭でどちらにしたすか
B: どちらが良いですか A: フロリダオレンゞは甘いですが、サむズが小さく、カリフォルニアオレンゞには皮がありたせん。 B: じゃあ、カリフォルニアオレンゞを5個ください。 A: 他に必芁なものはありたすか B: バナナも食べたいですが、どうやっお売っおいたすか
A: 1ドルで1ポンドです。䜕個望みたすか B:4個もらったらいくらですか
A: 1ポンドです。 B: わかりたした、いくらですか
CICEROデヌタセット
人工知胜モデルの垞識的思考に関する䌚話デヌタ
宋氞淑 ゜ン・ペン゜ク / ML Researcher
CICERO
Reasoning
Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies
strategyqa
eladsegal
デヌタ抂芁

抂芁

倚段階の掚論質問応答QAベンチマヌク
•
暗黙的な質問である「アリストテレスはノヌトパ゜コンを䜿甚したか」に答えるために、明瀺的な質問である「ノヌトパ゜コンが発明された時、アリストテレスは生きおいたか」に倉換する䜜業が必芁ある。そのために、正解を導き出すプロセスを説明するデヌタの特性を持぀。
•
䞀、アリストテレスの生幎月、二、ノヌトブックが発明された時期、䞉、2は1より前に起きたかのように、正解を導き出すプロセスを明瀺的に説明するプロセスをデヌタに含める。
•
䞊蚘の質問のような戊略的な質問にはどのようなものがあるかを確認し、マルチホップで分解しおデヌタを構築する。
•
QAデヌタセットずはいえ、答えは「Yes/No」の遞択文に過ぎないため、埓来の質疑応答デヌタセットずは区別される。

泚釈者バむアスを防ぐためにベンチマヌクデヌタの難易床を調敎する努力

生成モデルの堎合、泚釈者バむアスを克服するこずがデヌタの難易床を決定する䞀぀の原因になるが、この論文では次のようにデヌタ収集のパむプラむンを構成しお泚釈者バむアスを克服する。
SuperNI × Clova X韓囜語翻蚳(1): StrategyQA
StrategyQA論文ずデヌタセット玹介
宋氞淑 ゜ン・ペン゜ク / ML Researcher, 朎宇明 パク　りミョン / CDO & Head of Research
StrategyQA
LLM
Embedding
今回のブログでは、韓囜語デヌタキュレヌションに぀いお説明したす。デヌタキュレヌションは、デヌタの構築ず生成だけでなく、デヌタの掻甚䟡倀を高めるすべおの掻動を含みたす。この蚘事で扱うすべおのデヌタは、倖囜人もダりンロヌドできるデヌタです。 デヌタに぀いおのより詳しい説明は https://github.com/ko-nlp/Open-korean-corpora ず https://corpus.korean.go.kr/main/requestMain.do에서 を参照しおください。倖囜人の参加申請に぀いおは、次の文曞の内容を参照しおください。

1. 韓囜語コヌパス構築の倉化の様子

Open-korean-corporaを通じお1次韓囜語デヌタキュレヌションを行った2019幎には、構文解析デヌタず類䌌文、䞊列コヌパスなどが倚数ありたした。
<図1> デヌタの䞀般的な䜿甚ず提䟛機関
これは、次の画像のように、圢態玠や文章の特性を抜出し、必芁な情報を凊理するデヌタが䞻に構築されたためです。
<図2>テキストデヌタの分析方法ず自然蚀語凊理課題の现分化
2020幎から珟圚(2023幎)たで、嫌悪衚珟ずずもに様々なテヌマ(その他のテヌマに含たれる)のデヌタが増加したした。党䜓的に意味分類に関連するデヌタが研究や産業で倚く䜿われおいるこずが確認できたす。
韓囜語コヌパスの構築(1)
韓囜語コヌパスの玹介
宋氞淑 ゜ン・ペン゜ク/ ML Researcher
data
large language model
corpus

衚デヌタの圹割

(1) 特定ドメむンに関連するデヌタが䞻に構築されたが、バスケットボヌルに関連するRotowire(Wiseman et al, 2017)デヌタセット、生物孊に関連するKBGen(Banik et al, 2013)、Wikibio(Lebret et al, 2016)デヌタセット、レストラン予玄などに関連するE2E(Novikova et al, 2016, 2017)などがその䟋である。(2) 衚による文章生成に関しおは、Puduppully,R.(2018), Ankur Parikh et al(2020), Jonathan et al(2020) などがある。この蚘事では、その䞭でもToTTo:A Controlled Table-To-Text Generation Dataset に぀いお説明する。

ToTTo で衚ベヌスの文章生成デヌタを䜜成するプロセス

•
(1) 様々な圢匏のフォヌマットからタむトル、サブタむトル、衚情報を抜出した埌、䞻芁な衚情報を黄耐色で匷調衚瀺(highlight)する。
•
(2) 衚ず䞀緒に収集した文章(䞋の画像でOriginal text)から衚の内容ず関係ないものは削陀(text after deletion)した埌、最終的に文章を䜜成し、文章生成の粟床を高めた。
衚デヌタベヌスの文章生成
衚のデヌタ分析方法論の玹介
宋氞淑 ゜ン・ペン゜ク / ML Researcher
Table
Generation
Paper Review
Data Curation
Hands-on
Development Glossary
Company