home

SuperNI × Clova X韓国語翻訳(1): StrategyQA

Author
宋永淑 ソン・ヨンソク / ML Researcher, 朴宇明 パク ウミョン / CDO & Head of Research
Caregory
Data Curation
Tags
StrategyQA
LLM
Embedding
Published
2024/03/04
Category
5 more properties
Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies
strategyqa
eladsegal
データ概要
データ名
内容
カテゴリー
ドメイン
入力言語
出力言語
task169_strategyqa_sentence_generation
特定の質問が与えられたとき、その質問に答えるために知っておくべき事実を記述する
[質疑応答] Misc
ウィキペディア
英語
英語

概要

多段階の推論質問応答(QA)ベンチマーク
暗黙的な質問である「アリストテレスはノートパソコンを使用したか」に答えるために、明示的な質問である「ノートパソコンが発明された時、アリストテレスは生きていたか」に変換する作業が必要ある。そのために、正解を導き出すプロセスを説明するデータの特性を持つ。
一、アリストテレスの生年月、二、ノートブックが発明された時期、三、2は1より前に起きたか?のように、正解を導き出すプロセスを明示的に説明するプロセスをデータに含める。
上記の質問のような戦略的な質問にはどのようなものがあるかを確認し、マルチホップで分解してデータを構築する。
QAデータセットとはいえ、答えは「Yes/No」の選択文に過ぎないため、従来の質疑応答データセットとは区別される。

注釈者バイアスを防ぐためにベンチマークデータの難易度を調整する努力

生成モデルの場合、注釈者バイアスを克服することがデータの難易度を決定する一つの原因になるが、この論文では次のようにデータ収集のパイプラインを構成して注釈者バイアスを克服する。

アノテーターの作業過程

(1) (CQW, §3.1) 작업자는 용어(T)와 예상 답변(A)을 제시받고 질문(Q)과 답변에 필요한 사실(F1,F2)을 작성
(2) 질문은 작업자가 답을 찾을 것으로 예상되는 위키피디아 페이지의 타이틀(P1,P2)을 중심으로 단계(S1,S2)적으로 질문을 분해(SQD, §3.2).
(3) (EVM, §3.3), 분해 단계에서 위키피디아에서 근거가 될만한 내용(E1, E2)과 일치하도록 구성.
(1) (CQW, §3.1) 作業者は用語(T)と予想回答(A)を提示され、質問(Q)と回答に必要な事実(F1,F2)を作成する。
(2) 質問は、作業者が答えを見つけると予想されるウィキペディアページのタイトル(P1,P2)を中心に段階的(S1,S2)に質問を分解する(SQD, §3.2)。
(3) (EVM, §3.3)、分解段階でウィキペディアで根拠となりそうな内容(E1, E2)と一致するように構成する。

モデルを通じてフィルタリングする

(1) 問題が簡単すぎるかどうかを確認するために、5つの事前学習されたモデル(PTDと呼ばれる)を配布する。5つのモデルのうち4つ以上が正解であった場合、その問題はフィルタリングする。 (2) 収集されたデータによって継続的に微調整しながら、現在の問題セットの偏りを検出するための3つのモデルセット(FNTDと呼ばれる)を使う。3つのソルバーがすべて正解であった場合、その問題はフィルタリングする。

翻訳の使いやすさ

上記のワードクラウドビジュアライゼーションから分かるように、英語に特化したデータと見なされにくく、日本語に翻訳した際にも使用価値が高い。
事実関係を追跡する推論データとして、英語だけでなく日本語でも必要な過程である。

Clova Xの翻訳例

"ポジティブな事例"[... (注) "input":"用語:食用油、説明:植物や動物に由来し、人間が摂取する油です。質問:あらゆる種類の食用油を注ぐことができますか?答え:いいえ」、 "output":"一部の油には、ココナッツオイルやパーム油のように飽和脂肪が含まれています。飽和脂肪は室温で固体の状態です」、 "explanation":"良い答えです。 この質問に答えるためには、両方の事実を知る必要があります。" }、 {キーワード}。 "input":"用語:アリストテレス, 説明:古代ギリシャの哲学者, 質問:アリストテレスはノートパソコンを使用しましたか, 回答: いいえ"、 "output":"事実1: ノートブックは1981年に発明されました\n事実2: アリストテレスは紀元前322年に亡くなりました"、 "explanation":"この質問に答えるためには、ノートブックの発明とアリストテレスの死について知る必要があります。 したがって、これは良い答えです。" } ]です、 "ネガティブな例"[... {キーワード}。 "input":"カシュフセ村はグルジアのアブハジア地方のガガリア地区に位置しています。 したがって、カシュフセはグルジアにあります。"、 "output":"事実1: カシュフセ村はジョージア州アブハジアのガガリア地方に位置しています"、 "explanation":"説明にある情報をもとに事実の項目を書いてはいけません。" } ]です、 "インスタンス"[... {キーワード}。 "id"です:"task169-cfb7a4ed048d47d583c015bc2ae5ed60", "input":"用語:アールデコ(Art Deco)、説明:1920年代にフランスで初めて登場した影響力のある視覚芸術デザインスタイルです。質問:アールデコは1990年代に開催された国際装飾・産業博覧会に基づいたものですか? 回答:いいえ」、 "出力"です:[... "事実1:アールデコは1925年のパリ万国博覧会にちなんで名付けられました。 事実2:ル・コルビュジエは1925年にアールデコをテーマやスタイルとして言及する記事を書きました。 事実3:ル・コルビュジエはフランスの建築家でした。"
Markdown
복사
翻訳の品質だけでなく、フォントの違いも読みやすさに影響を与える可能性があります。
他の翻訳エンジンと比べて、Claudeは読みやすい日本語フォントを使用しているので目を引きました。

Clova Xによる翻訳のメリット

従来の翻訳機に比べ、「プロンプト」やいくつかの例文(few shot)を通じて、希望のトーンを適用して翻訳することができます。
比較的長さが短い日常会話は翻訳性能が優れる結果を見せた(CLOVA X、Papago、Google翻訳、 DeepL Pro、GPT4、GPT3.5の6つの翻訳機で翻訳結果は付録を参照)

限界

一貫した結果が得られない
「Fact」 を事実又はファクト両方で翻訳するなど、一つの単語を二つ以上の翻訳用語を使って翻訳する。
翻訳ではなく応答をする傾向があり、これをプロンプトで完全に制御することができなかった。
"id"です:"task169-5747a71efd7149abb4cc2938dc7ca141", "input":"用語: レスリング, 説明: グラップリングタイプの技術を含む格闘技の形態, 質問:レスリングは高齢者の練習に推奨されますか, 回答: いいえ"、 "出力"です:[... "事実1:レスリングは体に負担がかかります。事実2:高齢者によって異なる判断が必要な場合があります。**例えば、高齢者が趣味でレスリングを楽しむ場合は、大きな問題がない場合もあります。 そのため、状況に応じて適切な判断を下すことが大切です」**
Markdown
복사
上記の例で「例えば」以降は、英文を翻訳したのではなく、モデルが質問に対する応答内容を追加したものである。
文の繰り返し
"id"です:"task169-eab6898540324e68bb8523c5edf7405f", "input":"用語: 古代エジプト, 説明: 北東アフリカの古代文明, 質問:アマゾン川は古代エジプトの物資輸送に役立ちましたか? , 回答:いいえ"、 "出力"です:[... "事実1:アマゾン川は別の大陸にあります\n事実2:ナイル川はエジプトを流れています\n事実3:エジプトは物資輸送にナイル川を利用しました"、 "事実1:アマゾン川は別の大陸にあります\n事実2:ナイル川はエジプトを流れています\n事実3:エジプトは物資輸送にナイル川を利用しました"、 "事実1:アマゾン川は別の大陸にあります。"\n事実2:ナイル川はエジプトを流れています。"\n事実3:エジプトは物資輸送にナイル川を利用しました。"
Markdown
복사
上記の例で、事実1の文章は3回繰り返された。生成モデルが繰り返しをするのは古い問題であるが、かなり緩和され、頻繁に現れることはなく、比較的発見と修正が容易なエラーになった。
上記のエラーは人の修正を経たが、一部残っている可能性がある。
翻訳データの保管
元のデータソース
@article{geva2021strategyqa, title = {{Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies}}, author = {Geva, Mor and Khashabi, Daniel and Segal, Elad and Khot, Tushar and Roth, Dan and Berant, Jonathan}, journal = {Transactions of the Association for Computational Linguistics (TACL)}, year = {2021}, }
Plain Text
복사

付録:翻訳機と超巨大言語モデルの翻訳性能比較

# 原文英語 "input": "Passage: Nearing London, Oliver encounters Jack Dawkins, a pickpocket more commonly known by the nickname the \"Artful Dodger\", and his sidekick, a boy of a humorous nature named Charley Bates, but Oliver's innocent and trusting nature fails to see any dishonesty in their actions. The Dodger provides Oliver with a free meal and tells him of a gentleman in London who will \"give him lodgings for nothing, and never ask for change\". Grateful for the unexpected assistance, Oliver follows the Dodger to the \"old gentleman's\" residence. In this way Oliver unwittingly falls in with an infamous Jewish criminal known as Fagin, the gentleman of whom the Artful Dodger spoke. Ensnared, Oliver lives with Fagin and his gang of juvenile pickpockets in their lair at Saffron Hill for some time, unaware of their criminal occupations. He believes they make wallets and handkerchiefs.", "output": "Who believes Fagin's gang make wallets and handkerchiefs?.", "explanation": "This question is based on the following sentence in the passage \"He believes they make wallets and handkerchiefs\". It evaluates the understanding that the pronoun \"he\" refers to name \"Oliver\". You can ask questions like this one about most pronouns in a paragraph." 原文出典 : https://raw.githubusercontent.com/allenai/natural-instructions/master/tasks/task001_quoref_question_generation.json # CLOVA X chat mode, HCX-003, Top P 0.8, Top K 0, Maximum tokens 256, Temperature 0.5, Repetition penalty 5 # 和訳 「パスセージ:ロンドンに近づくにつれ、オリバーは通称「アーティフル・ドジャー」として知られるピックポケットのジャック・ダウキンズと彼の相棒でユーモラスな性格の少年チャーリー・ベイツに出会いますが、オリバーの純粋で信頼する性格は彼らの行動に不正さを見ることができません。ドジャーはオリバーに無料の食事を提供し、「何もかからずに宿泊させてくれるし、お金を要求しない」というロンドンの紳士について話します。予想外の助けに感謝し、オリバーはドジャーを追って「老紳士」の住まいに向かいます。このようにして、オリバーは偶然にも悪名高いユダヤ人犯罪者ファギン、アーティフル・ドジャーが言及した紳 # GPT4o 「ロンドンに近づくと、オリバーはスリのジャック・ドーキンス、通称「アートフル・ドジャー」、そして彼の相棒でユーモラスな性格の少年チャーリー・ベイツに出会います。しかし、オリバーの純真で信頼しやすい性格は、彼らの行動に不正を見出すことができません。ドジャーはオリバーに無料の食事を提供し、ロンドンには「宿を無料で提供し、お釣りを求めない紳士」がいると伝えます。思いがけない助けに感謝したオリバーは、ドジャーに従って「老紳士」の住居へと向かいます。このようにしてオリバーは知らず知らずのうちに、アートフル・ドジャーが話した紳士である悪名高いユダヤ人犯罪者ファギンと関わることになります。オリバーはファギンと彼の少年スリ集団と一緒にサフラン・ヒルの隠れ家でしばらくの間生活しますが、彼らの犯罪活動には気づいていません。彼は彼らが財布やハンカチを作っていると信じています。」 質問:「誰がファギンの集団が財布やハンカチを作っていると信じていますか?」 解説:この質問は「彼は彼らが財布やハンカチを作っていると信じています」という文章に基づいています。この質問は「彼」という代名詞が「オリバー」を指しているという理解を評価します。このように、段落内のほとんどの代名詞に関する質問をすることができます。 # claude 和訳 ロンドンに近づくと、オリバーはジャック・ドーキンスという、「アートフル・ドジャー」というニックネームで知られる泥棒と、ユーモアのある少年チャーリー・ベイツというその子分に出会うが、オリバーの無邪気で信頼できる性格では、彼らの行動に不正直さを見抜けない。ドジャーはオリバーに無料の食事を提供し、ロンドンにはオリバーに「タダで宿を提供し、お金を要求しない」紳士がいると話す。予期せぬ助けに感謝したオリバーは、ドジャーについてその「老紳士」の住居へと向かう。こうしてオリバーは、知らず知らずのうちに、アートフル・ドジャーが話していた紳士であるフェイギンという悪名高いユダヤ人犯罪者と関わることになる。オリバーはフェイギンと彼の少年スリ団とサフラン・ヒルの隠れ家で暮らすが、彼らの犯罪行為に気づかないまま、しばらくの間そこで過ごす。オリバーは彼らが財布とハンカチを作っていると信じている。 質問: フェイギンの一味が財布とハンカチを作っていると信じているのは誰ですか? 説明: この質問は、「オリバーは彼らが財布とハンカチを作っていると信じている」という文章に基づいています。この質問は、「彼」という代名詞が「オリバー」を指していることを理解しているかどうかを評価しています。段落内のほとんどの代名詞について、このような質問をすることができます。 # translate google "input": "一節: ロンドンに近づくと、オリバーはジャック・ドーキンスという通称でよく知られるスリと、その相棒でユーモアのあるチャーリー・ベイツという少年に遭遇するが、オリバーの無邪気で人を信じやすい性格は、彼らの行動に不正を見抜けない。スリはオリバーに無料の食事を提供し、ロンドンにいる紳士が「無料で宿を提供し、お釣りを要求しない」と話す。思いがけない援助に感謝したオリバーは、スリの後を追って「老紳士」の住居に向かう。こうしてオリバーは、アートフル・ドジャーが話していた悪名高いユダヤ人犯罪者フェイギンと知り合う。罠にかかったオリバーは、フェイギンと彼の少年スリのギャングたちとサフラン・ヒルの隠れ家でしばらく暮らすが、彼らの犯罪行為を知らない。オリバーは、彼らが犯罪者だと信じている。財布とハンカチ。", "出力": "フェイギンのギャングが財布とハンカチを作っていると信じている人はいますか?", "説明": "この質問は、文章「彼は、彼らが財布とハンカチを作っていると信じている」の次の文に基づいています。代名詞「彼」が名前「オリバー」を指しているという理解を評価します。段落内のほとんどの代名詞について、このような質問をすることができます。 # papago # 英文 "input": "Passage:" です: ロンドンに近づくと、オリバーは「Artful Dodger」というニックネームでより一般的に知られているスリであるジャックドーキンスと彼のサイドキック、チャーリーベイツというユーモラスな性格の少年に出会いますが、オリバーの無邪気で信頼できる性格は彼らの行動に不誠実さを見抜けません。 ドジャーはオリバーに無料の食事を提供し、ロンドンで「彼にただで下宿を与え、決して変化を求めない」紳士について彼に話します。 予期せぬ支援に感謝し、オリバーはドジャーについて「老紳士の家」に向かいます。 このようにしてオリバーは無意識のうちにファギンという悪名高いユダヤ人犯罪者と落ちつき、その紳士は芸術的ドジャーに話しかけました。 罠にかかったオリバーは、サフランヒルの隠れ家でしばらくの間、ファギンと少年スリの一味と一緒に暮らしており、彼らの犯罪的職業に気付いていません。 彼らは財布やハンカチを作ると信じています」、 "output": "誰がFaginのギャングが財布とハンカチを作ると信じているのですか?", "説明": "この質問は「彼らは財布とハンカチを作ると信じています。"の文章に基づいています。" 代名詞「he」が「Oliver」という名前を指しているという理解を評価します。 このような質問は、段落内のほとんどの代名詞について行うことができます。
Plain Text
복사
CLOVA X, GPT4, GPT3-5 には「次の英語の文章を韓国語に翻訳してください」という指示文のみを使用し、追加プロンプトがない状態での性能翻訳なので、プロンプト追加によって文体変更や性能向上が期待できる。

この記事で使用したデータはNAVER CLOUD PLATFORMのBenefitsを使用して翻訳したものです。(https://guide.ncloud-docs.com/docs/clovastudio-copyright)