home
home
📰

Tech Blogs (日本語)

Search
Articles_Ja
CUDA Cレベルで韓国語と日本語のトークナイザーを実装する。
高錫賢 / CEO
韓国語と日本語のトークナイザーを実装
OOV
CUDA
Tokenizer

導入

•
"CICERO: A Dataset for Contextualized Commonsense Inference in Dialogues"データセットのようなケースは、人工知能モデルの常識的思考と関連している。常識的思考の形成は人にとっては簡単だが、人工知能にはまだ期待するのは難しい。
•
また、常識的思考は事実的思考とは異なり、行間を読んで解釈する必要があるため、推論の領域に属している。
•
CICEROにはCICERO-v1とCICERO-v2がある。ここではv2のデータと論文を中心に扱う。
•
下の画像は、日常的に起こる様々なこと(人は常識的に知っていること)から、5つの状況(原因、後続事象、前提条件、内的動機、感情反応)を推論して文章を生成する課題である。
•
評価は、人工知能が人間と同じような推論能力を発揮できるかどうかに基づく。
CICEROデータセット
宋永淑 ソン・ヨンソク / ML Researcher
人工知能モデルの常識的思考に関する会話データ
CICERO
Reasoning

はじめに

•
推論とは、すでに知られている事実をもとに新たな判断や結論を導き出すことである。推論は知的活動をする上に不可欠な能力である。
•
したがって、LLMがどのような推論能力を示すかは、人々がAIが本当に「知能」を持っているかを体感する重要な要素といえる。
•
Scratchpads, Chain of Thoughtsなどをはじめ、LLMが持つ推論能力を最大限に引き出すための研究が継続的に行われている。
•
この記事では、推論をより効率的に行うために2段階に分けてアプローチしたSelf-Discoverという方法を紹介する。
LLMの推論能力を高める : Self Discover

導入

LLMは、複雑な推論能力を必要になるタスクや、様々な文脈を理解して処理しなければならない困難なタスクでも非常に優秀な性能を見せている。 最近、モデルが生成した回答を自ら評価し、エラーを修正することで性能を向上させることで、hallucinationを減らす「self-correction方法論」の研究が活発に行われている。 この記事では、self-correctionのプロセスを2段階に細分化し、最新のLLMが各段階でどのような面を見せるかについて実験を行う。

概要

一行要約 : 現在のLLMは、推論過程の中で正確にどこで論理的なエラーが発生したかを見つける能力は劣るが、適度なレベルのフィードバックを受ければ答えを修正する能力はある。
LLMは自分でエラーを検出し、修正できるのか？
박우명 / CDO & Head of Researcher
超巨大言語モデルがエラーを検出し、回答を修正できるかどうかについての実験
LLM
Self Correction

概要

•
不快な言語表現だけでなく、微妙に有害な非暴力的、非倫理的な出力まで検証できるデータセットを制作及び公開。
•
有害な出力を削減するための攻撃データセットの構築。
•
詳細なデータ構築方法論（instruction、生成手順など）を公開。
•
3つのサイズ(パラメータ2.7B、13B、52B)のモデルと合計4つのモデルタイプについて、scaling behaviorを調べて検証を行う。
AIの有害な出力を減らすためのレッド チーミング言語モデル(Red Teaming Language Models to reduce harms)
宋永淑 ソン・ヨンソク/ ML Researcher
非暴力的、非倫理的な出力を検証できるデータセット
harm
Generation
害
LLM Compile Process Overview
極めてプライベートな私だけのLLM、作れるのか？[第２弾- WebGPU Build & Run］
Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies
strategyqa
eladsegal
データ概要
データ名
内容
カテゴリー
ドメイン
入力言語
出力言語
task169_strategyqa_sentence_generation
特定の質問が与えられたとき、その質問に答えるために知っておくべき事実を記述する
[質疑応答] Misc
ウィキペディア
英語
英語

概要

多段階の推論質問応答（QA）ベンチマーク
•
暗黙的な質問である「アリストテレスはノートパソコンを使用したか」に答えるために、明示的な質問である「ノートパソコンが発明された時、アリストテレスは生きていたか」に変換する作業が必要ある。そのために、正解を導き出すプロセスを説明するデータの特性を持つ。
•
一、アリストテレスの生年月、二、ノートブックが発明された時期、三、2は1より前に起きたか？のように、正解を導き出すプロセスを明示的に説明するプロセスをデータに含める。
•
上記の質問のような戦略的な質問にはどのようなものがあるかを確認し、マルチホップで分解してデータを構築する。
•
QAデータセットとはいえ、答えは「Yes/No」の選択文に過ぎないため、従来の質疑応答データセットとは区別される。

注釈者バイアスを防ぐためにベンチマークデータの難易度を調整する努力

生成モデルの場合、注釈者バイアスを克服することがデータの難易度を決定する一つの原因になるが、この論文では次のようにデータ収集のパイプラインを構成して注釈者バイアスを克服する。
SuperNI × Clova X韓国語翻訳(1): StrategyQA
宋永淑 ソン・ヨンソク / ML Researcher, 朴宇明 パク　ウミョン / CDO & Head of Research
StrategyQA論文とデータセット紹介
StrategyQA
LLM
Embedding
Codeを通じてLLMの推論能力を高めることができるのか？
朴宇明 パク　ウミョン / CDO & Head of Research
コードを通じた巨大言語モデルの推論能力向上
Prompting
Tuning

導入

•
Promptingは人間が大規模言語モデル(LLM)を制御し、コミュニケーションする手段である。
•
ユーザーは、欲しい結果を得るために、どうすればうまくPromptingを作成できるかという一般的な方法論に対するニーズは今後も増えると思われる。
•
この記事では、プロンプティングを通じてzero-shotのパフォーマンスを向上させる興味深い2つの論文を紹介する。
•
レビュー論文

概要

•
COSP : Consistency-based Self-adaptive Prompting
•
USP : Universal Self-adaptive Prompting
•
Unlabeled dataとblack-box LLMを通じてzero-shot in-context learning(ICL)の性能を向上させることを目的とした異なる2つの方法論
効果的なプロンプティング(Prompting)方法論の紹介
朴宇明 / CDO & Head of Research
効果的なプロンプティング(Prompting)方法論の紹介
Prompting
Tuning
この記事の前半ではSuper-NaturalInstructions(SuperNI)論文を概観した後、後半ではSuperNIに含まれるデータセットのうち、韓国語であったり、興味深いテーマを含んでいるデータセットを紹介します。

論文紹介

概要

•
SuperNIはAllen Institute for AI、University of Washington、Arizona State Universityをはじめとする合計21機関所属の研究者が参加し、1600余りのNLP instructionデータを作成し、公開したプロジェクトです。
[論文レビュー]Super-NaturalInstructions

導入

•
LLMは単純なプロンプトだけで多くの課題で優れた能力を発揮するが、完璧ではない。
•
その中でも代表的な問題としては、事実でない内容を事実であるかのように生成するハルシネーション問題、そして社会的に問題の余地がある危険な発言を生成する問題などがある。
•
この記事では、biasが存在する、または問題となる内容をLLMが自ら判断し、抑制することに関する論文について紹介する。
•
◦
https://arxiv.org/abs/2309.07124 (北京大学、マイクロソフトリサーチ、シドニー大学、ウォータールー大学)

概要

•
LLMが生成した文章をユーザーが望むように'align'させるために、既存の多くの研究ではpreference datasetを構築し、reward modelを学習した後、このスコアに基づいてLLMをRL(e.g., PPO)でチューニングする方法を多く使用。
•
実際のOpenAIのモデル (InstructGPT、ChatGPT、GPT-4など) をはじめ、Google、Meta、Anthropicなどほぼ全てのところでこの方法でチューニングをしてLLMを開発した。
•
しかし、reward modelを学習するためのデータセット制作は非常に時間と費用がかかり、構築難易度が高く、開発が難しい。
•
ここでは、明示的な reward model なしで zero-shot/few-shot prompting を通じて効果的にharmlessnessを高める (つまり、有害なコンテンツ生成を抑制する) 結果を示している。
LLMは自ら回答の危険性を判断できるのか？
朴宇明 / CDO & Head of Research
超巨大言語モデルの回答の危険性を判断するに関連する論文の紹介
Prompting
Alignment
LLM

表データの役割

ToTTo で表ベースの文章生成データを作成するプロセス

表データベースの文章生成
宋永淑 ソン・ヨンソク / ML Researcher
表のデータ分析方法論の紹介
Table
Generation

RAG(Retrieval Augmented Generation)とファインチューニング

大規模言語モデル(Large language model, LLM)は、一般的な課題をうまく処理する利点があります。私たちがChatGPTに熱狂する理由も、一般的な知識に関する質問や推論に対して必要な答えをうまく生成するためだと思います。しかし、日常生活での大規模言語モデルの有効活用には、個人や組織レベルで特定のデータを学習させることが不可欠です。
本稿では、RAGとファインチューニングという2つの方法を取り上げます。これらはいずれも、大規模言語モデルをベースにしてカスタマイズを行う手法ですが、それぞれにコストと性能の面で異なる特徴があります。
まず、言語モデルをプライベートなLLMとして使用できる方法として、ファインチューニングがあります。事前学習された大規模言語モデルに小さなデータセットを追加で学習させ、特定の作業に合わせて微調整して性能を改善する方法です。伝統的に、ファインチューニングは巨大な単位のウェブデータを事前学習し、小さな分野の課題に応じてチューニングを行う方法でしたが、モデルのパラメータ数がどんどん大きくなり、企業や研究者がモデル全体をファインチューニングすることが難しくなり、ファインチューニングしたモデルの保存とコストも非常に大きくなりました。この他にも、新しい情報を学習する際、以前に学習した情報を突然急激に忘れる現象、つまり破壊的忘却(Catastrophic forgetting)と呼ばれる現象も解決に困難がありました。
ChatGPTなどのLLMモデルが産業的に台頭し始めてからちょうど1年が経ち、各企業が見つけた費用対効果の高い代替手段がRAGと言えます。RAG手法は、LLMの強力なテキスト生成力をベースに、ユーザーのクエリに合った必要な文書スニペットを適切に取り出し、モデルにプロンプトを提供して応答する方法です。LlamaIndexやLangchainのような開発者ツールやunstructured.ioのような前処理SDK、そしてMilvusのような複数の商用のベクターサーチDBが最近1年間に誘致した投資額とバリュエーションを見ると、業界におけるRAGに対する関心度は容易に推測できると思います。
写真出典: OpenAI - A Survey of Techniques for Maximizing LLM Performance https://youtu.be/ahnGLM-RC1Y
極めて私的な私だけのLLM、作れるのか? [第１弾ーファインチューニング]
朴 ジンヒョン(Sigrid Jin) / Software Engineer, Sionic AI
非暴力的、非倫理的な出力を検証できるデータセット
Finetuning
Llama
ファインチューニング
大規模言語モデル
LLM
목차

利用原則 🫡

Slack 使用ガイド

Database構築

(画像出典) Microsoft Designer - Stunning designs in a flash を使用して自動生成後編集

ハンズオンの環境構成

qdrant DB

milvus DB

Vector Database構築のハンズオン
宋明河 / MLOps Engineer
Vector Database構築実習
Vector Database
NLP

Generative AIのための最近の技術動向

WebAssemblyやWebGPUなど、トレンディな技術についての話

WebGPU

•
WebAssemblyなど比較的最近使われ始め、JavaScriptの代替品ではなく補完材として機能
•
GPGPUベースの汎用演算加速が強み
WebGPUによるプライベート生成AIのHybrid Inference
高錫賢 / CEO
WebGPUによるパーソナライズ生成人工知能の推論方法論の紹介
WebGPU
AI
Hybrid Inference

導入

•
Promptingは人間が大規模言語モデル(LLM)を制御し、コミュニケーションする手段であると言える。
•
別途パラメータを更新することなく、プロンプトだけ入力する in-context learning(ICL) 方式により、LLMが様々な問題で優れた性能を発揮している。
•
この記事では、複雑な推論(reasoning)問題において、最新の方法論である diversity of thought に関連する主な reference について紹介する。
プロンプティングを通じたLLMの推論能力向上
朴宇明 / CDO & Head of Research
超巨大言語モデルの推論能力向上のためのプロンプトの方法論
Prompting
Tuning
韓国語コーパスの構築(1)
宋永淑 ソン・ヨンソク/ ML Researcher
韓国語コーパスの紹介
data
large language model
corpus
プロンプティングで事実確認(Fact Verification)

導入

•
LLMはzero/few-shot promptingだけでも多くのtaskで優れた性能を発揮するが、回答結果は入力されたpromptの内容によって大きく影響を受ける
•
しかし、taskに合わせて人が直接最適なpromptを作ることは非常に難しく、時間とコストがかかる作業であり、また、promptがどれだけうまく動作するかを事前に確認することは容易ではない
•
この記事では、上記の問題に対する解決策の一つとして、LLMを活用して最適なプロンプトを自動的に生成する最新の研究と関連するreferenceについて紹介する
(画像出典) プレゼンテーションの「Designer」機能を使用して画像を自動生成します。
自動的に最適なPromptを生成する方法
朴宇明 / CDO & Head of Research
最適なプロンプト方法論の紹介。
Prompting
AutoPrompt
MTEB(Massive Text Embedding Benchmark)
MTEBとは
•
様々な埋め込み作業でテキスト埋め込みモデルの性能を測定するために作成した大規模なベンチマークです。
•
2023年10月10日現在のデータセット、言語、スコア、モデルの数
•
総データセット数: 129
•
総言語数113
MTEB上位の方法論
朴宇明 / CDO & Head of Research
MTEBの上位方法論の紹介
MTEB
Embedding
Benchmark
Paper Review
Data Curation
Hands-on
Development Glossary
Company