Share

💻

Hands-on

Hands-on

Search

CUDA Cレベルで韓国語と日本語のトークナイザーを実装する。

韓国語と日本語のトークナイザーを実装

高錫賢 / CEO

LLM Compile Process Overview

前回の記事「【極めてプライベートな自分だけのLLM、価値があるのか？[第1回 - ファインチューニング](https://blog.sionic.ai/Finetuning_Llama)では、大規模モデル構築の難しさと破壊的な忘却現象などの代替として登場したRetriever Augmented Generation(RAG)方法を見てみました。 RAGはLLMの強力なテキスト生成能力をベースにして、モデルにユーザーのクエリに合った文書のスニペットを適切に取り込んでプロンプトを通じて応答する方式です。ユーザーがパーソナライズされたLLMを構築し、特定の目的に合わせて調整する方法は、様々な所で有用に使用することができます。

今回はMLC-LLMパッケージを活用したWebGPU Build & Runガイドを共有します。これにより、大規模言語モデル(LLM)がWebGPUを活用して、ビルド＆実行する過程を通じて、自分のデータで大規模言語モデルを構築、実行することができるようになります。

前提条件

LLMビルドのための要件

python3: 普遍的によく使われるConda環境で、python言語を使用して進行します。

conda: Pythonパッケージの衝突を防ぐために環境分離の時に必要です。

Git LFS: weight fileなど大容量ファイルをpullingするために必要です。

TVM Compiler: オープンソースディープラーニングコンパイラ

WebAssembly ビルドのための要件

Emscripten: LLVMを使う言語(C/C++)をWebAssemblyでコンパイルできるようにするツールチェーン。

ビルド

極めてプライベートな私だけのLLM、作れるのか？[第２弾- WebGPU Build & Run］

個人の使い方に合わせた超巨大言語モデルの活用

金德顯キム　ドクヒョン / Head of Development

RAG(Retrieval Augmented Generation)とファインチューニング

大規模言語モデル(Large language model, LLM)は、一般的な課題をうまく処理する利点があります。私たちがChatGPTに熱狂する理由も、一般的な知識に関する質問や推論に対して必要な答えをうまく生成するためだと思います。しかし、日常生活での大規模言語モデルの有効活用には、個人や組織レベルで特定のデータを学習させることが不可欠です。

本稿では、RAGとファインチューニングという2つの方法を取り上げます。これらはいずれも、大規模言語モデルをベースにしてカスタマイズを行う手法ですが、それぞれにコストと性能の面で異なる特徴があります。

まず、言語モデルをプライベートなLLMとして使用できる方法として、ファインチューニングがあります。事前学習された大規模言語モデルに小さなデータセットを追加で学習させ、特定の作業に合わせて微調整して性能を改善する方法です。伝統的に、ファインチューニングは巨大な単位のウェブデータを事前学習し、小さな分野の課題に応じてチューニングを行う方法でしたが、モデルのパラメータ数がどんどん大きくなり、企業や研究者がモデル全体をファインチューニングすることが難しくなり、ファインチューニングしたモデルの保存とコストも非常に大きくなりました。この他にも、新しい情報を学習する際、以前に学習した情報を突然急激に忘れる現象、つまり破壊的忘却(Catastrophic forgetting)と呼ばれる現象も解決に困難がありました。

ChatGPTなどのLLMモデルが産業的に台頭し始めてからちょうど1年が経ち、各企業が見つけた費用対効果の高い代替手段がRAGと言えます。RAG手法は、LLMの強力なテキスト生成力をベースに、ユーザーのクエリに合った必要な文書スニペットを適切に取り出し、モデルにプロンプトを提供して応答する方法です。LlamaIndexやLangchainのような開発者ツールやunstructured.ioのような前処理SDK、そしてMilvusのような複数の商用のベクターサーチDBが最近1年間に誘致した投資額とバリュエーションを見ると、業界におけるRAGに対する関心度は容易に推測できると思います。

写真出典: OpenAI - A Survey of Techniques for Maximizing LLM Performance https://youtu.be/ahnGLM-RC1Y

しかし、モデルの目的そのものをより自由に変えられるという点で、ファインチューニングが持つ魅力も無視できません。モデルが応答するスタイルやトーンやマナー、フォーマットのような質的な面を変えたり、希望する形のアウトプットが出ることを保証したり、TextをSQLに変えるなどのプロンプトだけでは説明しにくい特定のタスクに特化する必要がある場合は、ファインチューニングが有利な場合もあります。

OpenAIは前回のDevDayでファインチューニングとRAGが必要な場合を2つの軸で整理して紹介しました。モデルの知識的な側面を修正したい場合にはRAGを、モデルがどのように答えて推論するかを修正したい場合にはファインチューニングが適していると紹介しました。

過去には簡単ではなかったベースモデルのファインチューニングが、2つの側面から、一般開発者にとってアクセスしやすい形になってきていると思います。一つは、商用化されたモデルのクラウドサービスとしての「ファインチューニング用のAPI」(https://platform.openai.com/docs/guides/fine-tuning/fine-tuning-examples)を提供していることと、もう一つは、ファインチューニングのプロセス全般の難易度が下がり、少しの知識さえあれば、公開モデルを利用して独自のデータセットを持ってプライベートな環境でファインチューニングができるようになったことです。今回の記事シリーズでは、このように独自のデータセットでファインチューニングするプロセスを実習してみたいと思います。

オープンソースベースの大規模言語モデルを基に、独自のデータセットでファインチューニングする。

当該モデルのインファレンスをWebGPUを活用してローカルで行うことで、機密性の高い情報を外部に公開することなく、ローカルで自分だけのLLMを駆動できる。

今回の記事では、Meta AIが公開したLLaMA 7B Chatモデルを基に、QLoRAを活用して自分だけのデータをファインチューニングし、Hugging Faceに配布してみたいと思います。

極めて私的な私だけのLLM、作れるのか? [第１弾ーファインチューニング]

非暴力的、非倫理的な出力を検証できるデータセット

朴ジンヒョン(Sigrid Jin) / Software Engineer, Sionic AI

ファインチューニング

大規模言語モデル

Database構築

(画像出典) Microsoft Designer - Stunning designs in a flash を使用して自動生成後編集

ハンズオンの環境構成

qdrant DB

milvus DB

postgres (pgvector)

Datasetのダウンロード

Libraryのインストール

実習する前にインストールするパッケージは下記の通りです。

transformers

Vector Database構築のハンズオン

Vector Database構築実習

宋明河 / MLOps Engineer

Vector Database

Generative AIのための最近の技術動向

WebAssemblyやWebGPUなど、トレンディな技術についての話

WebGPU

WebAssemblyなど比較的最近使われ始め、JavaScriptの代替品ではなく補完材として機能

GPGPUベースの汎用演算加速が強み

2023年5月Chrome113から試験的に動作

Microsoft DirectX、クロノスグループのバルカン、アップルのメタルなど

WebGPUによるプライベート生成AIのHybrid Inference

WebGPUによるパーソナライズ生成人工知能の推論方法論の紹介

高錫賢 / CEO

Hybrid Inference

Development Glossary