「SUQL」による構造化・非構造化データ融合の可能性

こんにちは、新卒入社してもう年末が迫ってきており焦っている田村慎です。
いきなりですが、今年からデータベース、SQLを学び始め、日々業務で使っております。そして、学生の間は非構造化データを扱う研究領域でした。これらを踏まえて構造化データ、非構造化データを扱う経験がある自分にとって非常に魅力的な研究、論文を見つけましたので、今回取り上げさせていただきます。

今回取り上げさせて頂いた論文

「SUQL: Conversational Search over Structured and Unstructured Data with Large Language Models」

研究背景

昨今、ビッグデータに基づく日常生活では、情報が様々な形で存在し、飛び交っています。例えば、レストランのデータベースには、レストラン名、料理の種類、お店の評価ポイントなどの「構造化データ」と、人気の料理やレストラン利用者のレビューなどの「非構造化データ」が含まれています。これらのような構造化データと非構造化データを含むデータから、ユーザーが求める情報を適切に抽出する技術は、様々な領域や分野で求められています。

まず，構造化されたデータに対してのアプローチ

構造化データは通常、リレーショナルデータベース（RDBMS）に格納されます。このRDBMSで使用される標準的な言語としてSQL（Structured Query Language）が存在します。SQLを使用することで、データの検索、更新、削除、挿入などの操作が可能です。これにより、データベース内の情報を効率的に管理できます。SQLは直感的であり、異なるデータベースシステムで使用が可能なため、広く利用されています。データベース関連のタスクにおいて不可欠なツールです。

今回提案されている「SUQL」に関して

今回の論文により提案されている「SUQL（Structured and Unstructured Query Language）」は、LLM（大規模言語モデル）を使用し、SQLを拡張させた新しい言語です。SUQLでは、構造化データと非構造化データの両方を含むデータに対しても、SQLのように対話型のインターフェースを用いて扱うことが可能になります。この新しい言語は、自由形式のテキストを含むクエリを処理するために特別に設計されたプリミティブをSQLに追加することで、より表現力豊かで柔軟なデータ検索と分析を実現します。これにより、ユーザーは自然言語のような形式で質問を行い、構造化されたデータベースの情報と非構造化されたテキスト情報の両方から、より的確な回答を得ることができるようになります。

SUQLの実験例

今回の論文内では上の説明で例として上げている、レストランのデータに対してSUQLを使用して実験を行っております。

構造化データ部分：レストラン名、料理の種類、評価ポイント、など
非構造化データ部分：人気の料理、レストラン利用者のレビュー、など

上記のデータに対して「イタリアンレストランでロマンチックな雰囲気のある店は？」のような複雑なユーザーの質問をLLMを元に開発された新しいセマンティックパーシングプロセス（意味的構文解析）を用いてユーザー質問を理解し、適切なSUQLのクエリへと変換を行います。従来のSQLと同じようにこの変換され発行されたクエリを使用し、DBから適切な情報の取得を行います。
これにより、構造化データと非構造化データの両方を効率的に検索し、組み合わせることが可能になります。

実験結果

「SUQL」では、従来の方法と比較して大幅に性能が向上しています。特に、レストランに関するデータセットを使用した実験では、ユーザーが必要とする要件を適切に探し出すことの成功率が従来の手法では最大で65.0%だったのに対し、本手法では89.3%を達成することができました。このように、「SUQL」を用いることで複雑な質問に対しても高い精度で回答できることが示され、実用性が確認されています。