Nvidia（エヌビディア）は14日、RTX 30または40シリーズGPUを搭載したWindows PC向けに、個人用AIチャットボット「Chat with RTX」の技術デモをリリースした。アプリケーションは、YouTube動画や個人のドキュメントから情報を取り込み、要約やデータに基づいた回答を生成する。全ての処理はローカルPC上で実行され、インターネット接続や第3者へのデータ共有なしで、情報を処理できる。
Chat with RTXは、ローカルファイルをデータセットとして開源の大規模言語モデル、MistralやLlama 2に接続し、速やかに文脈に即した回答を提供する。ユーザーは、ローカルの.txt、.pdf、.doc/.docx、.xmlファイルを検索し、YouTube動画やプレイリストの情報を統合して、チャットボットに質問することが可能だ。個人ファイルを分析するためにCopilot ProやChatGPT Plusなどのサブスクリプションサービスに加入することなく、個人データの分析が可能である。
RTXの使用にはハードウェア条件を満たす必要あり
「Chat with RTX」の使用には、最低8GBのVRAMを備えたGeForce RTX 30シリーズGPU以上、Windows 10または11、最新のNVIDIA GPUドライバが必要である。アプリは、TensorRT-LLM RAGデベロッパーリファレンスプロジェクトから構築されており、開発者はこのリファレンスプロジェクトを使用して、RTXで加速されるRAGベースのアプリケーションを開発、展開できる。
一方でChat with RTXはバグも報告された。特定のYouTube動画のトランスクリプトを検索しようとすると、関連性のない異なる動画のトランスクリプトがダウンロードされることがある。また、アプリは30分程度でPCにインストールされ、約40GBのサイズを占める。一度実行すると、ブラウザからChat with RTXにアクセスし、背景でコマンドプロンプトが処理内容やエラーコードを出力する。
アプリは以前の質問の文脈を記憶せず、フォルダにインデックスを作成する際、JSONファイルを生成するため、Windowsのドキュメントフォルダ全体に使用することは推奨されていない。OpenAIが提供するChatGPTは13日、ChatGPTのメモリ機能をテスト中であると明かした。同機能では全チャットでの話題を記憶することで、情報の繰り返しを省く。ユーザーは記憶させること、記憶内容の確認、会話や設定を通じた忘却、機能の完全停止を制御可能。同機能は今週、一部の無料およびPlusユーザーに提供開始し、その有用性を評価後、展開計画を発表する。
日本のAI産業にも注目するNvidia
ChatGPTのローンチ以来、GPUなどの特殊なAIチップの需要が急増。Nvidiaは有用なAIチップを製造する数少ないチップメーカーの1つであり、市場の売上の95％を占めている。西村元経済産業相は23年12月5日、AIチップ大手Nvidiaのジェンスン・フアンCEOが日本に研究開発拠点を設置する意向を示したと明かした。フアンCEOは4日、岸田首相との面会で、日本でのGPUの大量提供に関する話し合いを行った。首相からの要請に対し、フアン氏は可能な限りGPUを提供する意向を示した。また、エヌビディア製AI用半導体を活用し、ソフトバンク、NEC、NTT等の日本企業との提携を強化する計画についても議論された。同社は13日には時価総額でアマゾンを上回り、株価は最高値を更新した。
Trusted
Follow us on:
X（Twitter）：@BeInCryptoJapan
Telegramチャンネル：@BeInCrypto Japan オフィシャルチャンネル
免責事項 - Disclaimers
当ウェブサイトに掲載されているすべての情報は、誠意をもって作成され、一般的な情報提供のみを目的としています。当ウェブサイトに掲載されている情報に基づいて行う一切の行為については、読者ご自身の責任において行っていただきますようお願いいたします。
