GENIAC 松尾研LLM開発プロジェクトメンバーのNisanです。 本記事では、up cyclingの手法を用いたMoE（Mixture of Experts）モデル：Tanuki-8x8Bの事前学習に関する検討及び学習の結果について記載します。 MoEとは？ Tanuki-8x8BモデルはLlamaに代表されるDense構造ではなく、Mixtralに代表されるMixture of Experts (MoE)構造を採用しました。MoEはDenseモデルのFFN（Feed-Forward Network）層を複数のexpertを持つ層に変更し、どのexpertを採用するかをroute...

GENIAC 松尾研LLM開発プロジェクトメンバーのArataです。 本記事では、Tanuki-8BとTanuki-8x8Bの各種手法による量子化についてまとめます。 はじめに GENIAC 松尾研LLM開発プロジェクトでは、Tanuki-8BおよびTanuki-8x8Bという2つのモデルを開発しました。以下に概要を書きます。 Tanuki-8B モデル構造：Llama-3 8Bと同一の構造 トークナイザー：llm-jp tokenizer ver2.1を参考に作成 Tanuki-8x8B モデル構造：ほぼMixtral-8x7Bとほぼ同一だが僅かに独自実装のある構造（...

こんにちは、Communeでデータサイエンティストをしているひぐです。 最近、LLMと周辺エコシステムの発展により、自律性と意思決定能力を持った"AIエージェント"の実現が現実味を帯びてきました。 例えば先日、sakana ai社から、AIが自律的にアイディアを複数案だして、実験内容を決定し、コードを修正した上で実験を回し、論文を書くようなシステムが発表されました。 https://sakana.ai/ai-scientist-jp/ AIエージェントは上手く組めば複雑なタスクを自律的に処理できるため、これまで規模が小さかったり、収益性が見込めなかった市場でも、人が介在せず、従来実現でき...

こんにちは。ZENKIGENデータサイエンスチームの廣田です。所属チームでXアカウントを運用しており、AIに関する情報を発信していますのでご興味あれば覗いてみてください。 ! 今回は少し前に注目を集めた論文 Generative Agents: Interactive Simulacra of Human Behaviorの紹介です。AIエージェントに関してはマルチエージェントでの協力や、LLMの評価など、現在も様々な研究が行われています。今回紹介する論文（Generative Agents）はご存知の方も多いかもしれませんが、個人的に面白かったポイントを紹介していきます。 概要 ...

株式会社IVRyのMoriyaです。 OpenAI APIなどのLLM APIの監視を行うために、Datadog LLM Observabilityを試してみました。このブログでは、Datadog LLM Observabilityの導入方法・出来ることなどをまとめました。 https://www.datadoghq.com/ja/product/llm-observability/ 背景 IVRyは、AI対話システムを利用した電話自動応答を開発している会社です。 https://ivry.jp/company/ 当社では、LLM APIを使う機会が多い一方、LLM APIの監視には...

RAGの概要とその問題点 本記事では東京大学の松尾・岩澤研究室が開発したLLM、Tanuki-8Bを使って実用的なRAGシステムを気軽に構築する方法について解説します。最初に、RAGについてご存じない方に向けて少し説明します。 RAGは、簡単に説明すると外部知識（ナレッジ）をもとにLLMに回答させる技術です。特徴として、LLMが学習していないような知識に関してLLMに回答させることができます。回答も、外部知識を元とするため、事実に基づかない回答の生成（ハルシネーション）を減らす効果も期待できるため、ChatGPTをはじめとした大規模言語モデル（LLM）のユースケースとして、よく話題に...

3行サマリー 2024年8月13日に論文をLLMで生成する記事が公開されました。 難易度の高いゴールを達成するための複雑な過程をLLMで扱うためのアプローチを紹介します。 AI Scientistのソースコードの重要部分を解説します。 背景 私の中で、論文の執筆というのは豊富な専門知識とアイディアが必要なのでLLMでの代替は困難かと思っていました。 しかし、良く考えてみるれば、「アイディア＝既存の事象の組み合わせ」という提言もあるのでLLMでの代替は可能かなと思い始めました。 論文の定義 領域によって論文の定義が異なってくると思いますので、論文とはなにかを定義する必要が...

GraphAIはTypeScriptで記述されたLLM, RAG, Web Accessの機能を持ったAgentと、それらAgentの組み合わせを定義したGraphDataを使って、マルチエージェントシステムを簡単に作ることが可能です。 GraphData NestedAgent 特定の機能を持ったGraphDataを作成し、それをAgentとして見立てて別のGraphからAgentとして別のGraphDataを使うことができます。この仕組みをNested Graph(入れ子になったグラフ）と呼びます。 つまり、複数のエージェントの組み合わせで作った１つの機能をGraphDataと...

こんにちは、ナウキャストでLLMエンジニアをしているRyotaroです。 9/2~9/8で収集した生成AIに関連する情報をまとめています。 ※注意事項 内容としては自分が前の週に収集した生成AIの記事やXでの投稿・論文が中心になるのと、自分のアンテナに引っかかった順なので、多少古い日付のものを紹介する場合があります それでは行きましょう ひとこと 今週は情報をたくさん仕入れたので、ちょっと多めです…気長にみてください！笑 論文系や検証が必要な新しいサービスが多いと記事を書くのは大変ですねー本当は各ベンダーのプレスとかをまとめるセクションとか作ってみたいですが、んーキャパが足りなそう...

2024 年現在、生成 AI のアプリケーションへの応用が進んでおり^{[要出典]}、運用のためのツールやサービスが登場しています。 生成 AI 専用のサービスとしては LangSmith と Langfuse が有名で、それぞれモデルへの入出力やトレースなどを取ることができます。 監視 SaaS である Datadog でも LLM Observability の機能がリリースされています。 また先月末には Google Cloud のブログにて GenOps についての記事が投稿され、その中でロギングや評価についての記載もありました。 https://cloud.google.com...

まえがき いいねの数予測したくて、ググったらこんな論文見つけました。説明します！ 論文読んで、自分が理解した内容です。 読者対象 回帰タスクをさらっとやりたい人。特に他の言語タスクと連携したい人。 インコンテキストラーニング等、LLMの理解を深めたい人 1. どんなもの LLMで追加学習なしで、回帰、つまり入力変数から出力変数の値を予測するタスクで性能が従来の教師ありモデルと同等もしくはより性能高い結果が出てる（回帰モデル、多項式回帰モデルには負けてそう） From Words to Numbers: Your Large Language Model Is Sec...

LLMにおける世評リスク LLM（大規模言語モデル）における世評リスク（Reputational Risk）は、モデルが生成するコンテンツやその使用方法が原因で、企業や組織、製品の社会的評価や信頼性が損なわれるリスクを指します。LLMは強力な言語生成能力を持つ一方で、誤った情報や不適切なコンテンツの生成が原因で、社会的な批判や評判の低下を招く可能性があります。以下では、LLMの品質保証（QA）の観点から、世評リスクの主要な要因、影響、および対策について解説します。 https://youtube.com/shorts/EEXznX20_HU 世評リスクの主要な要因 不適切なコン...

はじめに こんにちは！「LangChainの公式チュートリアルを1個ずつ地味に、地道にコツコツと」シリーズ第三回、Basic編#3へようこそ。前回の記事では、Azure OpenAIを使ったチャットボット構築の基本を学び、会話履歴の管理やストリーミングなどの応用的な機能を実装しました。今回は、その知識を基に、LangChainの高度な機能である「埋め込み」「キャッシング」「カスタムリトリーバー」を駆使し、ベクトル検索とデータ検索を効率化する方法を解説していきます。 以下は、公式チュートリアルに対応する連載回と記事の有無をまとめた表です｡どんどん更新予定なので､ぜひ一緒に学びましょう!...

はじめに 8月にOpenAI社からStructured Outputsが発表されました。 最近、Azure Open AIでも利用できるようになったので試してみる。 https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/introducing-gpt-4o-2024-08-06-api-with-structured-outputs-on/ba-p/4232684 細かい仕様については、以下の記事を参考にしてください。 https://zenn.dev/microsoft/articles/azure-ope...

背景 RAG 流行りね. その他, LLM で活用するにあたっても web サイトぺろっとクロールしてデータ取得しておきたい web サイトを Markdown 形式でほしい... 日本語 LLM 向けコーパス構築用にクロールして Markdown 形式でほしい(CommonCrawl dump とかだと unstructured なのでつらい) web クロールだと最近は firecrawl が流行りっぽいけど, OSS で完結したい... crawl4ai がありました! (意外と firecrawl clone なくて, 2024/09 時点では crawl4ai くらいのよう...

モチベーション LLMによるRAGシステムを構築するにあたって、検索データの準備は手間がかかります。元となるデータが綺麗な文書ならよいのですが、PDFにせよWebページにせよ、必ずしも綺麗な文書でないことが多いです。最近Web記事などでよく目にするようになった。FireCrawlを使えば、ローカル環境でもWebページから綺麗なマークダウンを生成してくれそうなので、実際にできるかチャレンジしています。 前回のおさらいと今回の内容 前回は、Firecrawlをローカル環境で起動し、ローカル環境内のサンプルWebページの情報がMarkdown形式で得られた。HTMLと比べて、タグ情報を...

型安全なテンソル操作のためのjaxtyping入門 こんにちは、Yosematです。ディープラーニングや数値計算において、テンソル（多次元配列）は非常に重要なデータ構造です。テンソル操作の際に、しばしば「次元が合わない」「型が違う」といった問題に悩まされることがあります。そんなときに役立つのがjaxtypingです。jaxtypingは、テンソルの型と形状をチェックするライブラリで名前に反してJaxだけでなくPyTorchやNumpyユーザーにとっても便利なツールです。PyTorchユーザーとして一通り使ってみましたがモダンな機械学習研究開発に必須のツールと判断できたので共有します。...

はじめに こんにちは、データサイエンティストをしているせりです。 2024/8/1~2024/09/01の期間に行われた「SIGNATE Cup 2024 夏」の旅行パッケージ成約率予測コンペ において、まだ確定ではないですが72位となり、銅メダルを獲得することが出来ました。 また、これによりSIGNATE Expertへ昇格しました！ この記事では、そのBest solutionと戦略、他に検証した手法について紹介したいと思います。 コンペ概要 このコンペは、旅行会社が保有する顧客データを元に、旅行パッケージの成約率を予測することが目標です。 予測した成約率に対してAUCで評...

約1年前にAIにコードレビューをさせるGithub Actionである、ai-pr-reviewerが話題になりましたね！ immedioでもそのタイミングでAIコードレビューを導入し、細々設定を変更しながら運用を続けてきました。 ということで、この記事は1年間のAIレビューで得た知見を共有していきたいと思います。 ! ai-pr-reviewer自体は現在開発が停止されarchivedされているので、正直賞味期限切れの話題ではあります。 ただai-pr-reviewerもまだ使い続けること自体はできるのと、AIレビュー全般に対する印象という意味では価値があるかと思います。 Wor...

こんにちは。ZENKIGENデータサイエンスチームの栗原です。 エージェントは、LLMを利用したアプリケーション開発における現在の主流の一つになっていると思います。 LLMに、用意したツールや特定領域に特化したモデルなどの存在を提示し、それぞれの状況でどれを利用すべきかLLMに判断させることで、複雑なタスクを自動でこなしていくことができます。 最近ではSakana AIから、アイデア創出、実験の実行と結果の要約、論文の執筆、ピアレビューといった科学研究のサイクルを自動的に遂行するAIシステム「The AI Scientist」が発表され話題になりました。 今後もエージェントを活用した開発...