昨日ゴールド免許を取得した齊藤です。 久しぶりにLangGraphのチュートリアル確認してみたのですが、ぱっと見でわかりずらいので、簡易的にまとめてみました。（2024年11月23日） 無理矢理、翻訳した箇所もあるのでご愛嬌でお願いします。 こちら公式Tutorialになります https://langchain-ai.github.io/langgraph/tutorials/ ここからクイックスタート LangGraph Quickstart Part1 : ベーシックなチャットボット Part2 : ツール付きチャットボット Part3 : メモリー付きチャ...

はじめに https://www.anthropic.com/research/statistical-approach-to-model-evals こちらの記事で発表された論文についてClaude 3.5 sonnet を利用して内容を日本語でわかりやすく解説してもらいました。 英語の論文を読むのは英語が得意でない場合とても時間がかかります。 ですので簡単に生成AIを使って日本語にまとめてもらうことで効率化できないかと考えています。 実際に生成AIによって簡潔にまとめられた内容はこちらの記事に記載しています。 https://zenn.dev/shirochan/article...

はじめに ChatGPTやClaudeのような最新のAIモデルの性能を比較するとき、「どちらが本当に優れているのか」を正確に判断するのは意外と難しい課題です。例えば、数学の問題を解くテストで、あるAIモデルが90点、別のモデルが85点を取ったとしても、この差は本当に意味のある差なのでしょうか？ 本記事では、AIモデルの評価をより正確に行うための新しいアプローチを、身近な例を使って分かりやすく解説します。 なぜ統計的なアプローチが必要なのか？ 🎯 単純な点数比較の罠 例えば、こんな状況を想像してみてください： モデルA：数学テストで90点 モデルB：数学テストで85点 一...

はじめに 初めまして、データアナリティクスラボ株式会社のデータソリューション事業部に所属する渡邉です。普段は金融分野のクライアント先で、AIを活用したサービス開発業務やデータ分析業務に従事しています。 自然言語を処理できる大規模言語モデル (LLM)は、今日のITの現場で欠かすことのできないトピックとなっています。LLMは事前学習という行程でウェブ上の様々なテキストデータを大量に学習し、英語などの言語の「基本的な文法」を習得しています。そのLLMに対してファインチューニングという学習を行うことにより、文書要約・文書分類・翻訳・推論などの自然言語関連タスクの精度を向上させることができま...

初めまして。そうまめこと得丸創生と申します。 1年ほど前からTypescript / ReactのWebアプリ開発にどハマりして、現在は「TutoriaLLM」というビジュアルプログラミングとAIによる対話、そして、リアルタイムのコード実行の機能などを組み込んだWebアプリケーションを作っています。 https://tutoriallm.com 「TutoriaLLM」は、今年の頭から開発していて、初めてまともに作ったアプリではあるのですが、嬉しいことに未踏ジュニア2024に採択していただいたり、アプリ甲子園2024のAI開発部門で優勝したりしています。 ただ、色々外部のコンテストとかに...

difyとは difyのメインサイトはこちらで。 なんかAIアプリがRAGでフロー形式でなんやからのツールっぽいです。 （まだ触って日が浅い） ローカルで動かせるということなので、動かしてみました。 外に情報は出したくないけどAI使ったツールは動かしたい、とかいう欲求があればチャレンジしてみてください。 作成したシステム関連の環境 項目 内容 CPU i5第8世代 RAM 64G OS Windows11 GPU (#0) RTX3060 12G GPU (#1) RTX3050 6G RTX3050はロープロのGPUです。 i5第6世代のマシ...

初めまして、Givery AI Lab所属の楊です。 今回は、Microsoftがこの間に公開した「TinyTroupe」ライブラリをご紹介します。このライブラリは、複数のエージェントが人間のように行動したり、互いに話しをしたりして、インタラクションができる環境を構築するために使用されます。人間社会を模擬することができ、面白いと思いますので今回使ってみました！ Persona Simulation 「TinyTroupe」に入る前に、このプロジェクトのモチベーションである「ペルソナシミュレーション」というアイデアに関して簡単にお話ししたいと思います。 一言で言うと、ペルソナシミュレー...

1. はじめに RAGを使ったチャットボットを作成しているのですが、「回答長いから短くして」と要望を頂いたので出力トークン数を制御しようとしています。そこで、出力トークン数によって回答の内容に差がでるのかを検証します。気になっているのは、出力トークン数を小さくすると、①回答が途中で切られるのか、②いい感じに要約してくれるのか、のどっちになるのかですね。最初はシステムプロンプトで制限していたのですが、たまに無視して長く回答がきてしまいます。 2. 調査 トークン数の調査もかねているので英語で質問します。 OpenAI APIのバージョンは1.28.0です。 messages = [...

! 本記事の内容は筆者の個人的見解を多分に含みます。ご意見、ご指摘大歓迎です。 LLMOps はなぜ必要か というより、最新のモデルや手法を追い続けることに少々疲れたので、アプリケーション開発の観点からもう少し長期的な目線で LLM アプリケーション開発を整理したいと思って LLMOps に入門してみました。 LLM アプリケーション特有の問題 LLM は非常に強力なツールなため、プロトタイプをパパッと作ってみてもそれっぽいシステムを作ることができます。プロトタイプとしては十分かもしれませんが、継続的改善を前提とした本番環境のシステムでは不十分です。 主な理由として、LLM の...

はじめに RAGによるトレーニングレスなLLMアプリを作成してきましたが、 Fine-Tuningをやったことがなかったため、まずはトライしたので結果を残します。 Azure OpenAI のGPT4oをFine-Tuningしてみましょう。 また、Azure AI Studioが Azure AI Foundry に名称変更し、ハブやプロジェクトを作成する思想になりました。それらを作成してFine-Tuningします。 RAGとFine-Tuningの使い分け わたしの今の理解では、RAGとFine-Tuningの使い分けはこのような認識です。 RAG RAGは、事前にトレ...

はじめに どんな人向けの記事？ ローカル LLM に興味のある方 Cline に興味のある方 Qwen2.5-Coder-32B の性能に興味のある方 LLM を用いたアプリ開発に興味のある方 本アプリの開発環境 1. Ubuntu 24.04.1 LTS (Core i5-8400 + メインメモリ 16GB) 2. Mac Studio (M2 Ultra 128GB) # ollama server 概要 前回の記事に引き続き、Qwen2.5-Coder-32B-Instruct を用いて、アプリ開発がどの程度出来るかを検証していきたいと思います。 https:...

はじめに 株式会社 Elith で Computer Vision Reseacher をしている下村です。 今年の9月24日から9月27日にカナダ・エドモントンで開催された高度道路交通システム分野の主要国際会議であるIEEE ITSC 2024 に参加し、本田技術研究所との共同研究の成果である「How to extend the dataset to account for traffic risk considering the surrounding environment」を発表しました。本記事では、その発表内容の解説と今後の研究展望について述べます。 研究概要 本研究で...

UML Document Generator ReactとVueに対応したドキュメント自動生成ライブラリを作成しました！npmでインストール可能です。 設計書難民の方にぜひ使っていただきたいです！！！ https://github.com/champaya/uml-document-generator/tree/main https://www.npmjs.com/package/uml-document-generator 🚀 このライブラリを生み出した理由 皆さんは、コードが設計書なReactやVueプロジェクトで、コードの構造を理解するのに苦労したことはありませんか？私も同...

はじめに 日本時間2024年11月19日23時からサティア・ナデラCEOによるKeynoteから始まったMicrosoft Ignite 2024@シカゴでは、Azure AIサービスに関する多くの重要なアップデートが発表されました。本記事では、発表内容を詳細に整理し、注目すべきポイントを深掘りしてお届けします。 https://ignite.microsoft.com/en-US/home Microsoft Ignite 2024のほぼすべての発表内容を包括的にまとめた「Book of News」も公開されています。本記事と併せてご覧いただくことで、イベント全体の全貌をより深く理...

1. はじめに 1.1. 目的 オープンソースのLLMアプリ開発プラットフォームであるDifyのDSLファイル(YAML)をLLMにより自動生成する方法について1手法を紹介します。 1.2. 読者対象と前提知識 DifyのDSLファイル(YAML)に興味がある方 LLMのワークフロー生成に興味がある方 2. DifyとDSLファイルの概要 2.1. Difyの概要 Difyは、処理の機能を持つブロックをつなげていき視覚的にプログラムを組み立てることができるオープンソースのLLMアプリ開発プラットフォームです。ノーコードでLLMアプリを開発できるのが特徴で、非エンジ...

はじめに ELYZA 研究開発チームの大葉 (@dai0NLP)です。 本記事では、研究開発チームの最近の取り組み内容である 「日本特有の知識に特化した大規模言語モデルの学習および評価」 について解説いたします。 ELYZAは、日本の生成AIの開発力強化を目的とした経済産業省主導のプログラムである Generative AI Accelerator Challenge (GENIAC) に採択され、H100複数基をはじめとする計算資源の利用や関係者間の連携促進等のご支援をいただきながら、2024年5月から8月までの約3ヶ月間に渡り日本語汎用基盤モデルの開発を行いました。具体的には、日...

こんにちは上野(@ueeeeniki)です。 みなさんの会社では、今年のDev DayでOpenAIが発表した蒸留機能であるModel Distillationをうまく活用できているでしょうか。 蒸留とは、大きいモデルの出力を小さいモデルの学習に利用する方法です。これにより、大きいモデルに匹敵する精度を持つ小さいモデルを作ることができます。 この蒸留を行うModel Distillationという新機能を上手く使えばLLMアプリケーションのコストを劇的に削減することができます。 例えば、GPT-4oの出力を使って蒸留したGPT-4o-miniの料金は、下記の表では、fine-tuned ...

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、文章の尤度とドキュメントの配置位置、そして回答の精度の関係性を調査した論文について紹介します。 https://arxiv.org/pdf/2411.07773 サマリー RAGにおいて、正解ドキュメントの文章の配置と、回答精度の関連性は以前から注目されていました。この関係性の原因が文章の尤度(文字同士のつながりをLLMがどの程度自然と捉えているかの指標)にあるとしたのが、この論文の大...

この記事ではCopliotKitの公式チュートリアルを実施して、Next.jsでの導入から実際に動作させるところまでを実施します。 CopliotKitとは 自作のアプリケーションに、AI Copliot機能を組み込むことができるフレームワークです。 https://www.copilotkit.ai/ https://docs.copilotkit.ai/ 公式サイトのKey featureを翻訳すると以下のとおりです。 In-App AI Chatbot: ヘッドレスUIを含む、簡単に組み込めるAIチャットボットコンポーネント。 Copilot Readable State...

ChillStack セキュリティ部の一瀬です。 ChatGPTの登場以来、現在では大規模言語モデル（LLM）の有用性が広く認識され多くの企業が業務において活用するようになっています。 ですが、LLMの安全性を評価するノウハウはまだ少なく、利用・提供する際に課題を感じる方も多いと思います。 本稿では、そうしたLLMのリスクについて理解を深めて頂くことを目的として、LLMの安全性を検査するgarakというツールを紹介します。 garakのソースコードから検出手法の原理を学ぶことで、安全にLLMを開発・利用するための足掛かりとなれば幸いです。 LLMのリスクについて LLMには様々なリス...