｢生成AIに専門用語がうまく伝わらない」
｢AIにも業界独自の状況を理解して欲しい」
｢AIのAPIコストを減らしたい」
ビジネスで生成AI導入が進む中で、このような課題をお持ちではありませんか？
多くの企業が使用している生成AIは汎用のTokenizerが用いられています。そのため、専門用語や業界の事情などは上手く出力に反映されません。
そこで今、注目されているのが自社専用のTokenizerの構築です。Tokenizerをカスタマイズすることで、業界用語や企業特有の文脈を正確に処理し、生成AIの精度と効率を大きく引き上げられます。後編の本記事では実際の事例とこれからの役割について解説します。
日本企業もTokenizerのカスタマイズでDXやAIトランスフォーメーションを加速させています。導入事例を見てみましょう。
リコーは独自改良したトークナイザーを用いて、700億パラメータの大規模言語モデルを開発しました。日本語の処理効率は同ベースモデルと比較して43％向上したといいます。特に製造業向けの専門用語処理が最適化されました。
NECはトークナイザーをカスタマイズしてLLMを日本語に特化させました。カスタマイズには、Positional Interpolationと呼ばれる手法を用いてトークン位置の最適化を行っています。この取り組みにより、日本語の短文・長文をスムーズに理解するAIを実現させました。
AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏（CEO）が2017年に創業したシリコンバレー発のAI企業。
社名 ：パロアルトインサイトLLC
設立 ：2017年
所在 ：米国カリフォルニア州 （シリコンバレー）
メンバー数：17名（2021年9月現在）
パロアルトインサイトHP：www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで：info@paloaltoinsight.com
2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。東急ホテルズ&リゾーツのDXアドバイザーとして中長期DX戦略への助言を行うなど、多くの日本企業に対して最新のDX戦略提案からAI開発まで一貫したAI・DX支援を提供する。2024年より一般社団法人人工知能学会理事及び東京都AI戦略会議 専門家委員メンバーに就任。
AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授（AI企業戦略）及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート＆テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。
毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ！」内「マイ！Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。
著書に『AI時代を生き抜くということ ChatGPTとリスキリング』（日経BP）『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』（ディスカヴァー・トゥエンティワン）、『経験ゼロから始めるAI時代の新キャリアデザイン』（KADOKAWA）、『才能の見つけ方 天才の育て方』（文藝春秋）など多数。
実践型教育ＡＩプログラム「ＡＩと私」：https://www.aitowatashi.com/
お問い合わせ、ご質問などはこちらまで：info@paloaltoinsight.com
 |
 |
※石角友愛の著書一覧
毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け！
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。
いまこそ知りたいDX戦略 自社のコアを再定義し、デジタル化する 
“経験ゼロ”から始める AI時代の新キャリアデザイン 
いまこそ知りたいAIビジネス