ライブ翻訳やビジュアル検索　強化されるApple Intelligence

Appleは9日(米国時間)、開発者会議「WWDC25」において、新たなApple Intelligence機能を発表した。ライブ翻訳(Live Translation)などの多くのAI機能を、iPhone、iPad、Mac、Apple Watch、Apple Vision Proで搭載する。

Appleデバイスで機能するApple Intelligenceの機能を強化。Image PlaygroundとGenmojiなどをアップデートするほか、ショートカットがApple Intelligenceに直接アクセスできるようになり、開発者はApple Intelligenceを使ったアプリを提供可能となる。また、25年末までにデンマーク語、オランダ語、ノルウェー語、ポルトガル語(ポルトガル)、スウェーデン語、トルコ語、中国語(繁体字)、ベトナム語の8言語に対応する。

特徴となるのが「ライブ翻訳」。メッセージ、FaceTime、電話に統合される翻訳機能となり、AIモデルがデバイス上で完全に実行されるため、ユーザーの個人情報は保護される。メッセージアプリでは、ライブ翻訳がメッセージを自動的に翻訳され、ユーザーがメッセージを入力する際にリアルタイムで翻訳され、相手の好みの言語で送信される。

FaceTime通話では、ユーザーの音声にあわせて翻訳されたライブ字幕を表示。電話通話中は、翻訳内容が音声で再生される。

絵文字生成の「Genmoji」と画像生成の「Image Playground」もアップデートされる。Genmojiは、テキストの説明をGenmojiに変換するだけでなく、絵文字と説明文の組み合わせが可能となる。

Image Playgroundでは、ChatGPTを活用して、油絵風やベクターアートなどのスタイルを指定できるようになる。

Image Playground

iPhoneカメラを使って周囲の物体や場所を調べられる「ビジュアルインテリジェンス」は、「画面上」のコンテンツにも対応。画面に表示されているものについてChatGPTに質問したり、Google、Etsyなどのアプリで検索できる。例えば、ユーザーが興味のあるオブジェクト(ランプなど)を選ぶと、そのアイテムや類似のオブジェクトをオンラインで検索できる。またChatGPTに尋ねることも可能なほか、みているものから日付や時間、場所を抽出し、カレンダーに登録できる。ビジュアルインテリジェンスは、スクリーンショット撮影と同じボタンを押すだけで、画面上のコンテンツに適用できる。

さらに、Apple IntelligenceをApple Watchに拡大。「Workout Buddy」は、ユーザーのワークアウトデータとフィットネス履歴を組み合わせて、セッション中にパーソナライズされたモチベーション向上型のアドバイスを行なう機能。まずは英語から提供され、アウトドアとインドアのランニング、ウォーキング、アウトドアサイクリング、HIITなどに対応する。

またサードパーティアプリも、Apple Intelligenceのコアとなるオンデバイス基礎モデルに直接アクセス可能になる。高速かつプライバシーを保護したAI機能を提供する「Foundation Modelsフレームワーク」により、オフラインでもAI機能を活用可能になる。All Trailsなどのアプリが対応する。

新しいショートカット「インテリジェントアクション」では、例えば、Writing Toolsでテキストを要約したり、Image Playgroundで画像作成する専用のアクションが利用可能となる。

リマインダーでは、メール、ウェブサイト、ノートなどのコンテンツから関連性の高いアクションが自動的に識別され、分類できる。Apple Walletでは、販売者や配送業者から送信されたメール内の注文追跡詳細を識別し、要約されるため、注文の詳細・進捗通知などを一元的に確認可能になる。

その他メールの要約やスマートリプライの強化、自然言語検索、メモアプリにおけるオーディオ書き起こし要約など多くの機能が追加される。

これらの機能は、9日からApple Developer Programから利用可能で、7月にはパブリックベータを提供開始。今秋のソフトウェアアップデートから、一般のユーザー向けに提供される。