[無料あり]自分の動画で語学を学ぶ「Scenewise」を公開!場面を読み取るAI解説つき単語帳と復習、iPhoneアプリも

好きな動画を、英語の教材に。Scenewise(AI字幕・翻訳/単語帳/復習) AI

はじめに

こんにちは、KUDs です。

音声・動画の文字起こしと翻訳のサービスとして公開していた「AI Transcriber」を、語学学習アプリ「Scenewise(シーンワイズ)」としてリニューアルしました。

Scenewise — Learn languages scene by scene
AI transcribes and translates your videos by speaker. Save words and idioms scene by scene, get AI explanations of what ...

動画や音声をアップロードすると、AI が話者ごとに文字起こしして翻訳します。ここまでは以前と同じです。

今回新しく、気になった表現を単語帳に保存すると、その場面での意味を AI が解説し、忘れかける頃合いに復習を出題する機能が加わりました。

「観て、聞いて、真似して、覚える」までを、自分の動画ひとつで完結できるようになっています。

無料プランはクレジットカードの登録なしで使えます。登録せずに試せるデモも用意しました。

あわせて、iPhone アプリも App Store で公開しました。

Scenewise: Language Learning App - App Store
Download Scenewise: Language Learning by Taichi Shikichi on the App Store. See screenshots, ratings and reviews, user ti...

2分半の紹介動画も作りました。まずはこちらで全体の流れをご覧ください。

Scenewise の単語帳。保存したフレーズに、場面を踏まえた AI の解説が付いている

Scenewise とは?

ひとことで言うと、自分の動画を教材にして、聞き取りと語彙を鍛える語学学習アプリです。

使い方は3ステップです。

  1. 動画をアップロード: 講義、ポッドキャスト、インタビュー、自分の録音など。誰が何を話したかを AI が文字起こしして翻訳します
  2. 聞いて、真似る: 音声に合わせて単語が光る字幕で、行のリピート、穴埋め、速度調整を使って耳と口を鍛えます
  3. 単語帳で定着させる: 気になった表現を保存すると、その場面での意味を AI が解説。忘れかける頃合いに復習できます

なぜ名前を変えたのか?

AI Transcriber は、もともと「海外の動画やポッドキャストを教材にしたい」という KUDs 自身の不便から作ったものでした。前回の記事でも書いたとおり、議事録ツールよりも語学学習の道具として作り込んできました。

ところが「AI Transcriber」という名前だと、どうしても「文字起こしツール」に見えてしまいます。実際の使われ方や作り手の狙いと、名前が合っていませんでした。

そして今回、学習の仕上げにあたる「単語帳」と「復習」が加わったことで、ようやく語学学習アプリと呼べる形になりました。そこで、中身に合わせて名前も変えることにしました。

Scenewise は「Scene(場面)」と「-wise(〜に通じた)」を合わせた造語です。場面ごと理解して覚える、という意味を込めています。

Scenewise でできること

【新機能】場面を読み取る AI 解説つき単語帳

文字起こしの中で、覚えたい単語やフレーズを選択して「単語帳に追加」を押すだけで保存できます。パソコンならドラッグ、スマホなら長押しで選べます。

保存すると、AI が次の項目を自動で埋めてくれます。

  • 意味: その文脈での意味
  • この場面では: 直前に何を言われたか、話している人どうしの関係や空気から、なぜその表現が選ばれたのかの解説
  • 使う場面: くだけた言い方か、丁寧な言い方か
  • 似た表現: 言い換えと、ニュアンスの違い
  • 例文: その表現を使った別の例文と訳

一番の特徴は「この場面では」です。辞書は意味を教えてくれますが、「この人はなぜ、いまこの言い方をしたのか」までは教えてくれません。Scenewise では、保存した文の前後の会話を AI が読み、場面ごと説明します。

たとえば紹介動画の中で、ロボットの手を怖がっていると指摘される場面の "freaked out" を保存すると、こんな解説が付きます。

この場面では、Celia(ロボット工学に打ち込む人物)が、相手に向かって「私のロボットの手が怖いんでしょ?」と指摘している。直前に相手は「それぞれの情熱を追うべきだ」と言って話を逸らしており、Celia はそれを、本音を隠した言い訳だと見抜いて問い詰めている。freaked out というくだけた言葉を使うことで、責めるというよりからかい混じりに本音を引き出す軽い調子になっている。相手は最初「怖がってない」と否定するが、結局「わかったよ、怖いんだ」と認め、ロボットの爪に追いかけられる悪夢を見ていると打ち明ける。つまりこの表現は、強がりが崩れて本音が出るきっかけになっている。

カードからは、保存した台詞をそのまま再生することもできます。

保存から AI の解説ができるまでの流れは、動画の 1:11 からご覧いただけます。

【新機能】忘却曲線に合わせた復習

保存した表現は「復習」画面で出題されます。カードを見て意味を思い出し、答えを見たら次の4段階で自己採点します。

  • もう一度(思い出せなかった)
  • 難しい
  • 正解
  • 簡単

次に出題する日は、採点に合わせて自動で決まります。覚えている表現ほど間隔が伸び(数日後 → 数週間後 → 数か月後)、忘れた表現はすぐに出し直されます。

出題日の計算には、Anki にも搭載されている FSRS という方式を使っています。人がどのくらいの速さで忘れていくか(忘却曲線)をカードごとに見積もり、思い出せる確率が下がりきる前に出題するので、少ない回数で長く覚えていられます。

新しいカードは1日20枚までにしています。一度にたくさん保存しても、数日後に復習が雪崩のように溜まらないようにするためです。

単語帳は CSV で書き出せるので、Anki にそのまま取り込むこともできます。

各ボタンには、次に出題されるまでの間隔(10分後、8日後など)が表示されます(動画の 1:43 から)。

話者ごとの文字起こしと18言語の翻訳

アップロードした音声・動画を解析し、誰が話しているかを判別して色分けして表示します。翻訳は18言語に対応しています。

英語 / 日本語 / 中国語 / スペイン語 / フランス語 / ドイツ語 / イタリア語 / ポルトガル語 / オランダ語 / スウェーデン語 / ノルウェー語 / デンマーク語 / フィンランド語 / トルコ語 / ベトナム語 / ヒンディー語 / アラビア語 / ヘブライ語

入力(話されている言語)・翻訳先・画面の表示言語が、すべて同じ18言語です。AI の解説も、あなたの言語(翻訳先の言語)で書かれます。

聞いて真似るための学習モード

  • 単語が光る字幕: 再生に合わせて、いま読まれている単語がハイライトされます。単語をクリックすればその位置へジャンプします
  • 穴埋め(ディクテーション): 字幕の一部を伏せ字にします(10%〜70%)
  • 行リピート: 聞き取れなかった一行だけを繰り返し再生します
  • 再生速度: 0.5倍〜2倍
  • 全画面字幕: 映像の上に原文と訳を重ねたまま観られます

単語が光る字幕・行リピート・速度調整は動画の 0:20 から、穴埋めモードは 0:43 から、全画面は 0:59 からご覧いただけます。

スマホでも使いやすく

スマホでは画面下に「ホーム / 単語帳 / 復習 / アカウント」のタブが出るので、通勤中のすき間時間に復習だけ進める、といった使い方がしやすくなっています。

iPhone アプリでは、写真アプリやカメラで撮った動画をそのまま選べます。アップロードの前に端末の中で軽くしてから送るので、長めの動画でも待ち時間が短く済みます。画面を消しても再生が続くので、移動中に「聞き流し」もできます。

iPhone アプリは App Store からどうぞ。

Scenewise: Language Learning App - App Store
Download Scenewise: Language Learning by Taichi Shikichi on the App Store. See screenshots, ratings and reviews, user ti...

Android アプリは準備中です。

登録せずにデモで試す

アカウントを作らなくても、デモ画面で実際のプレイヤーを触れます。

Scenewise — Learn languages scene by scene
AI transcribes and translates your videos by speaker. Save words and idioms scene by scene, get AI explanations of what ...

デモの動画は、Blender Foundation のオープンムービー「Tears of Steel」(CC BY 3.0)の冒頭です。字幕も訳も、実際に Scenewise で処理した結果そのままなので、AI の文字起こしと翻訳の実力をそのまま確かめられます。

デモで単語を選ぶと、AI の解説カードの見本も見られます。

料金プラン

FreeLightProUltra
料金(月額)無料$9.99$29.99$99.99
料金(年額)—$99$299$999
毎月の文字起こし時間30分5時間15時間60時間
1ファイルの長さ3分30分90分6時間
動画のアップロード200MBまで1GBまで2GBまで5GBまで
AI 単語解説(月)20回200回600回2,000回
保存できる単語2005,00020,00050,000

無料プランでも動画をアップロードできるようになりました(以前は音声のみでした)。3分以内の動画なら、そのまま投げてみてください。

上記は Web 版でお申し込みいただいた場合の料金です。iPhone アプリ内でのお申し込みは、App Store の手数料の分だけ料金が高くなります。

旧 AI Transcriber をご利用の方へ

  • サービスの URL が scenewise.kuds.win に変わりました。以前の trans.kuds.win にアクセスすると、自動で新しい URL へ移動します
  • アカウント、プラン、これまでの文字起こしはそのまま使えます
  • URL が変わったため、新しい URL で一度だけログインし直す必要があります

さいごに

「聞き取れなかった一行を何度でも」から始まったツールが、「聞いた言葉を自分のものにする」ところまで来ました。

単語帳と復習は公開したばかりの機能なので、使ってみての感想や要望をぜひ聞かせてください。contact@kuds.jp までお寄せいただけると嬉しいです。

まずは登録不要のデモから、気軽に触ってみてください。

Scenewise — Learn languages scene by scene
AI transcribes and translates your videos by speaker. Save words and idioms scene by scene, get AI explanations of what ...

コメント