課題

アイデアを考えるとき、考えついたとき、話し合いをしているとき、紙やホワイトボードの上におもむろにメモをとったり、殴り書きをした経験は誰にでもあるでしょう。しかし、メモや殴り書きゆえに、あとでなくしてしまったり、見やすい形のドキュメントを作り直す必要が生じることも多く、面倒になりがちです。手軽に書いたメモを自動でWeb上に整理してくれるアプリケーションがあれば便利になるはずです。Microsoft AI Labは8月29日、そんな誰もが経験したことのある悩みを解消するサービス、Sketch2Codeを発表しました。

解決方法

Skectch2Codeでは、ユーザの手書きメモの画像をWebにアップロードするだけで自動でHTMLのコードが生成されます。

処理の流れは以下の通りです。まず、ヴィジョンモデルを利用して、画像中のHTMLの要素（テキスト、ボタン、画像など）とその位置を獲得します。次に手書き文字認識モデルを利用して文字を書き起こします。その後、レイアウトアルゴリズムがグリッドを自動生成し、HTML生成エンジンによってHTML化されます。

このアプリケーションはMicrosoftの研究成果であるA Microsoft Custom Vision Model、A Microsoft Computer Vision ServiceおよびクラウドサービスAn Azure Blob Storage、An Azure Function、An Azure websiteの機能を組み合わせたものです。Custom Vision Model、Computer Vision Serviceの2つは大量のデータに基づく深層学習によって実装されていると考えられます。

どうなったか

Sketch 2 Codeのサービスを利用することで、今まで面倒であったアイデアの手書きメモをまとめる作業をHTML上で簡単に実行できるようになりました。以前から手書き文字を認識してドキュメント化するアプリケーションは存在しましたが、HTML上に整ったレイアウトとしてまとめ上げる、すなわちHTMLコードを自動生成するアプリケーションは今回が初の発表であり、今後利用者も増えていくことでしょう。

まとめ

MicrosoftはアイデアスケッチからHTMLのコードを自動生成するサービスを発表しました。これらの技術やアプリケーションは、Microsoftの研究開発においてDeep Learingによって学習された手書き文字認識モデルや画像認識モデルとクラウドサービスであるAzureを組み合わせて作成されており、手書き文字の書き起こしだけでなく、ボタンや画像位置などのレイアウトも手書きメモの画像を基に自動で作成してくれます。

この機能を利用することで、今までは面倒であったアイデアの整理が可能になるばかりでなく、今後はHTMLの技術をほとんど知らない人間でもWebページをスケッチから作成することが可能となり、Webページの作成を依頼する場合にも有効であると考えられます。

参考資料