Microsoft の AI を活用した Sketch2Code は、図面から Web サイトとアプリを構築します

Microsoft は、Web サイトのスケッチを機能的な HTML コードに変換できる、AI を活用した Web デザイン ツールを開発しました。

Sketch2Code と呼ばれる Microsoft AI のシニア プロダクト マネージャー、タラ シャンカール ジャナ氏は、このツールの目的は「すべての開発者とすべての組織が AI を活用してより多くのことを行えるようにすること」であると説明しました。これは、HTML プロトタイプを作成するために、ホワイトボードや紙からワイヤーフレームやアプリのデザインの画像をデザイナーに送信するという「本質的な」問題から生まれました。

このプロセスを打破するために、Microsoft は余分な人間の要素 (この場合はデザイナー) を排除する Web ベースのアプリケーションを開発しました。代わりに、スケッチから撮影された画像が Microsoft の Azure クラウド インフラストラクチャに基づく AI サーバーに送信されます。

次を読む: AI とは何ですか?その将来について知っておくべき10のこと

ドラッグ アンド ドロップによる Web サイト構築アプリは新しいものではありません。カスタム設計をデジタル ワークスペースに移行するサービスを提供する企業は数多くありますが、人工知能を使用して設計を完成させるのは同社が初めてです。

Sketch2Code の AI は、送信された画像を事前構築 AI モデルに対して実行することで機能し、HTML コード ベースを作成し、その後に結果としてアプリが生成されます。このシステムの中心となるのは、「カスタム ビジョン オブジェクト予測モデル」と呼ばれるもので、本質的には手描き画像のデータセットで特別にトレーニングされた画像認識ツールです。

このモデルは、ボタン、ラベル、テキスト ボックスなどの基本的な HTML 要素を識別し、それらの要素が特定の画像内にいつ存在するかを予測できるようにします。また、ボックス内の手書きテキストを認識して、完全に形成されたアプリまたは Web ページを作成することもできます。

Shankar Jana 氏によると、このツールは開発者が GitHub で利用でき、そのコードは HTML から独立しており、XMAL およびユニバーサル Windows プラットフォームで抽出できるとのことです。