AI DeepLearning Python プログラミング

【python AI】セマンティックセグメンテーションの実装方法 -データの準備-

 

AIには、セマンティックセグメンテーションという技術があります。

下記のような、物の種類を色分け(クラス分け)する技術です。

>> Rethinking Atrous Convolution for Semantic Image Segmentation

 

AIを始めた方でもみたことあるのではないでしょうか?

 

本記事はこんな方におすすめです。

hituji
セグメンテーションを使って活用したいが、手順がわからない

データの準備(アノテーション)はどうすれば良いの

 

本記事の内容

  • 準備するデータについて
  • アノテーションツール
  • アノテーションデータの変換

 

 

今回は、2回に分けて、この技術の使い方を次の2ステップで紹介していきます。

2ステップ

  • データの準備
  • AIを学習

 

今回は、1つ目のデータの準備です。

犬の画像を適当に100枚ほど集めて、その画像を使って、学習用の画像を作っていきます。

以下のように、左の画像と右の画像を用意していきます。

 

サンプルコード、データ

 

スポンサーリンク

準備するデータについて

準備するデータは、集めた画像分類後の画像の二つです。

この分類後の画像はピクセル単位で分類されているものになります。

例えば、右の画像のように0が背景、1が犬というように分類ごとに数値で分けます。

 

画像はピクセルごとに、0-255の数値を持つことができるので、255種類までいけます。

仮に、255種類超える場合でも、特に画像でデータ保存せずに配列データをそのまま保存しても良いです。

右図は、英語ではGround Truthと呼ばれています。

 

アノテーションツール

画像をピクセル単位でクラス分けする必要があります。

方法としては、ペイントツールで、赤色、青色などをペンタブ使って色を塗るという方法でも良いのですが、手間がかかりすぎるので以下のツールを使っていきます。

>> アノテーションツール labelme Github

似たようなツールに、labelImgというものもありますが、別のものになります。

 

ちなみに、アノテーションはAIに教え込ませるためのデータを作る作業のことです。

今回だと、ピクセルごとに犬と背景に分かれたデータを作る作業です。

 

インストール方法

インストールはGithubで紹介されています。

>> インストール方法

Anacondaなどでpython環境を用意して、pip install labelmeとするだけです。

 

今回は、Windowsのみになりますが、下記記事で紹介しているpython embeddableを使ってインストールしてみます。

*python環境はなんでも良いですが、わからない方は参考にしてください。

参考Windowsでpythonを使う/配布する時に便利!Python embeddable package使い方

続きを見る

 

次のサンプルコードをGitからダウンロードします。

サンプルコード

 

ダウンロードしたら、フォルダ名は適当にlabelmeなどに変更してください。

python_console.batを起動します。

 

起動したら、python -m pip install labelmeを入力します。

 

次に、labelmeと入力すると起動します。

 

起動すると次の画面が立ち上がります。

 

アノテーションの方法

事前に、犬のフリー素材を114つ集めましたので、そのデータを使っていきます。

Githubに置いてありますので、参考にしてください。

>> Github 犬のフリー素材114つ

 

seg_dogsというフォルダに入っています。

「OpenDir」でseg_dogsフォルダを選んでください。

 

次は、CreatePolygonsを押して、犬を点で囲っていきます。

開始位置に戻ると、名前を入力してとなるので、適当に「dog」とします。

 

アノテーションしたデータは「Save」を押して、保存します。

画像と同じフォルダに、json形式のデータで保存されます。

 

ポイント

犬の毛並みがふわふわして境界線が引きずらい場合は、ご自身の感覚で

犬の手前に物がある場合、ポリゴンを二つに分ける

犬が2匹以上いる場合、ボリゴンを複数に分ける

 

あとは、NextImageを押して、集めた画像を全て、アノテーションして保存していきます。

メニューのFileから「Save Automatically」を選択しておくと、Saveを押さなくても保存してくれます。

 

全部のデータのアノテーションが終わると、同じフォルダにJSONファイルがたくさんできています。

このファイルを使って、実際に学習するデータを作っていきます。

アノテーションデータの変換

時間をかけてアノテーションをしましたが、そのままでは学習データとして使えません。

右の画像のように、0と1の画像を用意する必要があります。

犬だけでなく、複数分類する場合は、1,2,3と数字が分類したい分、増えていきます。

 

変換する全体のコードは下記のGithubにおいてあるので、参考にしてください。

>> 変換のコード Github

このnotebookのコードを順番に紹介していきます。

 

ライブラリ読み込み

まず必要なライブラリを読み込みます。

OS、画像、画像表示用のライブラリになります。

不足しているものはインストールしてください。

 

学習用は256×256で保存するので、そのサイズも定義してあります。

 

データ読み込みと確認

アノテーションによって、できたjsonファイルを確認します。

 

ファイルのリストを取得します。

114個のリストが取得できます。

 

データを1つ読み込みます。

 

jsonの中身は、1つの画像ごとに、点で囲った分のshapeが入っています。

犬が2匹いれば、shapeが2つできるということです。

shapeの中身は、画像パスや画像データも含まれますが、使うのは次の3つです。

shapeで使うもの

label: 今回はdogですが、囲った領域につけたラベル名

shape_type: ポリゴン以外にもポイントや四角などがある

points: ポリゴンの各ポイント

 

labelは「dog」、shape_type は「polygon」とそれぞれ1つなので、実際に必要なのはpointsのみです。

 

データの変換

jsonファイルのポリゴンデータを使って、最終的にAIに出力させたい画像を作っていきます。

背景が0、犬が1となっている画像です。

 

次のステップで処理しています。

ステップ

  • 画像データを読み込む
  • 画像の縦横のサイズを取得して、全て0の配列データ(画像)を作成
  • cv2.fillPolyを使って、pointsのポリゴン箇所を0から1に変更
  • 並べて表示

 

データをtrain/valに分けて保存

jsonファイルの変換がわかったので、あとは全データ保存します。

画像はtrainとvalにそれぞれ、100と14つずつ分けます。

画像は、256にリサイズして、pngで保存しています。

 

train、valフォルダを作成します。

それぞれに、imagesとmasksフォルダも作成。

jsonから作る画像はmasksに保存していきます。

ファイルリストを順番に読み込んで、保存していきます。

 

これを実行したあと、train、valフォルダにデータが分かれて保存されます。

保存できたか確認してみましょう。

以上がデータの準備になります。

次は、実際に学習していきます。

参考【python AI】セマンティックセグメンテーションの実装方法 -学習と確認-

続きを見る

-AI, DeepLearning, Python, プログラミング

© 2021 ひつじ工房