OPAC

TensorRT란?

도시쥐 — Sun, 27 Feb 2022 00:14:23 +0900

안녕하세요!

오늘은 NVIDIA의 TensorRT에 대해 알아보려고 합니다.

NVIDIA의 TensorRT

TensorRT란, NVIDIA사에서 개발한 딥러닝 연산 최적화 엔진입니다. 기존 딥러닝 프레임워크(PyTorch, TensorFlow, Caffe 등)가 네트워크를 구성하고 이를 모델로 만들었다면, TensorRT는 이러한 모델을 자체적인 여러가지 최적화 과정을 거쳐 NVIDIA의 GPU, DLA등에 효율적으로 싣는 역할을 합니다. 또한 최적화 과정을 거쳐 만들어낸 '엔진'을 binary 형태로 저장(blob의 형태로 저장합니다)하고 사용할때 마다 '엔진'을 deserialize하여 사용합니다.

https://opac.tistory.com/5

blob 이란?

Blob이란 무엇일까요? Binary Large Object의 약자로 어떠한 큰 객체를 Binary(2진수) 형태로 저장하는 데 사용합니다. 독립체(entity)로 된 2진수의 집합이라고 볼 수 있습니다. 그럼 여기서 2진수로 된 객

opac.tistory.com

앞으로 블로그에서 기존 딥러닝 프레임워크(PyTorch, TensorFlow등)을 거치지 않고 직접 (학습된 가중치를 따로 가져와야하지만..) TensorRT API를 통한 TensorRT 프로그래밍도 다룰 예정입니다.

TensorRT는 여러가지 최적화 기법을 사용해 딥러닝 모델을 최적화 시켜 연산속도를 향상시킵니다.

TensorRT에서 이용하는 대표적인 최적화 기법에 대해 몇가지 소개하자면

1. Graph Optimization

TensorRT Graph Optimization

TensorRT에 적용되는 Graph Optimization으로 여러단계로 설정되어 있는 Layer들을 Layer Fusion과 Tensor Fusion을 통해 '동시에' 연산하여 속도를 향상 시킵니다. 자세히는 Layer Fusion은 Vertical Fusion과 Horizontal Fusion 그리고 Tensor Fusion을 통해 Model Graph를 단순화 시키고 모델의 Layer개수가 크게 감소하게 됩니다.

TensorRT Optimization LOG기록

위 로그는 실제 TensorRT 엔진을 생성할 때 나오는 로그입니다. Layer fusion등을 통해 Layer수가 줄어드는 것을 확인할 수 있습니다.

2. Quantization & Precision Calibration

TensorRT Quantization &amp; Calibration

TensorRT는 자체적으로 FP16, INT8 datatype까지의 reduced Precision 기술을 지원합니다. 낮은 Precision의 Network일수록 당연하게 data의 크기 및 weight의 bit수가 작기 때문에 빠르고 효율적인 연산이 가능합니다.

이를테면, weight를 표현하는 bit수가 작아질수록 DRAM에서 GPU가 읽어와야 할 데이터의 크기는 줄어들 것입니다. 이러한 Data Movement가 줄어들면 energy consumption이 줄어들 수 있습니다. 또한 실제 연산시간도 줄일 수 있을 것입니다.

Bit-Precision에 따른 Operation별 Energy Cost와 Area Cost

위의 차트는 딥러닝 모델의 대부분을 이루고 있는 MAC연산과 DRAM에서 데이터를 불러올 때 요구되는 Energy Cost와 Area Cost를 나타낸 표입니다. 표에서 보시는바와 같이 Add연산의 경우 bit수에 따라 약 2배씩, Multiply연산과 DRAM Read연산의 경우 bit수에 따라 지수적으로 증가하는 것을 볼 수 있습니다.

TensorRT는 INT8과 같이 Accuracy-drop이 크게 예상되는 네트워크에서는 Calibration을 지원합니다. 종류는 EntropyCalibrator, EntropyCalibrator2를 지원하고 이를 이용해 Quantization(양자화)를 수행할 때 weight와 intermediate tensor들의 정보 손실의 최소화 할 수 있습니다.

이와 같이 TensorRT에서는 INT8까지의 Quantization을 지원하여 딥러닝 모델을 Energy-efficient하게 연산을 더욱 효율적으로 처리할 수 있게되는 것입니다.

3. Kernel Auto-tuning

TensorRT는 사용하는 플랫폼별로 엔진을 따로 생성해줘야 합니다. 예를들어, Jetson AGX Xavier 보드에서 생성한 엔진은 NX Xavier 보드에서는 실행할 수 없는 것입니다. 이러한 이유는 TensorRT가 NVIDIA에서 제공하는 다양한 플랫폼과 아키텍쳐에 맞는 Runtime을 따로 생성해주기 때문입니다.

TensorRT는 각기 다른 플랫폼에서 engine의 개수, 아키텍쳐, 메모리등 최적의 kernel을 찾아서 선택적으로 엔진을 생성해주게 됩니다.

4. Dynamic Tensor Memory & Multi-stream execution

자체적인 Memory Management 시스템으로 footprint를 줄여 데이터의 Reuse기회를 늘려줄 수 있는 Dynamic tensor memory기능이 있습니다.

CUDA Stream기술을 활용해서 여러개의 input stream을 스케쥴링을 통해 최적의 병렬처리 효율을 만들어 낼 수 잇습니다. 이를 Multi-stream execution기술이라고 합니다.

이상으로 TensorRT에 대한 설명을 마치겠습니다.

추후 TensorRT API를 통한 TensorRT 프로그래밍에 대해서도 많은 관심 부탁드립니다.

감사합니다!

*올바른 피드백은 언제나 환영입니다.

blob 이란?

도시쥐 — Tue, 15 Feb 2022 02:17:03 +0900

Blob이란 무엇일까요?

2진수, Binary

Binary Large Object의 약자로 어떠한 큰 객체를 Binary(2진수) 형태로 저장하는 데 사용합니다.

독립체(entity)로 된 2진수의 집합이라고 볼 수 있습니다.
그럼 여기서 2진수로 된 객체란 뭘까요?
- 객체는 이미지, 비디오, 사운드 부터 프로젝트, 애플리케이션, 실행파일(런타임)까지 이 모든것을 하나의 객체로 보고 2진수로 저장하게 되는 것입니다.

어떠한 객체를 2진화(Serialize)시켜서 저장하거나 불러온다는 것은 이러한 객체를 하나의 '상수'로써 이용하겠다는 뜻이 될 수도 있습니다.
- 이를테면, 어떠한 코드를 컴파일한 뒤에 생기는 실행파일은 코드의 수정 없이 단일 객체로써 프로세스를 수행할 것입니다.
- 데이터베이스로 영역에서 이러한 Blob은 지속적으로 유지되는 상수 데이터로도 볼 수 있습니다.

인공지능의 Object Detection, 자연어 처리, Image Classification 등에서는 각 Layer별 연산 또는 최적화한 연산을 Blob의 형태로 Runtime(실행파일)을 만들어 추론 단계에서 사용합니다.

그렇다면 파이썬에서는 blob을 어떻게 사용하고 있을까요?

간단한 blob 사용을 위해 wand 라이브러리를 사용하겠습니다.

  with open('image_path') as f:
 image_blob = f.read()

1) 'image_path'에 있는 이미지에서 blob을 불러옵니다.

with Image(blob=image_binary) as image:

1) blob에서 이미지를 불러와 image에 저장합니다.

실제 적용예시)

# 기본 라이브러리
from __future__ import print_function
 
# wand 라이브러리 import
from wand.image import Image
 
# file 입출력으로 image.jpeg를 열어줍니다.
with open('image.jpeg') as f:
 
    # 이미지파일에서 'blob'을 불러옵니다.
    image_blob = f.read()
 
# 'blob'파일에서 이미지를 불러와 img변수에 씁니다.
with Image(blob = image_binary) as img:
 
    # get height of image
    print('height =', img.height)
 
    # get width of image
    print('width =', img.width)

실제 적용 예시는 위와 같습니다.

이상으로 포스팅을 마치겠습니다.

감사합니다.

5분만에 인공지능 음성 인식기 만들기 (파이썬, Google Colab)

도시쥐 — Sat, 12 Feb 2022 02:47:35 +0900

안녕하세요!

스마트폰이 보급화된 요즘시대에 여러분 대부분은 구글의 구글 어시스턴트, Apple의 Siri등을 모두 써보셨을겁니다.

그리고 아마존의 Alexa도 있습니다. 이 세가지가 가장 유명한 음성인식 애플리케이션들인데요.

Google 어시스턴트

Apple의 음성 비서 Siri

아마존의 Alexa

이런 음성인식 기술들이 어떻게 구현되는지 궁금하지 않으신가요?

오늘은 파이썬 라이브러리를 이용해 간단히 5분만에 구현하는 음성인식기를 구현해보겠습니다.

구현은 가장 간단한 방법을 통해 해보겠습니다.

준비물: Google계정, 인식시키고 싶은 음성

자 우선 첫번째로는 어떤 음성을 인식시켜 텍스트화 시킬지 정해야겠죠?

테스트 음성으로 준비한 데이터는 영화 '노트북(2004)'의 명대사 부분 음성파일입니다.

notebook.wav

4.48MB

직접 영어 음성을 녹음하셔서 변환하고 싶다면 녹음파일을 만들어 .wav 확장자로 준비해주세요!

다음으로는 구글 계정입니다. 구글에 로그인 하신뒤에 Google Colab으로 들어가주세요.

https://colab.research.google.com/

Google Colaboratory

colab.research.google.com

다음으로, Google Colab에 들어가서 새 노트를 만들고, 음성파일(녹음파일)을

구글드라이브에 업로드해 연동시키겠습니다. 다운받은 음성파일(또는 녹음파일)을 구글 드라이브에 업로드해주세요.

(가장 처음 뜨는 경로에 하는게 편합니다.)

구글 드라이브에 음성파일 업로드

https://opac.tistory.com/3

구글 드라이브와 코랩(Colab) 연동하기

구글 코랩(Colab)이란? 구글에서 자체적으로 제공하는 Jupyter Notebook으로, 인프라를 구글 클라우드에 기반하고 있기 때문에, 일반 사용자의 PC보다 깔끔하고 직관적으로 실행할 수 있는 것이 특징이

opac.tistory.com

위 링크의 방법대로 Colab에서 구글 드라이브를 마운트 하셨다면

왼편의 파일 - drive - MyDrive/gdrive

drive/MyDrive 또는 drive/gdrive

위 주소에서 음성 파일을 찾을 수 있습니다.

전체 코드는 아래 링크에 업로드 해두겠습니다.

https://colab.research.google.com/drive/1qCyP9EXp8dFhEl6lkrhbha3ItijnTTEe?usp=sharing

5minute_project.ipynb

Colaboratory notebook

colab.research.google.com

Colab의 drive/MyDrive 또는 gdrive 의 음성파일

여기까지 했다면 준비는 끝났습니다. 다시 Colab의 빈노트 부분을 보겠습니다.

1. 우선 가장 먼저 활용할 python 라이브러리인 transformers를 설치해주겠습니다.

pip install transformers

pip install transformers 실행결과

잘 실행됐다면 위와 같이 나옵니다.

2. 음성처리에 사용할 추가적인 라이브러리를 import 해줍니다.

import torch
import librosa
import numpy as np
import soundfile as sf
from scipy.io import wavfile
from IPython.display import Audio
from transformers import Wav2Vec2ForCTC, Wav2Vec2Tokenizer

import한 library에 대해 설명드리자면,

1) torch : pyTorch 라는 딥러닝 프레임워크 입니다. 페이스북 AI팀에 의해 개발되었습니다. 데이터 작업과 모델 생성, 매개변수 최적화, 모델 저장등을 간편하게 할 수 있습니다.

2) librosa : Python에서 음성데이터를 분석해주는 라이브러리입니다. 음성 신호처리에 사용되는 대부분의 기능들이 구현되어 있습니다.

3) numpy : 고성능 수치계산을 위해 제작된 라이브러리입니다. Numerical Python의 줄임말으로, 벡터나 행렬 연산에서 매우 편리한 기능을 제공합니다.

4) soundfile : 음성데이터를 가져올 때 사용되는 라이브러리 입니다.

5) wavfile : wav확장자를 가져오기 위해 사용하는 라이브러리입니다.

6) Audio : 음성데이터 재생을 위해 사용하는 라이브러리입니다.

7) Wav2Vec : 위 1. 에서 설치한 트랜스포머(transformer)의 라이브러리로, Wav2Vec은 음성데이터를 벡터값으로 변환해 주는것을 말합니다. 이 방식은 페이스북(Facebook) AI팀에서 제안한 방식으로, 음성인식(speech recognition)에서 매우 좋은 성능을 보여줍니다.

Wav2Vec에 대해서는 추후 포스트에서 더욱 자세히 다루겠습니다.

제대로 import 되었다면 왼쪽에 체크표시가 생깁니다.

import 라이브러리

3. 음성데이터 확인하기

file_name = '/content/drive/MyDrive/notebook.wav' //또는 음성데이터의 경로
Audio(file_name)

자 이제 라이브러리를 모두 가져왔으니 음성데이터가 잘 연동되는지 확인해보겠습니다.

직접 음성데이터를 가져왔다면 file_name 의 경로에 맞게 수정해주시면 됩니다.

audio(file_name) 함수를 통해 음성데이터를 들어볼 수 있습니다.

4. 모델 및 토크나이저 생성

tokenizer = Wav2Vec2Tokenizer.from_pretrained("facebook/wav2vec2-base-960h")
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h")

본 포스팅에서는 직접학습이 아닌 이전에 학습된 모델을 가지고 음성인식을 수행합니다. 다른 누구가에 의해 학습되어있는 모델을 pre-trained model이라고 하는데, 여기서 가져온 모델은 페이스북(Facebook)에서 학습시킨 모델입니다.

1) tokenizer(토큰화)는, 데이터가 필요에 맞게 전처리(Pre-processing)되지 않은 상태라면 해당 데이터를 사용하고자 하는 용도에 맞게 토큰화 시켜주는 작업을 필요로 합니다. 이를 수행해주는 함수입니다.

2) model은, 위에 말씀드렸듯이 이미 학습된 모델을 가져오는 단계입니다. 우리가 가져온 음성데이터를 이 모델에 통과시키게 됩니다.

model을 웹에서 다운로드하기 때문에 실행하는데 약간의 시간이 소요됩니다.

모델과 tokenizer 가져오기

5. 음성데이터를 함수 변수에 넣기

data = wavfile.read(file_name)
framerate = data[0]
sounddata = data[1]
time = np.arange(0,len(sounddata))/framerate
print(data)
print('Sampling rate:',framerate,'Hz')

1) 위에서 가져온 음성 데이터파일을 'data'변수에 read해줍니다.

2) data[0]의 자료인 frame rate를 sounddata 변수에 넣어줍니다.

3) data[1]의 자료인 실제 sound data를 sounddata 변수에 넣어줍니다.

잘 실행되었다면 아래와 같이 출력값이 나오게 됩니다.

Sampling rate: 48000 Hz

6. 데이터를 시계열(time-series)로 가져오기

input_audio, _ = librosa.load(file_name, sr=16000)

librosa라이브러리의 load함수를 이용해 음성파일을 시계열 데이터(time-series)로 가져옵니다.

인자로써 가져올 파일인 file_name과 Sampling rate인 sr=16000을 받습니다.

librosa.load 함수는 time-series 데이터와 Sampling rate를 반환합니다.

7. 음성인식 후 텍스트화 하기

input_values = tokenizer(input_audio, return_tensors="pt").input_values
logits = model(input_values).logits
predicted_ids = torch.argmax(logits, dim=-1)
transcription = tokenizer.batch_decode(predicted_ids)[0]
print(transcription)

1) 음성파일을 tokenizer에 넣어 토큰화 합니다.

2) 토큰화한 데이터를 logit함수를 거쳐 데이터에 대한 확률을 구합니다.

( logit(로짓) 함수에 대해서는 추후 포스팅에서 자세히 다루겠습니다. 간단히 말하면 확률에 대해 모델링한 함수를 통과시키는 것입니다.)

3) pyTorch 라이브러리의 argmax를 사용합니다. logits함수에서 추출한 가장 높은 확률인 인자를 가져옵니다.

4) 입력 인덱스에 대해 토큰화 시켜 문장(Strings)로 재탄생 시켜주는 함수입니다.

'notebook.wav' 음성파일에 대한 output 출력결과는 아래와 같습니다.

I HAVE NO ONE SPECIAL JUST A COMMON MAN WITH COMMON THOUGHTS 
I'VE LED A COMMON LIFE THERE ARE NO MONUMENTS DEDICATED TO ME 
AND MY NAME WILL SOON BE FORGOTTEN BUT IN ONE RESPECT I'VE SUCCEEDED 
AS GLORIOUSLY AS ANY ONE WHO EVER LIVED I'VE LOVED ANOTHER WITH ALL MY HEART 
AND SOU AND FOR ME THAT HAS ALWAYS BEEN ENOUGH

이상으로 포스팅을 마치겠습니다.

감사합니다.

구글 드라이브와 코랩(Colab) 연동하기

도시쥐 — Mon, 7 Feb 2022 19:24:14 +0900

구글 코랩(Colab)

구글 코랩(Colab)이란?
구글에서 자체적으로 제공하는 Jupyter Notebook으로, 인프라를 구글 클라우드에 기반하고 있기 때문에, 일반 사용자의 PC보다 깔끔하고 직관적으로 실행할 수 있는 것이 특징이다. 주로 딥러닝, 인공지능 실험에 주로 사용되고 있고
공부하기에는 충분한 리소스를 제공해주니, 열심히 사용해보도록 하자.

1. 먼저 구글 코랩(Colab)에 접속해줍니다.

코랩 접속 초기화면

2. 파일 - 새 노트로 새로운 빈 노트를 만들어줍니다.

파일 - 새 노트

3-1. '드라이브 마운트'아이콘으로 연동하기

그러면 아래와 같이 빈 노트가 하나 생기는데 왼쪽 중간의 '파일'버튼을 클릭해 줍시다.

왼쪽 파일 버튼

아래와 같은 화면이 나타나면 표시의 '드라이브 마운트' 아이콘을 클릭해 줍니다.

드라이브 마운트

'드라이브 마운트'아이콘에 대각선이 생기며 구글 드라이브 연동이 완료됩니다.

3-2. 노트에 명령어로 구글 드라이브 연동하기

from google.colab import drive
drive.mount('/content/gdrive/')

위 코드를 아래 사진처럼 넣어주시고 사진속의 재생(▷) 버튼을 눌러주시면

authorization code 입력

위와 같이 authorization 코드를 입력하라고 나옵니다. 링크를 타고 들어가셔서 코드를 복사 붙여넣기 해주시면 마운트(연동)이 완료됩니다!

이렇게 구글 드라이브와 코랩(Colab) 연동하기가 완료되었습니다!

Linux 관련

도시쥐 — Fri, 4 Feb 2022 15:13:57 +0900