VirtualBoxとSIMD

Previously on Mac De Oracle
SIMDのメモをあれこれ貼り付けただけでしたが、実は今回のことを調べてる次いでに見つけたものだったんですよ。

---

OracleもSIMDを使う操作が多くなりつつあるようなのでどうなんだろというわけで、今回もメモです。

元ネタは以下のエントリ

VirtualBoxゲストでSIMD命令: DB In-Memory
https://blogs.oracle.com/LetTheSunShineIn/entry/virtualboxゲストでsimd命令_db_in_memory

上記は約２年前の記事で現在のVirtualBoxでは、SSE4.1/SSE4.2は有効化されています。
以下ドキュメントを参照のこと。

9.27. Experimental support for passing through SSE4.1 / SSE4.2 instructions
https://www.virtualbox.org/manual/ch09.html#sse412passthrough

ただ、AVXはどうなのか書かれてはいないのでどうなってんのかな〜とか、ググってたら

Ticket #14427 (new defect)
https://www.virtualbox.org/ticket/14427#comment:3
こんな記事を見つけたのであー有効になってるよねーということで、うちの環境での確認

確認に利用したVirtualBoxは現時点の最新版です。

MacBook:˜ lampeyes$ VBoxManage -version
5.1.6r110634
MacBook:˜ lampeyes$ 

うちのMacファミリーでは最古参w　（そろそろなんとか新しいのにしたいなぁ〜w）
古いCPUだけど、マニュアル通り、SSE4.1/4.2はguestでも有効化されていました。おし！

MacPro:˜ lampeyes$ /usr/sbin/system_profiler SPHardwareDataType | grep -E 'Model|Processor|Core|Cache'
      Model Name: Mac Pro
      Model Identifier: MacPro5,1
      Processor Name: 6-Core Intel Xeon
      Processor Speed: 2.4 GHz
      Number of Processors: 2
      Total Number of Cores: 12
      L2 Cache (per Core): 256 KB
      L3 Cache (per Processor): 12 MB
      Processor Interconnect Speed: 5.86 GT/s
MacPro:˜ lampeyes$ 
MacPro:˜ lampeyes$ grep -E 'Mnemonic|SSE4|AVX' '/Users/lampeyes/VirtualBox VMs/Linux  Group/OralceLinux (Oracle12c R1)/Logs/VBox.log'
00:00:02.472827   Mnemonic - Description                                  = guest (host)
00:00:02.472916   SSE4_1 - SSE4_1 support                                 = 1 (1)
00:00:02.472919   SSE4_2 - SSE4_2 support                                 = 1 (1)
00:00:02.472934   AVX - AVX support                                       = 0 (0)
00:00:02.472942   Mnemonic - Description                                  = guest (host)
00:00:02.472951   AVX2 - Advanced Vector Extensions 2                     = 0 (0)
00:00:02.472968   AVX512F - AVX512 Foundation instructions                = 0 (0)
00:00:02.472978   AVX512PF - AVX512 Prefetch instructions                 = 0 (0)
00:00:02.472980   AVX512ER - AVX512 Exponential & Reciprocal instructions = 0 (0)
00:00:02.472981   AVX512CD - AVX512 Conflict Detection instructions       = 0 (0)
00:00:02.473041   Mnemonic - Description                                  = guest (host)
00:00:02.473103   SSE4A - SSE4A instructions                              = 0 (0)
MacPro:˜ lampeyes$ 

最近のメインマシンw
SSE4.1/4.2に加えてAVXもguestで有効化されていました。
（探したかぎりではドキュメントには見当たらないかった。もしご存知の方がいたら教えてくだい！

ただし、AVX2はguestでは無効化されています。。。。大人の事情でもあるのかとググってますが今の所見つからず。

MacBookAir:˜ lampeyes$ /usr/sbin/system_profiler SPHardwareDataType | grep -E 'Model|Processor|Core|Cache'
      Model Name: MacBook Air
      Model Identifier: MacBookAir7,2
      Processor Name: Intel Core i7
      Processor Speed: 2.2 GHz
      Number of Processors: 1
      Total Number of Cores: 2
      L2 Cache (per Core): 256 KB
      L3 Cache: 4 MB
MacBookAir:˜ lampeyes$ grep -E 'Mnemonic|SSE4|AVX' '/Users/lampeyes/VirtualBox VMs/OracleLinux/Logs/VBox.log'
00:00:02.654824   Mnemonic - Description                                  = guest (host)
00:00:02.654876   SSE4_1 - SSE4_1 support                                 = 1 (1)
00:00:02.654877   SSE4_2 - SSE4_2 support                                 = 1 (1)
00:00:02.654886   AVX - AVX support                                       = 1 (1)
00:00:02.654890   Mnemonic - Description                                  = guest (host)
00:00:02.654894   AVX2 - Advanced Vector Extensions 2                     = 0 (1)
00:00:02.654903   AVX512F - AVX512 Foundation instructions                = 0 (0)
00:00:02.654909   AVX512PF - AVX512 Prefetch instructions                 = 0 (0)
00:00:02.654909   AVX512ER - AVX512 Exponential & Reciprocal instructions = 0 (0)
00:00:02.654910   AVX512CD - AVX512 Conflict Detection instructions       = 0 (0)
00:00:02.654987   Mnemonic - Description                                  = guest (host)
00:00:02.655021   SSE4A - SSE4A instructions                              = 0 (0)

AVX2をguestで有効化することは可能なようです。

MacBookAir:˜ lampeyes$ 
MacBookAir:˜ lampeyes$ VBoxManage setextradata "OracleLinux" VBoxInternal/CPUM/IsaExts/AVX2 1

MacBookAir:˜ lampeyes$  grep -E 'Mnemonic|SSE4|AVX' '/Users/lampeyes/VirtualBox VMs/OracleLinux/Logs/VBox.log'
00:00:02.557798   AVX2  = 0x0000000000000001 (1)
00:00:02.815177   Mnemonic - Description                                  = guest (host)
00:00:02.815226   SSE4_1 - SSE4_1 support                                 = 1 (1)
00:00:02.815227   SSE4_2 - SSE4_2 support                                 = 1 (1)
00:00:02.815235   AVX - AVX support                                       = 1 (1)
00:00:02.815248   Mnemonic - Description                                  = guest (host)
00:00:02.815253   AVX2 - Advanced Vector Extensions 2                     = 1 (1)
00:00:02.815262   AVX512F - AVX512 Foundation instructions                = 0 (0)
00:00:02.815267   AVX512PF - AVX512 Prefetch instructions                 = 0 (0)
00:00:02.815268   AVX512ER - AVX512 Exponential & Reciprocal instructions = 0 (0)
00:00:02.815269   AVX512CD - AVX512 Conflict Detection instructions       = 0 (0)
00:00:02.815348   Mnemonic - Description                                  = guest (host)
00:00:02.815381   SSE4A - SSE4A instructions                              = 0 (0)
MacBookAir:˜ lampeyes$  

最後に Intel Core m5のMacBookですが、こちらは、MacBook Airと同様で、AVX2がguest側で無効化されていて、同様に手順で有効化できました。

何か不都合があったらオフればいいので、このまま使ってみようかと。:)

MacBook:˜ lampeyes$  /usr/sbin/system_profiler SPHardwareDataType | grep -E 'Model|Processor|Core|Cache'
      Model Name: MacBook
      Model Identifier: MacBook9,1
      Processor Name: Intel Core m5
      Processor Speed: 1.2 GHz
      Number of Processors: 1
      Total Number of Cores: 2
      L2 Cache (per Core): 256 KB
      L3 Cache: 4 MB
MacBook:˜ lampeyes$
 MacBook:˜ lampeyes$ grep -E 'Mnemonic|SSE4|AVX' '/Users/lampeyes/VirtualBox VMs/DOC-921720/Logs/VBox.log' 
00:00:02.791014   Mnemonic - Description                                  = guest (host)
00:00:02.791076   SSE4_1 - SSE4_1 support                                 = 1 (1)
00:00:02.791077   SSE4_2 - SSE4_2 support                                 = 1 (1)
00:00:02.791088   AVX - AVX support                                       = 1 (1)
00:00:02.791093   Mnemonic - Description                                  = guest (host)
00:00:02.791100   AVX2 - Advanced Vector Extensions 2                     = 0 (1)
00:00:02.791112   AVX512F - AVX512 Foundation instructions                = 0 (0)
00:00:02.791119   AVX512PF - AVX512 Prefetch instructions                 = 0 (0)
00:00:02.791120   AVX512ER - AVX512 Exponential & Reciprocal instructions = 0 (0)
00:00:02.791121   AVX512CD - AVX512 Conflict Detection instructions       = 0 (0)
00:00:02.791227   Mnemonic - Description                                  = guest (host)
00:00:02.791270   SSE4A - SSE4A instructions                              = 0 (0)
MacBook:˜ lampeyes$ 
MacBook:˜ lampeyes$ VBoxManage setextradata "DOC-921720" VBoxInternal/CPUM/IsaExts/AVX2 1
MacBook:˜ lampeyes$ 
MacBook:˜ lampeyes$ 
MacBook:˜ lampeyes$ grep -E 'Mnemonic|SSE4|AVX' '/Users/lampeyes/VirtualBox VMs/DOC-921720/Logs/VBox.log' 
00:00:01.243213   AVX2  = 0x0000000000000001 (1)
00:00:01.405462   Mnemonic - Description                                  = guest (host)
00:00:01.405592   SSE4_1 - SSE4_1 support                                 = 1 (1)
00:00:01.405593   SSE4_2 - SSE4_2 support                                 = 1 (1)
00:00:01.405604   AVX - AVX support                                       = 1 (1)
00:00:01.405610   Mnemonic - Description                                  = guest (host)
00:00:01.405616   AVX2 - Advanced Vector Extensions 2                     = 1 (1)
00:00:01.405628   AVX512F - AVX512 Foundation instructions                = 0 (0)
00:00:01.405635   AVX512PF - AVX512 Prefetch instructions                 = 0 (0)
00:00:01.405636   AVX512ER - AVX512 Exponential & Reciprocal instructions = 0 (0)
00:00:01.405637   AVX512CD - AVX512 Conflict Detection instructions       = 0 (0)
00:00:01.405758   Mnemonic - Description                                  = guest (host)
00:00:01.405836   SSE4A - SSE4A instructions                              = 0 (0)
MacBook:˜ lampeyes$ 

---

一つ忘れてた、うちで一番古いやつ。（これもそろそろ刷新したいｗ）
古いのでAVX以降はないですね。Windows 10 Proのリアルマシンなのでコマンドプロンプトからbashで情報取得。う～～ん便利bash w

lampeyes@LAMPEYES:/mnt/c$ cat /proc/cpuinfo | grep -E 'model name|cpu core|siblings' | sort -n | uniq


cpu cores       : 6
model name      : Intel(R) Core(TM) i7 CPU       X 980  @ 3.33GHz
siblings        : 12
lampeyes@LAMPEYES:/mnt/c$
lampeyes@LAMPEYES:/mnt/c$ grep -E 'Mnemonic|SSE4|AVX' '/mnt/c/Users/lampeyes/VirtualBox VMs/CentOS6.5 64bit/Logs/VBox.log'
00:00:04.805674   Mnemonic - Description                                  = guest (host)
00:00:04.805719   SSE4_1 - SSE4_1 support                                 = 1 (1)
00:00:04.805720   SSE4_2 - SSE4_2 support                                 = 1 (1)
00:00:04.805728   AVX - AVX support                                       = 0 (0)
00:00:04.805732   Mnemonic - Description                                  = guest (host)
00:00:04.805756   AVX2 - Advanced Vector Extensions 2                     = 0 (0)
00:00:04.805765   AVX512F - AVX512 Foundation instructions                = 0 (0)
00:00:04.805770   AVX512PF - AVX512 Prefetch instructions                 = 0 (0)
00:00:04.805771   AVX512ER - AVX512 Exponential & Reciprocal instructions = 0 (0)
00:00:04.805772   AVX512CD - AVX512 Conflict Detection instructions       = 0 (0)
00:00:04.805811   Mnemonic - Description                                  = guest (host)
00:00:04.805842   SSE4A - SSE4A instructions                              = 0 (0)
lampeyes@LAMPEYES:/mnt/c$

メモ：SIMDあれこれ

SIMDあれこれ自分メモ

primitive: blog / introdunction to SIMD programming
http://i-saint.hatenablog.com/entry/2015/05/26/212441

wikipedia / Streaming SIMD Extensions
https://ja.wikipedia.org/wiki/Streaming_SIMD_Extensions

IA Software User Society / コンパイラー最適化入門： 第1回 SIMD 命令とプロセッサーの関係
http://www.isus.jp/products/c-compilers/compiler_part1/

IA Software User Society / コンパイラー最適化入門： 第2回 SIMD 命令と伝統的な IA 命令
http://www.isus.jp/products/c-compilers/compiler_part2/

IA Software User Society / コンパイラー最適化入門： 第3回 インテル® コンパイラーのベクトル化レポートを活用する
http://www.isus.jp/products/c-compilers/compiler_part3/

IA Software User Society / コンパイラー最適化入門： 第4回 自動ベクトル化はどんな時に行われるか
http://www.isus.jp/products/c-compilers/compiler_part4/

IA Software User Society / コンパイラー最適化入門： 第5回 明示的にベクトル化されたコードを記述する
http://www.isus.jp/products/c-compilers/compiler_part5/

IA Software User Society / コンパイラー最適化入門： 第6回 ベクトル化の裏技集
http://www.isus.jp/products/c-compilers/compiler_part6/

Oracle In-Memory Column Store Internals – Part 1 – Which SIMD extensions are getting used?
http://blog.tanelpoder.com/2014/10/05/oracle-in-memory-column-store-internals-part-1-which-simd-extensions-are-getting-used/

SIMD-Scan: Ultra Fast in-Memory Table Scan using on- Chip Vector Processing Units
http://www.vldb.org/pvldb/2/vldb09-327.pdf

Rethinking SIMD Vectorization for In-Memory Databases
http://www.cs.columbia.edu/~orestis/sigmod15.pdf

Oracle … as usual / SIMD Extensions in and out Oracle 12.1.0.2
https://laurent-leturgez.com/2015/04/22/simd-extensions-in-and-out-oracle-12-1-0-2/

Laurent Leturgez, / Ukoug15 SIMD outside and inside Oracle 12c (12.1.0.2)
http://www.slideshare.net/lolo115/ukoug15-simd-outside-and-inside-oracle-12c-12102

Cellプログラミングチュートリアル Version 0.2c
http://cell.fixstars.com/ps3linux/tutorial/index.html

Oracle Database 12c R1 12.1.0.2.0 In-memory option はじめの一歩。

こまけーことは置いといて、
Oracle Database 12c R1 12.1.0.2.0 In-memory optionが利用できるようになったので簡単に試してみた。

環境は以下の通り

Oracle VM VirtualBox 4.3.12 for OS X
Oracle Linux 6.4
Oracle Database 12c EE 12.1.0.2.0 for Linux x86-64

時間が無かったので、マニュアルを斜め読みしつつ、とにかくインストール....
inmemory系初期化パラメータの確認。　(12.1.0.1と12.1.0.2の初期化パラメータの差分確認はあとで：TODO)

inmemory_sizeパラメータが0なのでin-memory column storeは機能しない状態がデフォルトなのか..

Oracle Database 12c Enterprise Edition Release 12.1.0.2.0 - 64bit Production
With the Partitioning, OLAP, Advanced Analytics and Real Application Testing options
に接続されました。
SYS> 
SYS> show parameter inmemory

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
inmemory_clause_default              string
inmemory_force                       string      DEFAULT
inmemory_max_populate_servers        integer     0
inmemory_query                       string      ENABLE
inmemory_size                        big integer 0
inmemory_trickle_repopulate_servers_ integer     1
percent
optimizer_inmemory_aware             boolean     TRUE
SYS> 

以下の表を作成してあります。 10万行のうちb='1'である行は10行だけにしてあります。

SCOTT> desc foobar
 名前                                    NULL?    型
 ----------------------------------------- -------- ----------------------------
 A                                                  NUMBER
 B                                                  CHAR(1)


SCOTT> select count(1) from foobar;

  COUNT(1)
----------
    100000

今まで通りに表を作成すると、in-memory column storeはdisabledで作成されるのか! ふむふむ。

SCOTT> select table_name,inmemory from user_tables where table_name='FOOBAR';

TABLE_NAME                     INMEMORY
------------------------------ --------
FOOBAR                         DISABLED

索引は作成していないので以下のようなクエリを実行すれば、TABLE ACCESS FULLですよね。

SCOTT> select /*+ gather_plan_statistics */ count(1) from foobar where b = '1';

  COUNT(1)
----------
        10

SCOTT> @show_actual_plan

PLAN_TABLE_OUTPUT
------------------------------------------------------------------------------------------
SQL_ID  4zurd70pg2qna, child number 0
-------------------------------------
select /*+ gather_plan_statistics */ count(1) from foobar where b = '1'

Plan hash value: 2479556450

---------------------------------------------------------------------------------------
| Id  | Operation          | Name   | Starts | E-Rows | A-Rows |   A-Time   | Buffers |
---------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT   |        |      1 |        |      1 |00:00:00.01 |     191 |
|   1 |  SORT AGGREGATE    |        |      1 |      1 |      1 |00:00:00.01 |     191 |
|*  2 |   TABLE ACCESS FULL| FOOBAR |      1 |     15 |     10 |00:00:00.01 |     191 |
---------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - filter("B"='1')

Note
-----
   - dynamic statistics used: dynamic sampling (level=2)


23行が選択されました。

in-memory column storeを利用するための準備〜〜〜。
alter table文でin-memory column storeを有効化。（簡単だな！）

SCOTT> alter table foobar inmemory;

表が変更されました。

おっと、忘れてました、 inmemory_sizeパラメータを設定しないといけないんだった...

ちなみに、inmemory_sizeパラメータは静的パラメータなので、scope=spfileを付けることをお忘れなく...

SYS> alter system set inmemory_size = 10m;
alter system set inmemory_size = 10m
*
行1でエラーが発生しました。:
ORA-02097: 指定した値が無効なので、パラメータを変更できません。 ORA-02095:
指定した初期化パラメータを変更できません。

メモリ関係のパラメータ変えて起動しなくなるって過去やらかしたことがあるので、手が勝ってに動くw

SYS> create pfile from spfile;

ファイルが作成されました。

変更できたました。
SYS> alter system set inmemory_size = 10m scope=spfile;

システムが変更されました。

SYS> 

....中略....

起動してみましょう！　あらららら。

SYS> startup
ORA-64353: in-memory area size cannot be less than 100MB

ううううう、なんということでしょう！ w このパラメータ間違うと起動しないのな!!!!! 注意しないと。 ＞　俺

in-memory初期化パラメータは 100MB以上に設定しましょうね。マニュアルにも書いてますから。（読みましょうね。 (^^;;;;

気を取り直して、再チャレンジ :)

[oracle@emperor ˜]$ sqlplus / as sysdba

SQL*Plus: Release 12.1.0.2.0 Production on 火 7月 29 06:34:46 2014

Copyright (c) 1982, 2014, Oracle.  All rights reserved.

アイドル・インスタンスに接続しました。

SYS> create spfile from pfile;

ファイルが作成されました。

SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area 3875536896 bytes
Fixed Size		    3717856 bytes
Variable Size		 2248148256 bytes
Database Buffers	 1610612736 bytes
Redo Buffers		   13058048 bytes
データベースがマウントされました。
データベースがオープンされました。

SYS> alter system set inmemory_size = 100m scope=spfile;

システムが変更されました。

SYS> shutdown
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。


SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area 3875536896 bytes
Fixed Size		    3717856 bytes
Variable Size		 2231371040 bytes
Database Buffers	 1509949440 bytes
Redo Buffers		   13058048 bytes
In-Memory Area		  117440512 bytes
データベースがマウントされました。
データベースがオープンされました。
SYS> 
SYS> 

In-Memory Areaとリストされています。
うまくいったようなので in-memory column storeを試してみます！！！！

SCOTT> select /*+ gather_plan_statistics */ count(1) from foobar where b = '1';

  COUNT(1)
----------
        10

SCOTT> 
SCOTT> 
SCOTT> @show_actual_plan

PLAN_TABLE_OUTPUT
------------------------------------------------------------------------------------------------
SQL_ID  4zurd70pg2qna, child number 0
-------------------------------------
select /*+ gather_plan_statistics */ count(1) from foobar where b = '1'

Plan hash value: 2479556450

------------------------------------------------------------------------------------------------
| Id  | Operation                   | Name   | Starts | E-Rows | A-Rows |   A-Time   | Buffers |
------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT            |        |      1 |        |      1 |00:00:00.01 |       8 |
|   1 |  SORT AGGREGATE             |        |      1 |      1 |      1 |00:00:00.01 |       8 |
|*  2 |   TABLE ACCESS INMEMORY FULL| FOOBAR |      1 |     15 |     10 |00:00:00.01 |       8 |
------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - inmemory("B"='1')
       filter("B"='1')

Note
-----
   - dynamic statistics used: dynamic sampling (level=2)


24行が選択されました。

in-memory column storeを利用しない場合、Buffer Getsが191ありましたが、in-memory column storeを利用した場合、Buffer Getsが8と大幅に減少しています！！！。データにもよるだろうけど、このケースだと、4%程度になってますね。

KEEP乗せとか手動でやらなくて済むケースあるんだろうな〜と、遠くを眺めながら.......in-memory column store初めの一歩はここまで。

つづく。