DBMS_SQLTUNE.PACK_STGTAB_SQLSETって、例外投げんのかよw

ということで、タイトル通り
マニュアル上、例外を投げるとは記載されてないのですが、テストしてたら”例外投げる”PL/SQLプロシージャ、意外と多いんですw
意図的に例外投げるよーというのは大抵マニュアルに記載されているんですが。人が書いてますからね、記載漏れも仕方ないっすねぇw　

マニュアルバグ、忘れちゃうので、自分向けFAQ and 備忘録　

Oracle® Database PL/SQLパッケージおよびタイプ・リファレンス　12c リリース1 (12.1)　B71281-05
DBMS_SQLTUNE.PACK_STGTAB_SQLSETプロシージャ

Oracle Database PL/SQL Packages and Types Reference (12.2)のマニュアルには DBMS_SQLTUNE.PACK_STGTAB_SQLSET Procedure は例外を投げるよ！という記載はないが...

DBMS_SQLTUNE.PACK_STGTAB_SQLSET Procedure
DBMS_SQLTUNE.PACK_STGTAB_SQLSET Procedure

orcl@SYS> r
  1  SELECT
  2    ID
  3    ,NAME
  4    ,OWNER
  5    ,CREATED
  6    ,LAST_MODIFIED
  7    ,STATEMENT_COUNT
  8  FROM
  9  	dba_sqlset
 10  ORDER BY
 11  	OWNER
 12  	,CREATED
 13*


        ID NAME                           OWNER                          CREATED   LAST_MODI STATEMENT_COUNT
---------- ------------------------------ ------------------------------ --------- --------- ---------------
         1 STS201710052340431             SYS                            05-OCT-17 05-OCT-17               0
         2 STS201710061431151             SYS                            06-OCT-17 06-OCT-17               2

statement_count=0と2の2つのSTS(SQL Tuning Set)があります。
STS(SQL Tuning Set)については、ここでは記載しませんが、何それ？　気になる、気になる〜という方は、
Oracle Database の STS(SQL Tuning Set) を活用して、SQL の 性能統計 や 実行計画 を キャプチャする。を覗いて見てください。

（次回のネタは思いっきりそこなので、予習にもなりますよ :）

例外を投げるとはマニュアルに記載されてないプロシージャが実は例外投げるじゃん！　
というケースは、dbms_sqltune.pack_stgtab_sqlset以外にもあるんですが、
急ぎのやっつけ仕事で遭遇すると、ここで見つかってよかった！！
という安堵感とともに、
ムカ〜〜〜〜っという憎悪も湧いてくるわけですw　
（何れにしてもテストはしっかりやりましょうw

以下、例外投げるとは書かれてないけど、投げるじゃん、dbms_sqltune.pack_stgtab_sqlset　の簡易テストの記録

準備として、dbms_sqltune.pack_stgtab_sqlsetは、STSを退避する為に必要なステージング表を作成します。

orcl@SYS> exec dbms_sqltune.create_stgtab_sqlset(table_name=>'TEST',schema_name=>'STSUSR');

PL/SQL procedure successfully completed.

statement_count=0つまり、STSに記録されたSQLの情報がない場合です。
ワーニングとしての意味が強いと思われますが、ORA-15701が投げつけられて、STSが空だということを教えてくれます！ :)
マニュアルには記載されてなかったので焦りますw　実際のところざっくり書いたコードではこの例外をハンドリングなんてしてませんでした。

orcl@SYS> l
  1  begin
  2    dbms_sqltune.pack_stgtab_sqlset(
  3      sqlset_name=>'STS201710052340431'
  4     ,sqlset_owner=>null
  5     ,staging_table_name=>'TEST'
  6     ,staging_schema_owner=>'STSUSR'
  7    );
  8* end;
orcl@SYS> /
begin
*
ERROR at line 1:
ORA-15701: All "SQL Tuning Set(s)" with name like "STS201710052340431" and owner like "SYS" are empty
ORA-06512: at "SYS.DBMS_SQLTUNE", line 5398
ORA-06512: at "SYS.DBMS_SQLTUNE", line 7928
ORA-06512: at line 2

一方、statement_count=2でSTSに記録されたSQLがある場合、つまり、STSは空じゃない場合は正常終了します。

orcl@SYS> l
  1  begin
  2    dbms_sqltune.pack_stgtab_sqlset(
  3      sqlset_name=>'STS201710061431151'
  4     ,sqlset_owner=>null
  5     ,staging_table_name=>'TEST'
  6     ,staging_schema_owner=>'STSUSR'
  7    );
  8* end;
orcl@SYS> /

PL/SQL procedure successfully completed.

STSが空だという例外を拾って、後続処理にあるであろう、ステージング表のエクスポートとかをバイパスしたりすることはできますね:)

dbms_sqltune.pack_stgtab_sqlsetは、STSが空だと例外投げるよ　というお話でした。

To be continued...

OracleのB*Tree索引にはNULLが含まれる場合があるんです！ - その性質を使ってチューニングすることもあるよ:) その３

---

前回までのMac De Oracle


OracleのB*Tree索引にはNULLが含まれる場合があるんです！ - その性質を使ってチューニングすることもあるよ:)

OracleのB*Tree索引にはNULLが含まれる場合があるんです！ - その性質を使ってチューニングすることもあるよ:)　その２

---

ということで、続きで〜〜すっ。

こんな表定義で

orcl@SCOTT> desc tab01
 Name      Null?    Type
 --------- -------- --------
 FOO                NUMBER
 BAR                NUMBER
 HOGE      NOT NULL CHAR(2)
 ID        NOT NULL NUMBER

こんな索引があって

****** Index column info : tab01 ******

INDEX_NAME                     COLUMN_NAME                    DESC
------------------------------ ------------------------------ ----
IX1_TAB01                      FOO                            ASC

IX2_TAB01                      BAR                            ASC
                               FOO                            ASC

IX3_TAB01                      ID                             ASC
                               FOO                            ASC

IX4_TAB01                      ID                             ASC
                               BAR                            ASC
                               FOO                            ASC

PK_TAB01                       ID                             ASC

こんなデータで

orcl@SCOTT> set null [NULL]
orcl@SCOTT> select * from tab01

       FOO        BAR HO         ID
---------- ---------- -- ----------
[NULL]     [NULL]     **          1
         1 [NULL]     **          2
[NULL]              1 **          3
         1          1 **          4

2列の複合索引、どちらの列もNULLだと、やはり、NULLは索引に含まれないので　IS NULL検索だと索引は利用されないですよねぇ〜。このような状態ではヒントで索引利用を強制利用させようとしても無理です。

orcl@SCOTT> r
  1  select
  2    /*+
  3      gather_plan_statistics
  4      index(tab01 ix2_tab01)
  5      no_index(tab01 ix4_tab01)
  6      no_index(tab01 ix3_tab01)
  7    */
  8    *
  9  from
 10    tab01
 11  where
 12    foo is null
 13*   and bar is null
　　　　　
       FOO        BAR HO         ID
---------- ---------- -- ----------
[NULL]     [NULL]     **          1

・・・略・・・
-------------------------------------------------------------------------------------
| Id  | Operation         | Name  | Starts | E-Rows | A-Rows |   A-Time   | Buffers |
-------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT  |       |      1 |        |      1 |00:00:00.01 |       8 |
|*  1 |  TABLE ACCESS FULL| TAB01 |      1 |      1 |      1 |00:00:00.01 |       8 |
-------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(("FOO" IS NULL AND "BAR" IS NULL))

でも、NOT NUL制約の列が1列でも含まれている索引であればNULLは索引に含まれます。（前回までの復習も兼ねた確認）
第1列がWHERE句で記述されていないので索引スキップスキャンになっていますが.....IS NULL検索を索引アクセスだけで行っているのがよく分かる例の一つです：）

orcl@SCOTT> r
  1  select
  2    /*+
  3      gather_plan_statistics
  4    */
  5    *
  6  from
  7    tab01
  8  where
  9    foo is null
 10*   and bar is null

       FOO        BAR HO         ID
---------- ---------- -- ----------
[NULL]     [NULL]     **          1

・・・略・・・
--------------------------------------------------------------------------------------------------------------------
| Id  | Operation                           | Name      | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |
--------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                    |           |      1 |        |      1 |00:00:00.01 |       3 |      1 |
|   1 |  TABLE ACCESS BY INDEX ROWID BATCHED| TAB01     |      1 |      1 |      1 |00:00:00.01 |       3 |      1 |
|*  2 |   INDEX SKIP SCAN                   | IX4_TAB01 |      1 |      1 |      1 |00:00:00.01 |       2 |      1 |
--------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - access("BAR" IS NULL AND "FOO" IS NULL)
       filter(("FOO" IS NULL AND "BAR" IS NULL))

最後にもう少しわかりやすい例を。

SQL文を少々書き換えてIndex Only Scanになるようにしました。索引にNULLが含まれていないと索引だけのアクセスで済むわけがないわけで、これ以上わかりやすい例はないと思います：）

まず、索引が利用できない例から。
FOO列とBAR列だけの複合索引をヒントで強制利用させようとしていますが、この索引は２列ともnullableなので２列をIS NULL検索しても索引が利用されません！
全ての列がNULLである場合、キーエントリーは索引に作成されない。単一列でも複合索引でも同じであることが確認できます。

orcl@SCOTT> r
  1  select
  2    /*+
  3      gather_plan_statistics
  4      index(tab01 ix2_tab01)
  5      no_index(tab01 ix4_tab01)
  6      no_index(tab01 ix3_tab01)
  7    */
  8    *
  9  from
 10    tab01
 11  where
 12    foo is null
 13*   and bar is null

       FOO        BAR HO         ID
---------- ---------- -- ----------
[NULL]     [NULL]     **          1

・・・略・・・
-------------------------------------------------------------------------------------
| Id  | Operation         | Name  | Starts | E-Rows | A-Rows |   A-Time   | Buffers |
-------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT  |       |      1 |        |      1 |00:00:00.01 |       8 |
|*  1 |  TABLE ACCESS FULL| TAB01 |      1 |      1 |      1 |00:00:00.01 |       8 |
-------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(("FOO" IS NULL AND "BAR" IS NULL))

おっと、
大切なのを忘れてました。

FOO列(nullable(、BAR列(nullable)の複合索引を　IS NOT NULL AND IS NULLで検索した場合はどうなるか？
答えは以下の通り。IS NULL と　IS NOT NULLの組み合わせでも、索引が利用されます。:)

BAR IS NULLで範囲検索しFOO IS NOT NULLでフィルタリングしています。 NULLが含まれていないと不可能な索引レンジスキャンと索引読み時のフィルタリング！

orcl@SCOTT> r
  1  select
  2    /*+
  3      gather_plan_statistics
  4      no_index(tab01 ix3_tab01)
  5      no_index(tab01 ix4_tab01)
  6    */
  7    foo
  8    , bar
  9  from
 10    tab01
 11  where
 12    foo is not null
 13*   and bar is null

       FOO        BAR
---------- ----------
         1 [NULL]

・・・略・・・
-------------------------------------------------------------------------------------------------
| Id  | Operation        | Name      | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT |           |      1 |        |      1 |00:00:00.02 |       1 |      1 |
|*  1 |  INDEX RANGE SCAN| IX2_TAB01 |      1 |      1 |      1 |00:00:00.02 |       1 |      1 |
-------------------------------------------------------------------------------------------------
Predicate Information (identified by operation id):
---------------------------------------------------

   1 - access("BAR" IS NULL)
       filter("FOO" IS NOT NULL)

その逆も！

orcl@SCOTT> r
  1  select
  2    /*+
  3      gather_plan_statistics
  4      no_index(tab01 ix3_tab01)
  5      no_index(tab01 ix4_tab01)
  6    */
  7    foo
  8    , bar
  9  from
 10    tab01
 11  where
 12    foo is null
 13*   and bar is not null

       FOO        BAR
---------- ----------
[NULL]              1

・・・略・・・
----------------------------------------------------------------------------------------
| Id  | Operation        | Name      | Starts | E-Rows | A-Rows |   A-Time   | Buffers |
----------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT |           |      1 |        |      1 |00:00:00.01 |       2 |
|*  1 |  INDEX SKIP SCAN | IX2_TAB01 |      1 |      1 |      1 |00:00:00.01 |       2 |
----------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - access("FOO" IS NULL)
       filter(("FOO" IS NULL AND "BAR" IS NOT NULL))

もういっちょ！
２列とものnullableな索引だとindex fast full scanにはできないけど、index full scanにはできるんですよ〜。

orcl@SCOTT7gt; r
  1  select
  2    /*+
  3      gather_plan_statistics
  4      no_index(tab01 ix3_tab01)
  5      no_index(tab01 ix4_tab01)
  6    */
  7    foo
  8    , bar
  9  from
 10    tab01
 11  where
 12    foo is not null
 13*   and bar is not null

       FOO        BAR
---------- ----------
         1          1

・・・略・・・
----------------------------------------------------------------------------------------
| Id  | Operation        | Name      | Starts | E-Rows | A-Rows |   A-Time   | Buffers |
----------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT |           |      1 |        |      1 |00:00:00.01 |       2 |
|*  1 |  INDEX FULL SCAN | IX2_TAB01 |      1 |      1 |      1 |00:00:00.01 |       2 |
----------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(("FOO" IS NOT NULL AND "BAR" IS NOT NULL))

Note
-----
   - statistics feedback used for this statement

後に、NOT NULL列が含まれる索引なら index fast full scanでもできるはず！
独り言；index only scan+index fast full scanなんてのもセグメントサイズが小さければ物理読み込み量削減には効果があるんですよねぇ〜　;-)

orcl@SCOTT> r
  1  select
  2    /*+
  3      gather_plan_statistics
  4      no_index(tab01 ix3_tab01)
  5      index_ffs(tab01 ix4_tab01)
  6      no_index(tab01 ix2_tab01)
  7    */
  8    foo
  9    , bar
 10  from
 11    tab01
 12  where
 13    foo is not null
 14*   and bar is not null

       FOO        BAR
---------- ----------
         1          1

・・・略・・・
-----------------------------------------------------------------------------------------------------
| Id  | Operation            | Name      | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |
-----------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT     |           |      1 |        |      1 |00:00:00.03 |       4 |      1 |
|*  1 |  INDEX FAST FULL SCAN| IX4_TAB01 |      1 |      1 |      1 |00:00:00.03 |       4 |      1 |
-----------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(("FOO" IS NOT NULL AND "BAR" IS NOT NULL))

オラクルの索引にNULLは絶対含まれない、というのは都市伝説！　
IS NOT NULLは索引使えないとかIS NULLは索引使えないというというのも違うんですよね。　

OracleのB*Tree索引では、索引に含まれる全列がNULLの場合以外はNULLが含まれてまっす！　というのが正しいですよね！？

この手の問題でピンチになったら、思い出してみてください ;)
USE THE INDEX ONLY SCAN, LUKE! w

Pipelined table function で ascii art

クリスマスも過ぎ、新年へのカウントダウンも始まっていますが、
Pipelined table functionを使って簡単なASCIIアートをJPOUG Advent Calendar 2012描画してましたが中身を公開してなかったな〜
ということで、少々手直しして公開！

公開しておくとPipelined table functionとかtable functionを書かなきゃなった時に思い出しやすいのでw　自分向けなんですけどね。 (^^;;

参考：
Oracle Database Online Documentation 12c Release 1 (12.1)
Unstructured Data and Content Management
13 Using Pipelined and Parallel Table Functions

create or replace type messageTblType as table of varchar2(300)
/

注）
以下関数ではdbms_lock.sleep()を利用しているため、事前にexecute権限を付与しておく必要があります。
また、エラー処理は端折ってます. (^^;;
　

create or replace function tree(lheight pls_integer, linterval_change_color float)
return messageTblType
pipelined 
as
    height_of_tree pls_integer := lheight;
    center pls_integer;
    i pls_integer := 1;
    siz_of_trunk pls_integer := 3;
    pos_of_trunk pls_integer;
    interval_change_color float := linterval_change_color;
begin
    center := ceil((1 + height_of_tree + ( height_of_tree - 2)) / 2);
    pos_of_trunk := case when ceil(height_of_tree / 5) > 10 then 10 else ceil(height_of_tree / 5) end;
    for l in 1..75 loop
        pipe row(chr(27)||'[2J'||chr(27)||'[1;'||to_char(ceil(dbms_random.value(1,7))+30)||'m');
        i := 1;
        --draw leaves
        while (i < height_of_tree) loop
            pipe row(
                chr(27)||'['||to_char(i,'FM0999')||';'||to_char(center - i,'FM0999')||'H'||lpad('*', i + (i - 2) + 1, '*')
            );
            i := i + 1;
        end loop;
        --draw trunk
        for j in -1..pos_of_trunk loop
            pipe row(
                chr(27)||'['||to_char(j + height_of_tree,'FM0999')||';'||to_char(center - 2,'FM0999')||'H'||lpad('*', siz_of_trunk, '*')
            );
        end loop;
        dbms_lock.sleep(interval_change_color);
    end loop;
	pipe row(chr(27)||'[0m');
	return;
end;
/
show errors

以下、実行コードの例
Treeのサイズを10/20/50、色の変更感覚を0.2秒として実行してます。

set linesize 300
set pagesize 0
set array 1
select * from table(tree(10, 0.2));
select * from table(tree(20, 0.2));
select * from table(tree(50, 0.2));

実行結果はYoutubeで:)

Instant Client v11.2.0.3.0 for Mac OS X (Intel x86) 32bit and 64bit released !!! :)

Instant Client v11.2.0.3.0 Downloads for Mac OS X (Intel x86) 32bit and 64bit
http://www.oracle.com/technetwork/topics/intel-macsoft-096467.html

Precompiler Downloads - Instant Client Package - (v11.2.0.3.0)
http://www.oracle.com/technetwork/topics/precomp-112010-084940.html

11g R2阪がリリースされるなんて、驚いた。うれしいことですが、驚いたお。

述語 ;) のつづき

さて、前回のつづきです。

以下のようにtable full scanになっちゃってるのをもうちょっといい感じにチューニングするには？　ってとこまででした。

わかっちゃったもんね〜〜〜〜〜〜の方〜〜〜〜〜〜〜っ。　沢山いるようですね。頼もしいです:)

赤字で示した部分が重要なんですよーーーー。TO_CHAR()関数が使われていて述語がプッシュでうまく索引が利用できないのが原因なんですよ。

22:52:28 SCOTT> set autot trace exp stat
22:52:34 SCOTT> 
22:52:35 SCOTT> 
22:52:35 SCOTT> l
  1  select
  2      t1.id
  3     ,t1.data
  4     ,t1.ctr
  5  from
  6     (
  7         select
  8              to_char(t0.id) as id
  9             ,data
 10             ,count(1) as ctr
 11         from
 12             push_pred_tab1 t0
 13         group by
 14              t0.id
 15             ,t0.data
 16     ) t1
 17  where
 18      t1.id between 1 and 20
 19  order by
 20*     t1.id
22:52:38 SCOTT> /

20行が選択されました。

経過: 00:00:00.07

実行計画
----------------------------------------------------------
Plan hash value: 62726154

--------------------------------------------------------------------------------------------
| Id  | Operation           | Name           | Rows    | Bytes   | Cost (%CPU)  | Time     |
--------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT    |                |     250 |     123K|    1950   (1)| 00:00:24 |
|   1 |  SORT ORDER BY      |                |     250 |     123K|    1950   (1)| 00:00:24 |
|   2 |   HASH GROUP BY     |                |     250 |     123K|    1950   (1)| 00:00:24 |
|*  3 |    TABLE ACCESS FULL| PUSH_PRED_TAB1 |     250 |     123K|    1948   (1)| 00:00:24 |
--------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   3 - filter(TO_NUMBER(TO_CHAR("T0"."ID"))>=1 AND
          TO_NUMBER(TO_CHAR("T0"."ID"))<=20)


統計
----------------------------------------------------------
      1  recursive calls
      0  db block gets
   7184  consistent gets
      0  physical reads
      0  redo size
  11132  bytes sent via SQL*Net to client
    530  bytes received via SQL*Net from client
      3  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
     20  rows processed

改善後、述語が副問合せにプッシュされて索引レンジスキャンになってます :) めでたしめでたしなんですが　例があれなんで、次回はもう少し本物っぽいのでやってみますね。

 22:54:14 SCOTT> 
 22:54:15 SCOTT> l
   1  select
   2      to_char(t1.id) as id
   3     ,t1.data
   4     ,t1.ctr
   5  from
   6     (
   7         select
   8              t0.id
   9             ,data
  10             ,count(1) as ctr
  11         from
  12             push_pred_tab1 t0
  13         group by
  14              t0.id
  15             ,t0.data
  16     ) t1
  17  where
  18      t1.id between 1 and 20
  19  order by
  20*     t1.id
 22:54:15 SCOTT> /
 
 20行が選択されました。
 
 経過: 00:00:00.00
 
 実行計画
 ----------------------------------------------------------
 Plan hash value: 1209889820
 
 --------------------------------------------------------------------------------------------------
 | Id  | Operation                    | Name              | Rows  | Bytes | Cost (%CPU)| Time     |
 --------------------------------------------------------------------------------------------------
 |   0 | SELECT STATEMENT             |                   |    20 | 10120 |     5  (20)| 00:00:01 |
 |   1 |  SORT GROUP BY               |                   |    20 | 10120 |     5  (20)| 00:00:01 |
 |   2 |   TABLE ACCESS BY INDEX ROWID| PUSH_PRED_TAB1    |    20 | 10120 |     4   (0)| 00:00:01 |
 |*  3 |    INDEX RANGE SCAN          | PK_PUSH_PRED_TAB1 |    20 |       |     2   (0)| 00:00:01 |
 --------------------------------------------------------------------------------------------------
 
 Predicate Information (identified by operation id):
 ---------------------------------------------------
 
    3 - access("T0"."ID">=1 AND "T0"."ID"<=20)

 
 
 統計
 ----------------------------------------------------------
       1  recursive calls
       0  db block gets
       4  consistent gets
       0  physical reads
       0  redo size
   11132  bytes sent via SQL*Net to client
     530  bytes received via SQL*Net from client
       3  SQL*Net roundtrips to/from client
       1  sorts (memory)
       0  sorts (disk)
      20  rows processed
 
 22:54:17 SCOTT>
 

ということで次回へつづく。

---

ここまでのあらすじ

・述語 ;)

述語 ;)

書こうと思っているうちに時間がなくて書けなかったので、簡単なチューニングネタを一つ。

こんな感じのクエリ、どうやったら、いい感じにチューニングできるんでしょうね？

ちなみに、index only accessにする必要はないです。　やってもいいけどw

（いろいろ端折りすぎたらお題のクエリイマイチw ま、いいっか)

・準備 - 以下のような表を作って、データを登録しておきます。

22:33:20 SCOTT> create table push_pred_tab1 (id number not null, data varchar2(500)) nologging;

表が作成されました。

経過: 00:00:00.02
22:33:53 SCOTT> begin for i in 1..100000 loop insert into push_pred_tab1 values(i,lpad(i,500,'*')); end loop; commit; end;
22:36:30   2  /

PL/SQLプロシージャが正常に完了しました。

経過: 00:00:04.17
22:38:03 SCOTT> alter table push_pred_tab1 add constraint pk_push_pred_tab1 primary key(id) using index nologging;

表が変更されました。

経過: 00:00:00.18
22:38:28 SCOTT> 
22:47:55 SCOTT> exec
dbms_stats.gather_table_stats(ownname=>'SCOTT',tabname=>'PUSH_PRED_TAB1',no_invalidate=>false,cascade=>true);

PL/SQLプロシージャが正常に完了しました。

経過: 00:00:00.31

SQL文と実行計画は以下の通りで、以下のSQL文、どうやったらいい感じにチューニングできるでしょうか？

22:52:28 SCOTT> set autot trace exp stat
22:52:34 SCOTT> 
22:52:35 SCOTT> 
22:52:35 SCOTT> l
  1  select
  2      t1.id
  3     ,t1.data
  4     ,t1.ctr
  5  from
  6     (
  7         select
  8              to_char(t0.id) as id
  9             ,data
 10             ,count(1) as ctr
 11         from
 12             push_pred_tab1 t0
 13         group by
 14              t0.id
 15             ,t0.data
 16     ) t1
 17  where
 18      t1.id between 1 and 20
 19  order by
 20*     t1.id
22:52:38 SCOTT> /

20行が選択されました。

経過: 00:00:00.07

実行計画
----------------------------------------------------------
Plan hash value: 62726154

--------------------------------------------------------------------------------------------
| Id  | Operation           | Name           | Rows    | Bytes   | Cost (%CPU)  | Time     |
--------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT    |                |     250 |     123K|    1950   (1)| 00:00:24 |
|   1 |  SORT ORDER BY      |                |     250 |     123K|    1950   (1)| 00:00:24 |
|   2 |   HASH GROUP BY     |                |     250 |     123K|    1950   (1)| 00:00:24 |
|*  3 |    TABLE ACCESS FULL| PUSH_PRED_TAB1 |     250 |     123K|    1948   (1)| 00:00:24 |
--------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   3 - filter(TO_NUMBER(TO_CHAR("T0"."ID"))>=1 AND
          TO_NUMBER(TO_CHAR("T0"."ID"))<=20)


統計
----------------------------------------------------------
      1  recursive calls
      0  db block gets
   7184  consistent gets
      0  physical reads
      0  redo size
  11132  bytes sent via SQL*Net to client
    530  bytes received via SQL*Net from client
      3  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
     20  rows processed

次回へつづく :)

AWRレポート、AWR SQLレポート一括取得スクリプトを作ったよ。

Statspackレポートもそうなのですが、AWRレポート／AWR SQLレポートも個別に取得していると凄ーく辛いんですよね。一日分出力するとか、AWRレポートで処理時間の長いSQL文のAWR SQLレポートを個別に取得しようとなると...

ただでさえ忙しいのに、AWRレポート取得するのに時間掛けたくないですよね。

ということで、やっつけで作ったのですが、そのまま載せるのもあれなんで、やっつけで作った感じを多少減らしてgithubに公開しました。;)

https://github.com/discus/Oracle-AWR-batch-generation-script/blob/master/awrreport_batch.sql

もっといい感じに改造してくれるといいな〜とかとか... :)

Oracle11g R1/R2 Enterprise Edition、HTML形式で出力します。(RAC環境では試してないので多分だめかと。)。
（AWRを利用するには追加ライセンスが必要なのでご注意を）

使い方は・・

SQL*plusを起動し、select any dictionaryシステム権限、dbms_repositoryパッケージの実行権限が付与されたユーザで接続して実行するだけ。
SYSTEMユーザでやる事が多いけど、所変わればなんとやらなので・・・そこんとこよろしく。(w

一括取得なので実行当日を含めてn日分のAWRレポートを取得し、同時に処理時間の長いTop20のAWR SQLレポートも取得します。
レポートは各スナップショット間（今のところ固定）で取得します。

指定するパラメータは、以下の３つ。

Enter snap_id for starting AWR report generation. [NULL] : 

AWRレポートを取得する最初のSNAP_IDを指定します。 NULLがデフォルトでほとんどの場合デフォルトのままで事足りると思います。

Enter number of days for reporting period. [1] : 

一括取得する日数を指定します。当日を含みます。
当日分のAWRレポートを出力するのであれば、デフォルト値の1のままでOKです。

Enter suffix for AWR reports filename. [NULL] : test

保存するAWRレポートのファイル名に付加するsuffixを指定します。
試験名とか設定するといいですよね。

"test"と指定した場合

awrrpt_nnnn_nnnn_test.htmlや
awrsqrpt_nnnn_nnnn_test_sqlid.html

の形式で保存します。(nnnnはSNAP_ID)

実行例１）当日分の全レポートを取得する例

SYSTEM> 
SYSTEM> !ls -l awr*.sql
-rw-r--r-- 1 oracle oinstall 6065  1月 29 18:23 awrreport_batch.sql

SYSTEM> @awrreport_batch   
 --
-- Oracle AWR and AWR SQL report batch generation script
--
-- ***** This script always generate html format AWR reports. *****
--
Enter snap_id for starting AWR report generation. [NULL] : 
Enter number of days for reporting period. [1] : 
Enter suffix for AWR reports filename. [NULL] : test
--
--
--
clear break compute;
repfooter off;
ttitle off;
btitle off;

・・・中略・・・

<p />
<br /><a class="awr" href="#top">Back to Top</a><p />
</body></html>

SYSTEM> 

実行例２）当日分かつsnap_id=291以降で一括取得。（事前にsnap_idを調べておいてね）

SYSTEM> 
SYSTEM> @awrreport_batch
--
-- Oracle AWR and AWR SQL report batch generation script
--
-- ***** This script always generate html format AWR reports. *****
--
Enter snap_id for starting AWR report generation. [NULL] : 291
Enter number of days for reporting period. [1] : 
Enter suffix for AWR reports filename. [NULL] : test
--
--
--
clear break compute;
repfooter off;
ttitle off;
btitle off;

・・・中略・・・

<p />
<br /><a class="awr" href="#top">Back to Top</a><p />
</body></html>

SYSTEM> 
SYSTEM> 
SYSTEM> !ls -l *.html
-rw-r--r-- 1 oracle oinstall 379083  1月 29 22:23 awrrpt_291_292_test.html
-rw-r--r-- 1 oracle oinstall  11899  1月 29 22:23 awrsqrpt_291_292_test_0c83z9rqx45hu.html
-rw-r--r-- 1 oracle oinstall  11899  1月 29 22:23 awrsqrpt_291_292_test_0h3mfbzk6uyw0.html
-rw-r--r-- 1 oracle oinstall  11897  1月 29 22:23 awrsqrpt_291_292_test_2p7t0mw7zvu5z.html

・・・中略・・・

-rw-r--r-- 1 oracle oinstall  11899  1月 29 22:23 awrsqrpt_291_292_test_bhtycgwkxhfj9.html
-rw-r--r-- 1 oracle oinstall  11900  1月 29 22:23 awrsqrpt_291_292_test_bpaggvtfkar9k.html
-rw-r--r-- 1 oracle oinstall  11899  1月 29 22:23 awrsqrpt_291_292_test_c50hdbyuwhfn6.html
-rw-r--r-- 1 oracle oinstall  11892  1月 29 22:23 awrsqrpt_291_292_test_g3f3cw3zy5aat.html

SYSTEM> 

なお、Oracleインスタンスが再起動された期間でawrrpt.sqlなどを実行すると、レポートが作成できずエラーでSQL*Plusも終了してしまいますが、本スクリプトでは該当部分のレポートはスキップするようにしてあります。:)

Instance     DB Name      Snap Id   Snap Started       Level
------------ ------------ --------- ------------------ -----
lampeye      LAMPEYE            274 29 1月  2012 09:33     1
                                275 29 1月  2012 10:00     1
                                276 29 1月  2012 10:30     1
                                277 29 1月  2012 11:00     1
                                278 29 1月  2012 11:30     1
                                279 29 1月  2012 12:00     1
                                280 29 1月  2012 12:30     1
                                281 29 1月  2012 13:00     1
                                282 29 1月  2012 13:30     1
                                283 29 1月  2012 14:00     1
                                284 29 1月  2012 14:30     1
                                285 29 1月  2012 15:00     1
                                286 29 1月  2012 15:30     1
                                287 29 1月  2012 16:00     1
                                288 29 1月  2012 16:30     1
                                289 29 1月  2012 17:00     1
                                290 29 1月  2012 17:30     1

                                291 29 1月  2012 18:31     1  ←再起動されてる
                                292 29 1月  2012 18:34     1

                                293 29 1月  2012 22:26     1　←再起動されてる

Enjoy!

shutdown immeidateしない、ほかの理由に遭遇！ （FYI)

ず〜〜〜〜っと、追記しようと思ってたんだけど書いてなかったので、徹夜明けで早起きした次いでなんで書いておきます。

もう一年近く前のネタなんだけどね。「shutdown immeidateしない、ほかの理由に遭遇！」

＞ yoheia-a さんありがとう :)

私か書いた記事がキッカケで調べなきゃいけなくなったらしいんだけどね。 ;)

http://d.hatena.ne.jp/yohei-a/20110627/1309180675

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ
・shutdown immeidateしない、ほかの理由に遭遇！ おまけのおまけ（でた〜最近、よくあるパターンw）

Index Only Access (Index Only Scan) っていいよね（デメリットもあるけどさ） #2

Index Only Accessのいいとこ、紹介しちゃいますの続きです。

前回は、索引しかアクセスしない（Index Only Access）場合と、索引＋表データもアクセスしちゃう場合の実行計画上の違いを確認しましたよね。

今回は、Index Only Accessで得られる改善効果の１つであるソート処理の回避について簡単な例で確認してみます。

※VISIBLE/INVISIBLEにしている索引の詳細は前回の記事を参照してくださいね。

Now Playing ♪ - ハイスクールララバイ / イモ欽トリオ - 1981

まず、最初は、悪い子の例から。

索引を全表走査した上で　order by seq#　でソート処理が実行されます。酷いですね。検索条件列に適切な索引を作れよ〜〜〜っ。という状態ですね。

SQL> alter index tab10_i01 invisible;

索引が変更されました。

SQL> alter index tab10_i02 invisible;

索引が変更されました。

SQL> select seq# from tab10 where non_unique_key = '0000000001' order by seq#;

10行が選択されました。

経過: 00:00:04.99

実行計画
----------------------------------------------------------
Plan hash value: 2100371779

----------------------------------------------------------------------------
| Id  | Operation           | Name  | Rows | Bytes | Cost (%CPU)| Time     |
----------------------------------------------------------------------------
|   0 | SELECT STATEMENT    |       |   10 |   160 | 16788   (1)| 00:03:22 |
|   1 |  SORT ORDER BY      |       |   10 |   160 | 16788   (1)| 00:03:22 |
|*  2 |   TABLE ACCESS FULL | TAB10 |   10 |   160 | 16787   (1)| 00:03:22 |
----------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - filter("NON_UNIQUE_KEY"='0000000001')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
  61544  consistent gets
  61540  physical reads
      0  redo size
    655  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
     10  rows processed

次に、普通の子の例。

検索条件であるnon_unique_keyに定義された索引を使いIndex range scanかつ、seq#をアクセスするために表データをrowidでアクセス。その後にソート処理が行われています。

普通の子らしい、よい実行計画ですね。 :)

SQL> alter index tab10_i01 visible;

索引が変更されました。

SQL> alter index tab10_i02 invisible;  

索引が変更されました。

SQL> select seq# from tab10 where non_unique_key = '0000000001' order by seq#;

10行が選択されました。

経過: 00:00:00.08

実行計画
----------------------------------------------------------
Plan hash value: 1783972576

------------------------------------------------------------------------------------------
| Id  | Operation                    | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |           |    10 |   160 |     5  (20)| 00:00:01 |
|   1 |  SORT ORDER BY               |           |    10 |   160 |     5  (20)| 00:00:01 |
|   2 |   TABLE ACCESS BY INDEX ROWID| TAB10     |    10 |   160 |     4   (0)| 00:00:01 |
|*  3 |    INDEX RANGE SCAN          | TAB10_I01 |    10 |       |     3   (0)| 00:00:01 |
------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   3 - access("NON_UNIQUE_KEY"='0000000001')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
      4  consistent gets
     17  physical reads
      0  redo size
    655  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
     10  rows processed

そして、最後は、良い子の登場。

この子、データ量が多くなった場合、ソート処理も足枷になると考えたようで　Index only accessを利用したソート処理回避作戦を取ったようです。　
実行計画をみればわかりますが、索引しかアクセスしておらず、SORT ORDER BY というオペレーションも消えています!

検索条件である、non_unique_key列とソート対象のseq#列の２列からなる複合索引を利用するIndex only accessを狙ったようですね。

ただし、これには order by seq# [asc]であるという大前提があります。
order by seq# desc　というソートも考慮する必要がある場合には、non_unique_key [asc]とseq# desc とした別の複合索引必要になります。（デメリットといえばデメリットですかね、）

order by seq# descというソート条件が仕様上無い事を事前に確認しておけば、なお完璧ですよね〜。　良い子。流石です。 :)

SQL> alter index tab10_i01 invisible;

索引が変更されました。

SQL> alter index tab10_i02 visible;  

索引が変更されました。

SQL> select seq# from tab10 where non_unique_key = '0000000001' order by seq#;

10行が選択されました。

経過: 00:00:00.01

実行計画
----------------------------------------------------------
Plan hash value: 489654843

------------------------------------------------------------------------------
| Id  | Operation        | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
------------------------------------------------------------------------------
|   0 | SELECT STATEMENT |           |    10 |   160 |     3   (0)| 00:00:01 |
|*  1 |  INDEX RANGE SCAN| TAB10_I02 |    10 |   160 |     3   (0)| 00:00:01 |
------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - access("NON_UNIQUE_KEY"='0000000001')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
      4  consistent gets
     16  physical reads
      0  redo size
    655  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      0  sorts (memory)
      0  sorts (disk)
     10  rows processed

次回へつづく。（他のソート回避の例も紹介しちゃうか、考えちう）

---

・Index Only Access (Index Only Scan) っていいよね（デメリットもあるけどさ） #1

・いん！、イン！、Index どっぷり Inde Only Access生活w - Oracle OpenWorld Unconference presented by JPOUG

Index Only Access (Index Only Scan) っていいよね（デメリットもあるけどさ） #1

さて、OracleさんがAppleさんのOSで楽しいことしてくれないから最近つまんなくなりつつあるので、普通にSQL文のチューニングネタです。

鬼熱かった、鬼熱かった！ :: Insight out 2011- DB tech showcaseでもかなり触れていた、Index Only Scan日本ではこの表現が割合的に多いようなのですが、Index Only Accessって言ってましたね、トムカイトさんも。英語では後者のほうが一般的なのかもしれません。ここではIndex Only Accessってことにしておきます。;)

デメリットもあるけど、Index Only Accessのいいとこばかりを中心に、書いちゃうよ〜w

まず、前提から。

TAB10表は以下のように定義してあります。意図的に表データが大きくなるようにしてあります :)

 名前                NULL?    型
 ------------------ -------- --------------
 SEQ#               NOT NULL NUMBER
 NON_UNIQUE_KEY     NOT NULL CHAR(10)
 DATA                        VARCHAR2(500)

また、以下のような索引を事前に索引しているが、PK_TAB10という主キー索引以外はINVISIBLEとして作成してある。
INVISIBLEで作成しておくと、索引は通常通りメンテナンスされるが、オプティマイザは実行計画作成時にINVISIBLEな索引を利用しないというOracle11gから登場した便利な機能

また前述の表には以下のような主キー(PK_TAB10)と非ユニークな索引が２つ作成してあります。（あまり良い例ではないですがご勘弁を）
但し、TAB10_I01、TAB10_I02の２索引は、INVISIBLEで作成してあります。効果確認時など便利ですよね。
(不可視索引の詳細はマニュアル「Oracle Database 管理者ガイド　11gリリース1（11.1）不可視索引の作成」を参照のこと。）

INDEX_NAME   COLUMN_NAME
------------ -------------------
PK_TAB10     SEQ#

TAB10_I01    NON_UNIQUE_KEY

TAB10_I02    NON_UNIQUE_KEY
             SEQ#

検証時の処理時間及び、実行統計は、各クエリを２回実行し２回目の処理時間及び、実行統計を載せてあります。
（２回目の実行前にバッファキャッシュをクリアしてあるので、ソフトパース＋キャッシュミスほぼ100%という状況の処理時間及び実行統計情報です。）

テストデータは以下件数で、non_unique_keyは偏りはなく均一に分布させあります。
実際のはなし、均等になることの方が稀ではあると思いますけど、Index Only Accessの効果を見る事ができればそれでOKなので。

COUNT(1)
----------
    800000


COUNT(DISTINCTNON_UNIQUE_KEY)
-----------------------------
                        80000


NON_UNIQUE   COUNT(1)
---------- ----------
0000000001         10
0000000002         10
0000000003         10
0000000004         10
0000000005         10
0000000006         10
0000000007         10
0000000008         10
0000000009         10
0000000010         10
0000000011         10
0000000012         10
0000000013         10
0000000014         10
0000000015         10
0000000016         10
0000000017         10
0000000018         10
0000000019         10
0000000020         10

・・・以下略・・・

まず最初は一番分かりやすい、Index Only Accessの例から。

non_unique_key列に、TAB10_I01という非ユニーク索引を作成してありますが、現状、INVISIBLE状態にしてあるため索引が無く全表走査がとなっていますよね。

SQL> set autot trace exp stat
SQL>
SQL> select count(non_unique_key) from tab10 where non_unique_key between '0000000001' and '0000000010';

経過: 00:00:04.32

実行計画
----------------------------------------------------------
Plan hash value: 1584905094

----------------------------------------------------------------------------
| Id  | Operation          | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
----------------------------------------------------------------------------
|   0 | SELECT STATEMENT   |       |     1 |    11 | 16787   (1)| 00:03:22 |
|   1 |  SORT AGGREGATE    |       |     1 |    11 |            |          |
|*  2 |   TABLE ACCESS FULL| TAB10 |   100 |  1100 | 16787   (1)| 00:03:22 |
----------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - filter("NON_UNIQUE_KEY"<='0000000010' AND
          "NON_UNIQUE_KEY">='0000000001')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
  61544  consistent gets
  61539  physical reads
      0  redo size
    562  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      0  sorts (memory)
      0  sorts (disk)
      1  rows processed

ここで、TAB10_I01索引をVISIBLEへ変更して同一クエリを実行してみると……
TAB10_I01索引を利用した実行計画はIndex Range Scanに変化します。しかも、表データはアクセスしていません。これがIndex Only Accessの典型的な例です。アクセスブロック数も処理時間も大きく改善していますよね。

ただ、Index only scanにはデメリットもあります。

それは、索引が多くなればなるほどDML文には足枷になり遅くなるため点です。参照と更新、挿入、削除のバランスを取るのが大切ですが、
とにかく参照を速くする、更新、挿入、削除の処理性能などは少々犠牲にしても問題ないのであれば、どんどんやっちゃいます！（ご利用は計画的にw)

SQL> alter index tab10_i01 visible;
SQL> 
SQL> select count(non_unique_key) from tab10 where non_unique_key between '0000000001' and '0000000010';

経過: 00:00:00.02

実行計画
----------------------------------------------------------
Plan hash value: 3770330610

-------------------------------------------------------------------------------
| Id  | Operation         | Name      | Rows  | Bytes | Cost (%CPU) | Time     |
-------------------------------------------------------------------------------
|   0 | SELECT STATEMENT  |           |     1 |    11 |     3    (0)| 00:00:01 |
|   1 |  SORT AGGREGATE   |           |     1 |    11 |             |          |
|*  2 |   INDEX RANGE SCAN| TAB10_I01 |   100 |  1100 |     3    (0)| 00:00:01 |
-------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - access("NON_UNIQUE_KEY">='0000000001' AND
          "NON_UNIQUE_KEY"<='0000000010')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
      3  consistent gets
      3  physical reads
      0  redo size
    562  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      0  sorts (memory)
      0  sorts (disk)
      1  rows processed

ちなみに、クエリは少々違うのですが、Index only accessで無い場合は、index range scan＋table access by index rowidとなり以下のような実行計画になっちゃいます。
（こちらの方がよく目にする実行計画じゃないでしょうかね。私も性能的な問題等なければ以下のような実行計画であれば良しとしておくことが多いのも事実です。。）

実行計画
----------------------------------------------------------
Plan hash value: 1097902029

------------------------------------------------------------------------------------------
| Id  | Operation                    | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |           |   100 | 51700 |    11   (0)| 00:00:01 |
|   1 |  TABLE ACCESS BY INDEX ROWID | TAB10     |   100 | 51700 |    11   (0)| 00:00:01 |
|*  2 |   INDEX RANGE SCAN           | TAB10_I02 |   100 |       |     3   (0)| 00:00:01 |
------------------------------------------------------------------------------------------

次回へつづく。（忙しくてなかなか書けないかもw)

オラクルは会議室で動いてんじゃな〜〜イ。統計情報で動いてんだ！

と少々無理矢理なタイトル付けてみました:) 今回はチューニングはチューニングでも、statspack.snap()のチューニングのお話。

注）表現はそれなりに脚色してありますw

ある日のこと。

大トラブルなんです〜（こういう人、うまくいってないプロジェクトにはよくいます。全然”大”じゃないのに、もう口癖なんでしょうねw）

statspack.snap()がものすごく遅いんです！　なんとかなりませんか？

ん〜〜〜、で、状況を教えてください。

PERFSTAT> 
PERFSTAT> exec statspack.snap(i_snap_level=>7,i_executions_th=>0);

PL/SQLプロシージャが正常に完了しました。

経過: 00:00:31.46

・・・・中略・・・・

PERFSTAT> exec statspack.snap(i_snap_level=>7,i_executions_th=>0);

PL/SQLプロシージャが正常に完了しました。

経過: 00:06:28.02

説明によると、こんな状況になっていたらしい。最初は３０秒ぐらいで終わっていたのに、ここ最近は５分以上になり今日はついに６分超えたとか。

で……statspack.snap()の時間がかかってて試験の消化に支障でてんですよね…とか、

マシン貧弱だからな…とか、

と打ち合わせでも話題になることしばしば…

で、この状態になってからやっと、訪ねてきたわけね.

・・・・マシン環境について、しばし歓談タイム〜・・・・

話していて気づいた！

あ！、その試験環境って、統計情報の自動収集は止められてますよね。しかも試験する時に取得している統計情報って試験用のユーザだけ統計情報収集していますよね〜。

あれだ！、　　感のいいかあなたなら気づきましたよね。ね。ね。:)

次のディクショナリを見れば一億目瞭然！　:)

PERFSTAT> select table_name,num_rows,stale_stats,last_analyzed from user_tab_statistics;

TABLE_NAME                       NUM_ROWS STA LAST_ANA
------------------------------ ---------- --- --------
STATS$BUFFERED_QUEUES
STATS$BUFFERED_SUBSCRIBERS
STATS$BUFFER_POOL_STATISTICS
STATS$CR_BLOCK_SERVER
STATS$CURRENT_BLOCK_SERVER
STATS$DATABASE_INSTANCE
STATS$DB_CACHE_ADVICE
STATS$DLM_MISC
STATS$DYNAMIC_REMASTER_STATS
STATS$ENQUEUE_STATISTICS
STATS$EVENT_HISTOGRAM

・・・・中略・・・・

STATS$STREAMS_POOL_ADVICE
STATS$SYSSTAT
STATS$SYSTEM_EVENT
STATS$SYS_TIME_MODEL
STATS$TEMPSTATXS
STATS$TEMP_SQLSTATS
STATS$THREAD
STATS$TIME_MODEL_STATNAME
STATS$UNDOSTAT
STATS$WAITSTAT

72行が選択されました。

じゃ〜、統計情報収集しましょーよー、ちゃんと！　

23:58:46 PERFSTAT> execdbms_stats.gather_schema_stats(ownname=>'PERFSTAT',no_invalidate=>false,cascade=>true);

PL/SQLプロシージャが正常に完了しました。

経過: 00:00:04.02

試してみて！、 staspack.snap()を！　　ね！ 　前よりすげー速くなった！

23:58:50 PERFSTAT> exec statspack.snap(i_snap_level=>7,i_executions_th=>0);

PL/SQLプロシージャが正常に完了しました。

経過: 00:00:01.38

STATSPACK.SNAP()内で実行されてるSQL文にも統計情報は必要ですよーーーーーーーーーーーーと。

ごれぐらい”ー”付けてればわかってくれるかなー:)

一発ネタは、これにて FIN

悩ませ過ぎは及ばざるがごとし #7 - おまけ

最近、おまけ付けるの好きなので:)

コストベースオプティマイザがどんだけ考えているか、チューニング前とチューニング後（案１と案２）でトレースファイルサイズで比較してみることに（本来それだけで比較できるものではないとは思いますが、あまりにも差があるのでw)

コストベースオプティマイザのトレースは次のようにして取得できますよね（詳細はググってね）

SCOTT> alter session set events='10053 trace name context forever, level 1';

セッションが変更されました。

経過: 00:00:00.00
SCOTT> SELECT　……　

・・・仲略・・・

5999行が選択されました。

経過: 00:00:53.48

SCOTT> alter session set events='10053 trace name context off';

セッションが変更されました。

経過: 00:00:00.00

SCOTT> 

オプティマイザトレースファイルのサイズを比較すると以下のようになります：）　
オプティマイザを悩ますクエリ、ヒントで考えるな！感じろ！にしたクエリ（考えてますけど〜〜〜w）、最後が、相関副問合せに書き換えたクエリの順となっています。

[oracle@lampeye trace]$ ll
合計 59088
-rw-r----- 1 oracle oinstall    54431  9月  8 22:14 alert_lampeye2.log
-rw-r----- 1 oracle oinstall 54294792  9月  8 22:16 lampeye2_ora_5913.trc
-rw-r----- 1 oracle oinstall  5154103  9月  8 22:17 lampeye2_ora_5969.trc
-rw-r----- 1 oracle oinstall   898699  9月  8 22:19 lampeye2_ora_5981.trc
[oracle@lampeye trace]$ 

最初のトレースファイル(.trc)，54294792バイトもありますよーw このオプティマイザトレースファイルがハードパースで４８秒も考え込んでた時のものです。
（対象クエリも合わせて載せてみました）

-rw-r----- 1 oracle oinstall 54294792  9月  8 22:16 lampeye2_ora_5913.trc

こんなにオプティマイザを考えさせちゃうクエリ↓

SELECT
    T1.surro_id,
    T1.name,
    T1.modified
FROM
    test T1 JOIN (
        SELECT  DISTINCT
            surro_id,
            surro_bcd
        FROM
            test
    ) T2
    ON 
        T1.surro_id  = T2.surro_id AND
        T1.surro_bcd = T2.surro_bcd
    JOIN test T3
    ON    
        T1.surro_id = T3.surro_id AND
        T1.surro_acd= T3.surro_acd
WHERE
    T1.surro_id IN (リテラル,....限界まで)
    OR T1.surro_id IN (リテラル,....限界まで）

    .....以下....すきなだけ繰り返しw

/

２つめのトレースファイル、5154103バイトで、１／１０程度になりましたーでも大きいですよね。これはヒントを付加して悩まないようにしてあげたものですが、それでもこんなサイズになってます！

-rw-r----- 1 oracle oinstall  5154103  9月  8 22:17 lampeye2_ora_5969.trc

案２、ヒントを付加したクエリでもこんなにでるのね。

SELECT   
    /*+
        LEADING(T1 T2 T3)
        USE_HASH(T1 T2)
        USE_HASH(T1 T3)
        INDEX(T1 IX01_TEST) 
        INDEX(T3 IX01_TEST) 
    */
    T1.surro_id,
    T1.name,
    T1.modified
FROM
    test T1 JOIN (
        SELECT 
            /*+ 
                MERGE 
                INDEX(test IX02_TEST) 
            */ 
            DISTINCT
            surro_id,
            surro_bcd
        FROM
            test
    ) T2
    ON 
        T1.surro_id  = T2.surro_id AND
        T1.surro_bcd = T2.surro_bcd
    JOIN test T3
    ON    
        T1.surro_id = T3.surro_id AND
        T1.surro_acd= T3.surro_acd
WHERE
    T1.surro_id IN (リテラル,....限界まで)
    OR T1.surro_id IN (リテラル,....限界まで）

    .....以下....すきなだけ繰り返しw

/

最後のトレースファイルが（案１）、相関副問合せを利用して改善したクエリをハードパースした際に出力されたトレースファイルです。随分違うもんですねー

-rw-r----- 1 oracle oinstall   898699  9月  8 22:19 lampeye2_ora_5981.trc

案１、処理時間も短いけど、ほんと決断はやって感じですね。

SELECT
     T1.surro_id
    ,T1.name
    ,T1.modified
FROM
    test T1 JOIN (
        SELECT DISTINCT
             surro_id
            ,surro_bcd
        FROM
            test
    ) T2
    ON
        T1.surro_id  = T2.surro_id AND
        T1.surro_bcd = T2.surro_bcd
    JOIN test T3
    ON
        T1.surro_id = T3.surro_id AND
        T1.surro_acd= T3.surro_acd
WHERE
    EXISTS (
        SELECT
            1
        FROM
            test_keys
        WHERE
            surro_id BETWEEN 1000000001 AND 1000005999
            AND surro_id = T1.surro_id
    )
/

---

ここまでのあらずじ

・悩ませ過ぎは及ばざるがごとし #1
・悩ませ過ぎは及ばざるがごとし #2
・悩ませ過ぎは及ばざるがごとし #3
・悩ませ過ぎは及ばざるがごとし #4
・悩ませ過ぎは及ばざるがごとし #5
・悩ませ過ぎは及ばざるがごとし #6

悩ませ過ぎは及ばざるがごとし #6

前回のつづきです。

ヒントを使ってコストベースオプティマイザを悩ませないという方法で、４０秒台っただった処理時間を１秒台にすることに成功しました。

これでも解決は解決なのですが、SQL文単体としては。ただ、インスタンスレベルて考えた場合無駄なメモリ使い過ぎだろという点が気がかり。コストベースオプティマイザが悩まなくなったことでCPUリソースの無駄遣いは回避できましたが、メモリリソースの無駄遣いが凄い。

ということで、どちらの無駄も減らす効果が期待できる案１を…

案１で書き換えるとヒントなしでも随分スッキリしちゃいます。
リテラル値が６０００個近くありましたが、その部分を相関副問合せにしてあります。リテラル値の箇所はバインド変数化しちゃえばいいっすね。

SELECT
     T1.surro_id
    ,T1.name
    ,T1.modified
FROM
    test T1 JOIN (
        SELECT DISTINCT
             surro_id
            ,surro_bcd
        FROM
            test
    ) T2
    ON
        T1.surro_id  = T2.surro_id AND
        T1.surro_bcd = T2.surro_bcd
    JOIN test T3
    ON
        T1.surro_id = T3.surro_id AND
        T1.surro_acd= T3.surro_acd
WHERE
    EXISTS (
        SELECT
            1
        FROM
            test_keys
        WHERE
            surro_id BETWEEN 1000000001 AND 1000005999
            AND surro_id = T1.surro_id
    )
/

実行してみると…　（以下、SQL*Plusで set autot trace exp statコマンド叩いて実行した結果です。なお事前に共有プールはクリアしてあります。）

5999行が選択されました。

経過: 00:00:00.07

実行計画
----------------------------------------------------------
Plan hash value: 3724917145

-------------------------------------------------------------------------------------------------
| Id  | Operation                        | Name         | Rows  | Bytes | Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                 |              |  5997 |   468K|   144   (3)| 00:00:02 |
|   1 |  VIEW                            | VM_NWVW_1    |  5997 |   468K|   144   (3)| 00:00:02 |
|   2 |   HASH UNIQUE                    |              |  5997 |   491K|   144   (3)| 00:00:02 |
|*  3 |    HASH JOIN RIGHT SEMI          |              |  5997 |   491K|   143   (2)| 00:00:02 |
|*  4 |     INDEX RANGE SCAN             | PK_TEST_KEYS |  5999 | 41993 |    17   (0)| 00:00:01 |
|*  5 |     HASH JOIN                    |              |  5997 |   450K|   125   (1)| 00:00:02 |
|*  6 |      INDEX RANGE SCAN            | IX01_TEST    |  5999 |   128K|    20   (0)| 00:00:01 |
|*  7 |      HASH JOIN                   |              |  5998 |   322K|   105   (1)| 00:00:02 |
|*  8 |       INDEX RANGE SCAN           | IX02_TEST    |  5999 | 53991 |    19   (0)| 00:00:01 |
|   9 |       TABLE ACCESS BY INDEX ROWID| TEST         |  5999 |   269K|    85   (0)| 00:00:02 |
|* 10 |        INDEX RANGE SCAN          | IX02_TEST    |  5999 |       |    19   (0)| 00:00:01 |
-------------------------------------------------------------------------------------------------

SQL_ID        SHARABLE_MEM PERSISTENT_MEM RUNTIME_MEM SQL_TEXT
------------- ------------ -------------- ----------- ------------------------------
52gaz3tjd90dh        43446          15648       14504 SELECT  T1.surro_id,  T1.name,
                                                        T1.modified FROM  test T1 jo
                                                      in (   SELECT    DISTINCT    s
                                                      urro_id,    surro_bcd   FROM
                                                        test  ) T2  ON   T1.surro_id
                                                        = T2.surro_id AND   T1.surro
                                                      _bcd = T2.surro_bcd         JO
                                                      IN test T3         ON   T1.sur
                                                      ro_id = T3.surro_id AND   T1.s
                                                      urro_acd= T3.surro_acd WHERE
                                                      EXISTS (   SELECT    1   FROM
                                                         test_keys   WHERE    surro_
                                                      id BETWEEN 1000000001 AND 1000
                                                      005999    AND T1.surro_id = su
                                                      rro_id  )

きゃほーーーーーーっ。　最高〜〜〜〜っ！ :) 言うことナッシングw　　

処理時間が、48.83秒　から　0.07秒へ、SHARABLE_MEMが、3318142バイト　から　43446バイトに。　でバインド変数化しちゃえば〜〜〜、

同時に多数のセッションから集中して発行されても耐えられそうな〜

最後に、ドヤ顔（キリっ

ほんとうにヤバそうなところはキッチリ潰しておきましょ！

OLTP系で実行計画はよいけど、コストベースオプティマイザを悩ませ過ぎて遅延してたら本末転倒ですよー。と。

ーーーー完ーーーーー

---

ここまでのあらずじ

・悩ませ過ぎは及ばざるがごとし #1
・悩ませ過ぎは及ばざるがごとし #2
・悩ませ過ぎは及ばざるがごとし #3
・悩ませ過ぎは及ばざるがごとし #4
・悩ませ過ぎは及ばざるがごとし #5

悩ませ過ぎは及ばざるがごとし #5

前回のつづきです。

前回は改善案を２つ提示しました。

まず、最初は案２のヒントを使って、コストベースオプティマイザに、「考えるな！　感じろ！」作戦w

元のクエリに次のようにヒントを書き加えちゃいます。
どの索引使えとか、結合方法はハッシュとか、とか、よく見かけるヒントだけです。

SELECT   
    /*+
        LEADING(T1 T2 T3)
        USE_HASH(T1 T2)
        USE_HASH(T1 T3)
        INDEX(T1 IX01_TEST) 
        INDEX(T3 IX01_TEST) 
    */
    T1.surro_id,
    T1.name,
    T1.modified
FROM
    test T1 JOIN (
        SELECT 
            /*+ 
                MERGE 
                INDEX(test IX02_TEST) 
            */ 
            DISTINCT
            surro_id,
            surro_bcd
        FROM
            test
    ) T2
    ON 
        T1.surro_id  = T2.surro_id AND
        T1.surro_bcd = T2.surro_bcd
    JOIN test T3
    ON    
        T1.surro_id = T3.surro_id AND
        T1.surro_acd= T3.surro_acd
WHERE
    T1.surro_id IN (リテラル,....限界まで)
    OR T1.surro_id IN (リテラル,....限界まで）

    .....以下....すきなだけ繰り返しw

/

では実行してみると…　（以下、SQL*Plusで set autot trace exp statコマンド叩いて実行した結果です。なお事前に共有プールはクリアしてあります。）

経過: 00:00:01.32

実行計画
----------------------------------------------------------
Plan hash value: 3720374973

----------------------------------------------------------------------------------------------
| Id  | Operation                        | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
----------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                 |           |  5999 |   456K|  5796   (1)| 00:01:10 |
|   1 |  VIEW                            | VM_NWVW_1 |  5999 |   456K|  5796   (1)| 00:01:10 |
|   2 |   HASH UNIQUE                    |           |  5999 |   451K|  5796   (1)| 00:01:10 |
|*  3 |    HASH JOIN                     |           |  5999 |   451K|  5795   (1)| 00:01:10 |
|   4 |     INLIST ITERATOR              |           |       |       |            |          |
|*  5 |      INDEX RANGE SCAN            | IX01_TEST |  5999 |   128K|  1935   (1)| 00:00:24 |
|*  6 |     HASH JOIN                    |           |  5999 |   322K|  3859   (1)| 00:00:47 |
|   7 |      INLIST ITERATOR             |           |       |       |            |          |
|   8 |       TABLE ACCESS BY INDEX ROWID| TEST      |  5999 |   269K|  2001   (1)| 00:00:25 |
|*  9 |        INDEX RANGE SCAN          | IX01_TEST |  5999 |       |  1935   (1)| 00:00:24 |
|  10 |      INLIST ITERATOR             |           |       |       |            |          |
|* 11 |       INDEX RANGE SCAN           | IX02_TEST |  5999 | 53991 |  1857   (1)| 00:00:23 |
----------------------------------------------------------------------------------------------

やたーーーーーーーーーーーーっ！　:) 目標の３秒を下回りましたよー :)

コストベースオプティマイザの悩みを解消してあげることができました…が、例のSHARABLE_MEMが3MB超えちゃってる問題はまだ抱えたままです。＞＜

SQL_ID        SHARABLE_MEM PERSISTENT_MEM RUNTIME_MEM SQL_TEXT
------------- ------------ -------------- ----------- ------------------------------
fbjw4wjdma4f7      3318142         396808      395664 SELECT  /*+   LEADING(T1 T2 T3
                                                      )   USE_HASH(T1 T2)   USE_HASH
                                                      (T1 T3)   INDEX(T1 IX01_TEST)
                                                        INDEX(T3 IX01_TEST)  */  T1.
                                                      surro_id,  T1.name,  T1.modifi
                                                      ed FROM  test T1 join (   SELE
                                                      CT    /*+     MERGE     INDEX(
                                                      test IX02_TEST)    */    DISTI
                                                      NCT    surro_id,    surro_bcd

今回はここまで、次回へつづく。

---

ここまでのあらずじ

・悩ませ過ぎは及ばざるがごとし #1
・悩ませ過ぎは及ばざるがごとし #2
・悩ませ過ぎは及ばざるがごとし #3
・悩ませ過ぎは及ばざるがごとし #4

悩ませ過ぎは及ばざるがごとし #4

さて、さて、前回のつづきです。

意識的に間を取ったんですが、ちょいと長過ぎたかw

前回、ハードパースに時間がかかってるねーってとこまで確認しましたよね〜

・１回目のSQLトレース

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1     45.18      45.15          0          0          0           0
Execute      1      0.00       0.00          0          0          0           0
Fetch      401      0.04       0.05          0       1897          0        5999
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      403     45.23      45.21          0       1897          0        5999

・２回目のSQLトレース

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1      0.00       0.00          0          0          0           0
Execute      1      0.00       0.00          0          0          0           0
Fetch      401      0.04       0.04          0       1897          0        5999
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      403      0.04       0.04          0       1897          0        5999

ということでした。

じゃ、こんなにコストペースオプティマイザに考えさせちゃうSQL文でどんなのよー。と。　OLTPなのに分析系のすげー難しそーなSQL文なげてるとか？？？　想像しているより現物見た方が早いですw

こんな感じのクエリだんたんよー。

SELECT
    T1.surro_id,
    T1.name,
    T1.modified
FROM
    test T1 JOIN (
        SELECT  DISTINCT
            surro_id,
            surro_bcd
        FROM
            test
    ) T2
    ON 
        T1.surro_id  = T2.surro_id AND
        T1.surro_bcd = T2.surro_bcd
    JOIN test T3
    ON    
        T1.surro_id = T3.surro_id AND
        T1.surro_acd= T3.surro_acd
WHERE
    T1.surro_id IN (リテラル,....限界まで)
    OR T1.surro_id IN (リテラル,....限界まで）

    .....以下....すきなだけ繰り返しw

/

え、え〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜っ、リテラル値が〜〜〜〜すげ〜〜〜〜〜〜〜ぞ〜〜〜〜〜〜。
クエリ自体はたいしたことないw あの人達がすきそーな自己結合だー。(失礼w)

このクエリを見て、解決策を２つをすぐに思いついたあたなあなた！、　そう、あなた、凄いです！
INリストには上限あるからね：）- Oracle® Database SQL言語リファレンス11gリリース2（11.2）式のリスト

このクエリの解決策。

解決案１
一番効果のありそうなの、リテラルを排除して、その部分を副問合せにしちゃう！。

解決案２
コストベースオプティマイザを悩ませない方法って、ありますよね、そう、ヒントを使って、「こんな感じにうごいて！」作戦。

このクエリの一番の問題点は、リテラル値が山ほどあって、似たような索引が沢山あって、しかも、リテラル値だから毎回値が異なる。結果として毎回ハードパースになるので、毎回コストベースオプティマイザが考え過ぎちゃうとこと。

解決策は前述の２案のうちいずれか一つなんだけど、おすすめは案１のほう。

その訳は、でかいんです、なにが？

以下を見れば、なに？　が　でかいかよーくわかりますw

23:49:06 SYS> SELECT SQL_ID,SHARABLE_MEM,PERSISTENT_MEM,RUNTIME_MEM,SQL_TEXT FROM v$sql WHERE SQL_TEXT LIKE '%/*TEST*/%';

SQL_ID        SHARABLE_MEM PERSISTENT_MEM RUNTIME_MEM SQL_TEXT
------------- ------------ -------------- ----------- ------------------------------
82q8wxz56y357      3317991         396816      395672 SELECT /*TEST*/  T1.surro_id,
                                                       T1.name,  T1.modified FROM  t
                                                      est T1 join (   SELECT  DISTIN
                                                      CT    surro_id,    surro_bcd
                                                       FROM    test  ) T2  ON   T1.s
                                                      urro_id  = T2.surro_id AND   T
                                                      1.surro_bcd = T2.surro_bcd
                                                           JOIN test T3         ON

ね、でかいでしょ。SHARABLE_MEMなんて３MBいっちゃってるし、この程度のことするにしてはデカ過ぎw
これって、直ちには影響はないのですが…（どっかで聞いた事ある言い回し＞＜　　やはり同じ事するセッション多いとさーボディーブローよ。全部ハードパースだしw

今回はここまで、次回へつづく。

---

ここまでのあらずじ

・悩ませ過ぎは及ばざるがごとし #1
・悩ませ過ぎは及ばざるがごとし #2
・悩ませ過ぎは及ばざるがごとし #3

悩ませ過ぎは及ばざるがごとし #3

前回の続きだす。（まだGANTZ語が抜けてないw)

前回は状況証拠固めでした。

で、以下のような状況証拠は確認済み。

• １回目だけ処理時間が異常に長い。
• 実行統計（consistent getsなど）から実行時のアクセスブロック数の差異はない。かつ、ブロック数も少ない。
• 物理読み込みは処理時間には影響していない。

という状況証拠を踏まえ、SQL文の処理フェーズを頭に浮かべて、順序よく考えていくと……

consitents getsの量や処理時間からexecutionフェーズ以降で時間を要しているわけではない……
また、
１回目だけ処理時間が長いが、物理読み込みが影響しているわけではない…

ということは、１回目だけ実行されるといえばハードパース……この部分の処理時間が長いってことですよね！

だんだん近づいてきましたね。というこで、次はパース時間が長いという証拠固めを。

パース時間を比較する方法はいくつかあります…。　SQL*Plusのset autot trace exp を使って実行計画だけを確認する方法とか、Explain plan文使うとか、SQLトレースを取るとか。
ようするに、パース時間が確認できる方法であればどんな方法でもOKなんです。

今回は結果の比較もしやすい、SQLトレースで証拠固をしてみます。SQLトレースを取得する方法はdbms_monitorパッケージを利用する方法が簡単ですかね。（他にもありますが）

SCOTT> exec dbms_monitor.session_trace_enable(null,null,true,false,'ALL_EXECUTIONS');

PL/SQLプロシージャが正常に完了しました。

SCOTT> SELECT 

・・・中略・・・

5999行が選択されました。

経過: 00:00:48.37

SCOTT> exec dbms_monitor.session_trace_disable(null,null);

PL/SQLプロシージャが正常に完了しました。

こんな感じでセッション単位でSQLトレースを取得してtkprofで整形するというおなじみのスタイル。

・１回目のSQLトレース

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1     45.18      45.15          0          0          0           0
Execute      1      0.00       0.00          0          0          0           0
Fetch      401      0.04       0.05          0       1897          0        5999
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      403     45.23      45.21          0       1897          0        5999

・２回目のSQLトレース

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1      0.00       0.00          0          0          0           0
Execute      1      0.00       0.00          0          0          0           0
Fetch      401      0.04       0.04          0       1897          0        5999
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      403      0.04       0.04          0       1897          0        5999

予想的中！。　パースに時間を要しているのは明らかですね。

最近のコストベースオプティマイザは賢いです。賢いのでいろいろと考えさせすぎると時間がかかります。（将棋でも相手の手数を読み過ぎなんて…ことありますよね。そんな状況に近いです。）。DWH系のクエリならそんなこともあるでしょうけど、今回問題になっているのはOLTPです、しかも、３秒程度で結果を返してほしいらしいし…

で、どのようにしたらコストベースオプティマイザを"悩ませずに”済むか、そこが今回のポイント。

思い切って、ルールベースにしちゃおーか？。それはNG。確かにパース時間は短くなるでしょうけど…

解決方法を見つけるには問題のクエリがどんなものか見極める必要がありそうですね〜…。どんな方法があるだろー。

今日はここまで、次回へつづく。

---

ここまでのあらずじ

・悩ませ過ぎは及ばざるがごとし #1
・悩ませ過ぎは及ばざるがごとし #2

悩ませ過ぎは及ばざるがごとし #2

「一緒に考えてみてくらちい」タイポじゃないだすw GANTZ見てたんでつい。:)

ということで前回のつづきです。

１回目だけ異常に処理時間を要するクエリがあると相談を受けたという前振り覚えてますか？

実行計画
----------------------------------------------------------
Plan hash value: 1865103575

--------------------------------------------------------------------------------------------
| Id  | Operation                      | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
--------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT               |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|*  1 |  HASH JOIN                     |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|   2 |   INLIST ITERATOR              |           |       |       |            |          |
|*  3 |    INDEX RANGE SCAN            | IX01_TEST |  5999 | 59990 |  1935   (1)| 00:00:24 |
|*  4 |   HASH JOIN                    |           |  5999 |   292K|  3782   (1)| 00:00:46 |
|   5 |    VIEW                        |           |  5999 | 95984 |  1858   (1)| 00:00:23 |
|   6 |     HASH UNIQUE                |           |  5999 | 53991 |  1858   (1)| 00:00:23 |
|   7 |      INLIST ITERATOR           |           |       |       |            |          |
|*  8 |       INDEX RANGE SCAN         | IX02_TEST |  5999 | 53991 |  1857   (1)| 00:00:23 |
|   9 |    INLIST ITERATOR             |           |       |       |            |          |
|  10 |     TABLE ACCESS BY INDEX ROWID| TEST      |  5999 |   199K|  1923   (1)| 00:00:24 |
|* 11 |      INDEX RANGE SCAN          | IX02_TEST |  5999 |       |  1857   (1)| 00:00:23 |
--------------------------------------------------------------------------------------------

・・・中略・・・

統計
----------------------------------------------------------
          1  recursive calls
          0  db block gets
       1897  consistent gets
          0  physical reads
          0  redo size
     247808  bytes sent via SQL*Net to client
      69769  bytes received via SQL*Net from client
        401  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
       5999  rows processed

１回目とそれ以降で実行計画の差異はありません。実行統計上はrecursive callが1から0になっている程度の変化しかありません。

ですが……………………

１回目は、４８．８３秒なのに、２回目以降は、０．０８秒…

１回目の処理時間　(SQL*Plusのset timiing on　及び、set autot trace exp statにて計測）

5999行が選択されました。

経過: 00:00:48.83

２回目以降〜

5999行が選択されました。

経過: 00:00:00.08

実行統計を見ると、consistent gets 1897もそれほど多くないのに１回目だけ処理時間が長い、その差はどこに……

SQL文がどのような順序で処理されるのか、よーーーーーく思い出してください；）

リンク先にあるオラクルのマニュアルの図をざっくりまとめちゃうと以下のような感じ（BINDや、FETCHフェーズが書かれている図もよく見かけますね）

となっています。

この辺りも一緒に読むといいですよね。わかりやすいです。無料だし:)
・門外不出のOracle現場ワザ - 第4章　Oracleデータベースの頭脳 「オプティマイザ」徹底研究
・SQL文の処理におけるオプティマイザの役割
・Part2　CBOは何を見てどう判断するのか

これまでに確認できた状況証拠

• １回目だけ処理時間が異常に長い。
• 実行統計（consistent getsなど）から実行時のアクセスブロック数の差異はない。かつ、ブロック数も少ない。
• 物理読み込みは処理時間には影響していない。

これらの状況証拠とSQL文の処理フェーズから導きだせますよね。どこに処理時間を要しているか…………

ほーら、ほら。見えてきました…………………よね？　（ヒントだしてますから〜〜:)

ということで、今日はここまで、次回へつづく。

---

ここまでのあらずじ

・悩ませ過ぎは及ばざるがごとし #1

悩ませ過ぎは及ばざるがごとし #1

あるクエリを実行していて、目標時間は3秒程度のオンライン処理向けクエリ、初回だけ異常に遅いんですけど……。　と再び、大人の事情に縛られて心が痣だらけ（どんなだ）な人達からお呼びがかかりました。

こんな感じの表（索引は似たようなのが数多くありそれもイケてないといえばイケテてないが）を自己結合しているだけ（イケてるクエリとか、イケてないクエリだというのは置いといて）で実行計画もそんなに悪くないし、実行統計を見る限り
初回とそれ以降で大きく乖離しているようにも見えません。

表は次のように定義されています。

SCOTT> desc test
 名前                                    NULL?    型
 ----------------------------------------- -------- ----------------------------
 ID                                        NOT NULL NUMBER(10)
 SURRO_ID                                  NOT NULL NUMBER(10)
 SURRO_ACD                                 NOT NULL CHAR(2)
 SURRO_BCD                                 NOT NULL CHAR(1)
 SURRO_CCD                                 NOT NULL CHAR(3)
 SURRO_DCD                                 NOT NULL CHAR(5)
 NAME                                      NOT NULL VARCHAR2(100)
 DESCRIPTION                                        VARCHAR2(300)
 CREATED                                   NOT NULL TIMESTAMP(6)
 MODIFIED                                  NOT NULL TIMESTAMP(6)

索引は以下のようになってます。

INDEX_NAME                     COLUMN_NAME
------------------------------ ------------------------------
IX01_TEST                      SURRO_ID
                               SURRO_ACD
                               
IX02_TEST                      SURRO_ID
                               SURRO_BCD
                               
IX03_TEST                      SURRO_ID
                               SURRO_CCD
                               
IX04_TEST                      SURRO_ID
                               SURRO_DCD
                               
PK_TEST                        ID

なんだか、どれも似たような索引がならんでいます。

INDEX_NAME                     INDEX_TYPE                    NUM_ROWS DISTINCT_KEYS CLUSTERING_FACTOR
------------------------------ --------------------------- ---------- ------------- -----------------
IX04_TEST                      NORMAL                          700000        700000              7653
IX03_TEST                      NORMAL                          700000        700000              7653
IX02_TEST                      NORMAL                          700000        700000              7653
IX01_TEST                      NORMAL                          700000        700000              7653
PK_TEST                        NORMAL                          700000        700000              7653

どーーーーーーーしてでしょう。

このつづきは次回のお楽しみ。

一緒に考えてみてくらちい ;)

１回目の処理行数、処理時間、実行計画及び実行統計。

・・・中略・・・

5999行が選択されました。

経過: 00:00:48.83

実行計画
----------------------------------------------------------                                  
Plan hash value: 1865103575                          
             
--------------------------------------------------------------------------------------------
| Id  | Operation                      | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
--------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT               |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|*  1 |  HASH JOIN                     |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|   2 |   INLIST ITERATOR              |           |       |       |            |          |
|*  3 |    INDEX RANGE SCAN            | IX01_TEST |  5999 | 59990 |  1935   (1)| 00:00:24 |
|*  4 |   HASH JOIN                    |           |  5999 |   292K|  3782   (1)| 00:00:46 |
|   5 |    VIEW                        |           |  5999 | 95984 |  1858   (1)| 00:00:23 |
|   6 |     HASH UNIQUE                |           |  5999 | 53991 |  1858   (1)| 00:00:23 |
|   7 |      INLIST ITERATOR           |           |       |       |            |          |
|*  8 |       INDEX RANGE SCAN         | IX02_TEST |  5999 | 53991 |  1857   (1)| 00:00:23 |
|   9 |    INLIST ITERATOR             |           |       |       |            |          |
|  10 |     TABLE ACCESS BY INDEX ROWID| TEST      |  5999 |   199K|  1923   (1)| 00:00:24 |
|* 11 |      INDEX RANGE SCAN          | IX02_TEST |  5999 |       |  1857   (1)| 00:00:23 |
--------------------------------------------------------------------------------------------

・・・中略・・・

統計
----------------------------------------------------------
          1  recursive calls                         
          0  db block gets                           
       1897  consistent gets                         
          0  physical reads                          
          0  redo size                               
     247808  bytes sent via SQL*Net to client        
      69769  bytes received via SQL*Net from client  
        401  SQL*Net roundtrips to/from client       
          0  sorts (memory)                          
          0  sorts (disk)                            
       5999  rows processed  

２回目の処理行数、処理時間、実行計画及び実行統計。

１回目とくらべて随分処理時間が短いです。。。。

・・・中略・・・

5999行が選択されました。

経過: 00:00:00.08

実行計画
----------------------------------------------------------                                  
Plan hash value: 1865103575                          
             
--------------------------------------------------------------------------------------------
| Id  | Operation                      | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
--------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT               |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|*  1 |  HASH JOIN                     |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|   2 |   INLIST ITERATOR              |           |       |       |            |          |
|*  3 |    INDEX RANGE SCAN            | IX01_TEST |  5999 | 59990 |  1935   (1)| 00:00:24 |
|*  4 |   HASH JOIN                    |           |  5999 |   292K|  3782   (1)| 00:00:46 |
|   5 |    VIEW                        |           |  5999 | 95984 |  1858   (1)| 00:00:23 |
|   6 |     HASH UNIQUE                |           |  5999 | 53991 |  1858   (1)| 00:00:23 |
|   7 |      INLIST ITERATOR           |           |       |       |            |          |
|*  8 |       INDEX RANGE SCAN         | IX02_TEST |  5999 | 53991 |  1857   (1)| 00:00:23 |
|   9 |    INLIST ITERATOR             |           |       |       |            |          |
|  10 |     TABLE ACCESS BY INDEX ROWID| TEST      |  5999 |   199K|  1923   (1)| 00:00:24 |
|* 11 |      INDEX RANGE SCAN          | IX02_TEST |  5999 |       |  1857   (1)| 00:00:23 |
--------------------------------------------------------------------------------------------
             
・・・中略・・・

統計
----------------------------------------------------------
          0  recursive calls                         
          0  db block gets                           
       1897  consistent gets                         
          0  physical reads                          
          0  redo size                               
     247808  bytes sent via SQL*Net to client        
      69766  bytes received via SQL*Net from client  
        401  SQL*Net roundtrips to/from client       
          0  sorts (memory)                          
          0  sorts (disk)                            
       5999  rows processed                          

３回目の処理行数、処理時間、実行計画及び実行統計。

３回目も２回目と同じようです。１回目だけなぜか異常に遅い。ちなみに、Oracle11g R2 11.2.0.1.0 for Linux x86_64です。

・・・中略・・・

5999行が選択されました。

経過: 00:00:00.08

実行計画
----------------------------------------------------------                                  
Plan hash value: 1865103575                          
             
--------------------------------------------------------------------------------------------
| Id  | Operation                      | Name      | Rows  | Bytes | Cost (%CPU)| Time     |
--------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT               |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|*  1 |  HASH JOIN                     |           |  5999 |   351K|  5718   (1)| 00:01:09 |
|   2 |   INLIST ITERATOR              |           |       |       |            |          |
|*  3 |    INDEX RANGE SCAN            | IX01_TEST |  5999 | 59990 |  1935   (1)| 00:00:24 |
|*  4 |   HASH JOIN                    |           |  5999 |   292K|  3782   (1)| 00:00:46 |
|   5 |    VIEW                        |           |  5999 | 95984 |  1858   (1)| 00:00:23 |
|   6 |     HASH UNIQUE                |           |  5999 | 53991 |  1858   (1)| 00:00:23 |
|   7 |      INLIST ITERATOR           |           |       |       |            |          |
|*  8 |       INDEX RANGE SCAN         | IX02_TEST |  5999 | 53991 |  1857   (1)| 00:00:23 |
|   9 |    INLIST ITERATOR             |           |       |       |            |          |
|  10 |     TABLE ACCESS BY INDEX ROWID| TEST      |  5999 |   199K|  1923   (1)| 00:00:24 |
|* 11 |      INDEX RANGE SCAN          | IX02_TEST |  5999 |       |  1857   (1)| 00:00:23 |
--------------------------------------------------------------------------------------------
             
・・・中略・・・
                  
 
統計
----------------------------------------------------------
          0  recursive calls                         
          0  db block gets                           
       1897  consistent gets                         
          0  physical reads                          
          0  redo size                               
     247808  bytes sent via SQL*Net to client        
      69766  bytes received via SQL*Net from client  
        401  SQL*Net roundtrips to/from client       
          0  sorts (memory)                          
          0  sorts (disk)                            
       5999  rows processed  

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング番外編

おまけのおまけのおまけとは、さすがに書きづらかったのでw 番外編。

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング８ おまけのおまけで次のように書いていたのを覚えてますか？

"アクセスするブロック数を減らすのはハッシュパーティションのままではもう、むーりーw　限界です。"

なぜ、限界としたか。という点、聞きたくないですか？

聞きたいですよね。:)

理由は次のクエリ(GROUP BYとCUBEでチューニングしたクエリの一番大切部分）と処理時間、実行計画、consistent getsを見ていただければお分かりいただけるかと……　　

そーーーなんです。　以下のブロック数と処理時間って、前回、GROUP BY と CUBEだけでチューニングした結果とそっくりですよね。

  1   SELECT
  2        SUBSTR(starting_date,1,6) AS month
  3       ,shop_code
  4       ,SUM(sales_figure) AS sales_figure
  5   FROM
  6       test2
  7   WHERE
  8       starting_date BETWEEN '20110101' AND '20110331'
  9   GROUP BY
 10        SUBSTR(starting_date,1,6)
 11*      ,shop_code

3900行が選択されました。

経過: 00:00:06.89

実行計画
----------------------------------------------------------  
Plan hash value: 2608398149  
                  
--------------------------------------------------------------------------------------------- 
| Id  | Operation           | Name  | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop | 
--------------------------------------------------------------------------------------------- 
|   0 | SELECT STATEMENT    |       |  8274 |   137K| 82839   (2)| 00:16:35 |       |       | 
|   1 |  HASH GROUP BY      |       |  8274 |   137K| 82839   (2)| 00:16:35 |       |       | 
|   2 |   PARTITION HASH ALL|       |  1703K|    27M| 82788   (2)| 00:16:34 |     1 |     4 | 
|*  3 |    TABLE ACCESS FULL| TEST2 |  1703K|    27M| 82788   (2)| 00:16:34 |     1 |     4 | 
--------------------------------------------------------------------------------------------- 
                  
Predicate Information (identified by operation id):     
---------------------------------------------------     
                  
   3 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101') 


統計
----------------------------------------------------------
          0  recursive calls                            
          0  db block gets                              
     302341  consistent gets
     302289  physical reads 
          0  redo size                                  
      87392  bytes sent via SQL*Net to client           
       3369  bytes received via SQL*Net from client     
        261  SQL*Net roundtrips to/from client          
          0  sorts (memory)                             
          0  sorts (disk)                               
       3900  rows processed                             

と、いうことで限界！　と判断したわけなんです。　どうですか？　スッキリしましたか？　:) では、また。

---

これまでのあらずじ…

・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #1
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #2
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #3
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #4
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #5
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #6
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #7 おまけ
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング８ おまけのおまけ

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング８ おまけのおまけ

前回のつづきです。

GROUPING SETSを単純に使っただけでは可読性は向上するが内部で自動的に行われる一時表への展開（WITH句で書くのに似ている）とUNION　ALLによる集計時オーバーヘッドが大きくなるようで、WITH句＋UNION ALLに書き換えた場合ほど効果はありませんでした。残念。

だったら〜。

ということで、GROUPING SETSは使わず、やってる事がやってる事だから、素直にCUBEを使ってクロス集計しちゃえばオーバーヘッドとなっているWITH句＋UNION ALLへの展開も行わないようにすればなって良いんジャマイカ！　そうしよう！

で、パーティションは大人の事情でハッシュのままに、WITH句＋UNION ALLへの書き換えや、GROUPING SETSで自動的にWITH句＋UNION ALLへ展開する方法を止めたのが以下のクエリ。

え〜〜〜〜〜、え〜〜〜〜〜〜。シリアル実行としては最速の結果、６秒台キタ〜〜〜〜！。
可読性は副問合せなどの影響でちょいと落ちますがSQL文は短いのでそれほど影響はないですよね。いままで一番短いのではないでしょうか:)

  1  SELECT
  2      CASE
  3          WHEN grouping_id(month) = 1 THEN
  4              CASE
  5                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0406' THEN 'Q1'
  6                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0709' THEN 'Q2'
  7                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '1012' THEN 'Q3'
  8                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0103' THEN 'Q4'
  9              END
 10          ELSE month
 11      END AS month
 12     ,CASE
 13          WHEN grouping_id(shop_code) = 1 THEN 'ALL'
 14          ELSE shop_code
 15      END AS shop_code
 16     ,SUM(sales_figure) AS sales_figure
 17  FROM
 18      (
 19          SELECT
 20               SUBSTR(starting_date,1,6) AS month
 21              ,shop_code
 22              ,SUM(sales_figure) AS sales_figure
 23          FROM
 24              test2
 25          WHERE
 26              starting_date BETWEEN '20110101' AND '20110331'
 27          GROUP BY
 28              SUBSTR(starting_date,1,6)
 29             ,shop_code
 30      )
 31  GROUP BY
 32      CUBE(month,shop_code)
 33  HAVING
 34      shop_code = '1000'
 35      OR grouping_id(shop_code) = 1
 36  ORDER BY
 37      month
 38*    ,shop_code

8行が選択されました。

経過: 00:00:06.86

実行計画
----------------------------------------------------------
Plan hash value: 994924564

---------------------------------------------------------------------------------------------------
| Id  | Operation                 | Name  | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
---------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT          |       |  1381 | 34525 | 83173   (2)| 00:16:39 |       |       |
|   1 |  SORT ORDER BY            |       |  1381 | 34525 | 83173   (2)| 00:16:39 |       |       |
|*  2 |   FILTER                  |       |       |       |            |          |       |       |
|   3 |    SORT GROUP BY          |       |  1381 | 34525 | 83173   (2)| 00:16:39 |       |       |
|   4 |     GENERATE CUBE         |       |  1381 | 34525 | 83173   (2)| 00:16:39 |       |       |
|   5 |      SORT GROUP BY        |       |  1381 | 34525 | 83173   (2)| 00:16:39 |       |       |
|   6 |       VIEW                |       |  2758 | 68950 | 83172   (2)| 00:16:39 |       |       |
|   7 |        HASH GROUP BY      |       |  2758 | 66192 | 83172   (2)| 00:16:39 |       |       |
|   8 |     PARTITION HASH ALL    |       |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|*  9 |      TABLE ACCESS FULL    | TEST2 |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
---------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - filter("SHOP_CODE"='1000' OR GROUPING_ID(BIN_TO_NUM(SYS_OP_GROUPING("SHOP_CODE",1,0,
          SYS_OP_BITVEC)))=1)
   9 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
 302587  consistent gets
 302556  physical reads
      0  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      3  sorts (memory)
      0  sorts (disk)
      8  rows processed

お約束、オラクルお任せのパラレル実験。　

お〜〜〜〜〜〜〜〜〜〜〜〜っ。キター、1.2秒台〜〜〜〜〜。　パーティションタイプのミスという痛恨の設計ミスを帳消にしてあげたかも。（それは嘘。
そもそも、アクセスするブロック数を減らすのはハッシュパーティションのままではもう、むーりーw　限界です。

  1  SELECT /*+ PARALLEL */
  2      CASE
  3          WHEN grouping_id(month) = 1 THEN
  4              CASE
  5                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0406' THEN 'Q1'
  6                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0709' THEN 'Q2'
  7                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '1012' THEN 'Q3'
  8                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0103' THEN 'Q4'
  9              END
 10          ELSE month
 11      END AS month
 12     ,CASE
 13          WHEN grouping_id(shop_code) = 1 THEN 'ALL'
 14          ELSE shop_code
 15      END AS shop_code
 16     ,SUM(sales_figure) AS sales_figure
 17  FROM
 18      (
 19          SELECT
 20               SUBSTR(starting_date,1,6) AS month
 21              ,shop_code
 22              ,SUM(sales_figure) AS sales_figure
 23          FROM
 24              test2
 25          WHERE
 26              starting_date BETWEEN '20110101' AND '20110331'
 27          GROUP BY
 28              SUBSTR(starting_date,1,6)
 29             ,shop_code
 30      )
 31  GROUP BY
 32      CUBE(month,shop_code)
 33  HAVING
 34      shop_code = '1000'
 35      OR grouping_id(shop_code) = 1
 36  ORDER BY
 37      month
 38*    ,shop_code

8行が選択されました。

経過: 00:00:01.24

実行計画
----------------------------------------------------------
Plan hash value: 3457173925

-----------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                         | Name         | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |    TQ  |IN-OUT| PQ Distrib |
-----------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                  |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |        |      |            |
|   1 |  PX COORDINATOR                   |              |       |       |            |          |       |       |        |      |            |
|   2 |   PX SEND QC (ORDER)              | :TQ10004     |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,04 | P->S | QC (ORDER) |
|   3 |    SORT ORDER BY                  |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,04 | PCWP |            |
|   4 |     PX RECEIVE                    |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,04 | PCWP |            |
|   5 |      PX SEND RANGE                | :TQ10003     |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,03 | P->P | RANGE      |
|*  6 |       FILTER                      |              |       |       |            |          |       |       |  Q1,03 | PCWC |            |
|   7 |        SORT GROUP BY              |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,03 | PCWP |            |
|   8 |     PX RECEIVE                    |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,03 | PCWP |            |
|   9 |      PX SEND HASH                 | :TQ10002     |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,02 | P->P | HASH       |
|  10 |       GENERATE CUBE               |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,02 | PCWC |            |
|  11 |        SORT GROUP BY              |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,02 | PCWP |            |
|  12 |         PX RECEIVE                |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,02 | PCWP |            |
|  13 |          PX SEND HASH             | :TQ10001     |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,01 | P->P | HASH       |
|  14 |           SORT GROUP BY           |              |  1381 | 34525 |  5773   (2)| 00:01:10 |       |       |  Q1,01 | PCWP |            |
|  15 |            VIEW                   |              |  2758 | 68950 |  5772   (2)| 00:01:10 |       |       |  Q1,01 | PCWP |            |
|  16 |         HASH GROUP BY             |              |  2758 | 66192 |  5772   (2)| 00:01:10 |       |       |  Q1,01 | PCWP |            |
|  17 |          PX RECEIVE               |              |  2758 | 66192 |  5772   (2)| 00:01:10 |       |       |  Q1,01 | PCWP |            |
|  18 |           PX SEND HASH            | :TQ10000     |  2758 | 66192 |  5772   (2)| 00:01:10 |       |       |  Q1,00 | P->P | HASH       |
|  19 |            HASH GROUP BY          |              |  2758 | 66192 |  5772   (2)| 00:01:10 |       |       |  Q1,00 | PCWP |            |
|  20 |             PX BLOCK ITERATOR     |              |   394K|  9242K|  5770   (2)| 00:01:10 |     1 |     4 |  Q1,00 | PCWC |            |
|* 21 |              TABLE ACCESS FULL    | TEST2        |   394K|  9242K|  5770   (2)| 00:01:10 |     1 |     4 |  Q1,00 | PCWP |            |
-----------------------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   6 - filter("SHOP_CODE"='1000' OR GROUPING_ID(BIN_TO_NUM(SYS_OP_GROUPING("SHOP_CODE",1,0,SYS_OP_BITVEC)))=1)
  21 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101' AND
          "STARTING_DATE">='20110101')

Note
-----
   - automatic DOP: Computed Degree of Parallelism is 16


統計
----------------------------------------------------------
     96  recursive calls
      0  db block gets
 304109  consistent gets
 302556  physical reads
      0  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
     65  sorts (memory)
      0  sorts (disk)
      8  rows processed

今一度、最初のイケてないクエリと比較。あ〜、ダメダメだ〜。やっぱり無駄が多すぎですね！

  1  SELECT
  2       month
  3      ,shop_code
  4      ,sales_figure
  5  FROM
  6  (
  7      SELECT
  8           SUBSTR(starting_date,1,6) AS month
  9          ,shop_code
 10          ,SUM(sales_figure) AS sales_figure
 11      FROM
 12          test2
 13      WHERE
 14          starting_date BETWEEN '20110101' AND '20110331'
 15          AND shop_code = '1000'
 16      GROUP BY
 17           SUBSTR(starting_date,1,6)
 18          ,shop_code
 19      UNION ALL
 20      SELECT
 21           CASE
 22              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 23              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 24              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 25              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 26           END AS month
 27          ,shop_code
 28          ,SUM(sales_figure) AS salles_figure
 29      FROM
 30          test2
 31      WHERE
 32          starting_date BETWEEN '20110101' AND '20110331'
 33          AND shop_code = '1000'
 34      GROUP BY
 35           CASE
 36              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 37              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 38              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 39              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 40           END
 41          ,shop_code
 42      UNION ALL
 43      SELECT
 44           SUBSTR(starting_date,1,6) AS month
 45          ,'ALL ' AS shop_code
 46          ,SUM(sales_figure) AS sales_figure
 47      FROM
 48          test2
 49      WHERE
 50          starting_date BETWEEN '20110101' AND '20110331'
 51      GROUP BY
 52          SUBSTR(starting_date,1,6)
 53      UNION ALL
 54      SELECT
 55           CASE
 56              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 57              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 58              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 59              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 60           END AS month
 61          ,'ALL ' AS shop_code
 62          ,SUM(sales_figure) AS salles_figure
 63      FROM
 64          test2
 65      WHERE
 66          starting_date BETWEEN '20110101' AND '20110331'
 67      GROUP BY
 68          CASE
 69              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 70              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 71              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 72              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 73          END
 74  )
 75  ORDER BY
 76       month
 77*     ,shop_code

8行が選択されました。

経過: 00:00:20.92

実行計画
----------------------------------------------------------
Plan hash value: 1898009794

-------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name       | Rows  | Bytes | Cost (%CPU)| Time     |Pstart| Pstop|
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   1 |  SORT ORDER BY                         |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   2 |   VIEW                                 |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   3 |    UNION-ALL                           |            |       |       |            |          |      |      |
|   4 |     HASH GROUP BY                      |            |     3 |    72 |    43   (3)| 00:00:01 |      |      |
|   5 |      PARTITION HASH ALL                |            |   303 |  7272 |    42   (0)| 00:00:01 |    1 |    4 |
|   6 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST2      |   303 |  7272 |    42   (0)| 00:00:01 |    1 |    4 |
|*  7 |        INDEX RANGE SCAN                | PK_TEST2   |   303 |       |    19   (0)| 00:00:01 |    1 |    4 |
|   8 |     HASH GROUP BY                      |            |     7 |   119 |    43   (3)| 00:00:01 |      |      |
|   9 |      PARTITION HASH ALL                |            |   303 |  5151 |    42   (0)| 00:00:01 |    1 |    4 |
|  10 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST2      |   303 |  5151 |    42   (0)| 00:00:01 |    1 |    4 |
|* 11 |        INDEX RANGE SCAN                | PK_TEST2   |   303 |       |    19   (0)| 00:00:01 |    1 |    4 |
|  12 |     HASH GROUP BY                      |            |     3 |    57 | 83172   (2)| 00:16:39 |      |      |
|  13 |      PARTITION HASH ALL                |            |   394K|  7316K| 83161   (2)| 00:16:38 |    1 |    4 |
|* 14 |       TABLE ACCESS FULL                | TEST2      |   394K|  7316K| 83161   (2)| 00:16:38 |    1 |    4 |
|  15 |     HASH GROUP BY                      |            |     9 |   108 | 83172   (2)| 00:16:39 |      |      |
|  16 |      PARTITION HASH ALL                |            |   394K|  4621K| 83161   (2)| 00:16:38 |    1 |    4 |
|* 17 |       TABLE ACCESS FULL                | TEST2      |   394K|  4621K| 83161   (2)| 00:16:38 |    1 |    4 |
-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   7 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
       filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  11 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
       filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  14 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
  17 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
 606978  consistent gets
 605112  physical reads
      0  redo size
    875  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

前回の結果なのでここには載せませんが、GROUPSING SETSで書き換えた場合や、WITH句＋UNION ALLで書き換えた場合でも一時表への書き込み及び一時表からの読み込みは複数回発生し、それがボディーブローのように効いていたんよね。:)

これもお約束、そもそもパーティションタイプが月単位のレンジパーティションだったら〜（タラレバw）どんな結果になるか。

キター、シリアル実行でも４秒台、４秒切りそうな勢いです：）
月単位のレンジパーティションにより無駄なブロックを読み込む必要がなくなったことが効いてますね。

  1  SELECT
  2      CASE
  3          WHEN grouping_id(month) = 1 THEN
  4              CASE
  5                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0406' THEN 'Q1'
  6                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0709' THEN 'Q2'
  7                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '1012' THEN 'Q3'
  8                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0103' THEN 'Q4'
  9              END
 10         ELSE month
 11      END AS month
 12     ,CASE
 13          WHEN grouping_id(shop_code) = 1 THEN 'ALL'
 14          ELSE shop_code
 15      END AS shop_code
 16     ,SUM(sales_figure) AS sales_figure
 17  FROM
 18     (
 19         SELECT
 20              SUBSTR(starting_date,1,6) AS month
 21             ,shop_code
 22             ,SUM(sales_figure) AS sales_figure
 23         FROM
 24             test3
 25         WHERE
 26             starting_date BETWEEN '20110101' AND '20110331'
 27         GROUP BY
 28              SUBSTR(starting_date,1,6)
 29             ,shop_code
 30     )
 31  GROUP BY
 32      CUBE(month,shop_code)
 33  HAVING
 34      shop_code = '1000' OR
 35      grouping_id(shop_code) = 1
 36  ORDER BY
 37      month
 38*    ,shop_code

8行が選択されました。

経過: 00:00:04.04

実行計画
----------------------------------------------------------
Plan hash value: 2039156429

-----------------------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name     | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |
-----------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |          |     1 |    32 |       | 52177   (2)| 00:10:27 |       |       |
|   1 |  SORT ORDER BY               |          |     1 |    32 |       | 52177   (2)| 00:10:27 |       |       |
|*  2 |   FILTER                     |          |       |       |       |            |          |       |       |
|   3 |    SORT GROUP BY             |          |     1 |    32 |       | 52177   (2)| 00:10:27 |       |       |
|   4 |     GENERATE CUBE            |          |     1 |    32 |       | 52177   (2)| 00:10:27 |       |       |
|   5 |      SORT GROUP BY           |          |     1 |    32 |       | 52177   (2)| 00:10:27 |       |       |
|   6 |       VIEW                   |          | 80894 |  2527K|       | 52171   (2)| 00:10:27 |       |       |
|   7 |        HASH GROUP BY         |          | 80894 |  1342K|   428M| 52171   (2)| 00:10:27 |       |       |
|   8 |     PARTITION RANGE ITERATOR |          |    15M|   258M|       | 20630   (2)| 00:04:08 |     1 |     3 |
|*  9 |      TABLE ACCESS FULL       | TEST3    |    15M|   258M|       | 20630   (2)| 00:04:08 |     1 |     3 |
-----------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - filter("SHOP_CODE"='1000' OR GROUPING_ID(BIN_TO_NUM(SYS_OP_GROUPING("SHOP_CODE",1,0,SYS_OP_BITVEC)
          ))=1)
   9 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      1  recursive calls
      0  db block gets
  73961  consistent gets
  25665  physical reads
      0  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      3  sorts (memory)
      0  sorts (disk)
      8  rows processed

これまた恒例になった、オラクル任せのパラレル処理〜〜。ついにでました、１秒切りそうな処理時間w

  1  SELECT /*+ PARALLEL */
  2      CASE
  3          WHEN grouping_id(month) = 1 THEN
  4              CASE
  5                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0406' THEN 'Q1'
  6                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0709' THEN 'Q2'
  7                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '1012' THEN 'Q3'
  8                  WHEN SUBSTR(MIN(month),5,2)||SUBSTR(MAX(month),5,2) = '0103' THEN 'Q4'
  9              END
 10         ELSE month
 11      END AS month
 12     ,CASE
 13          WHEN grouping_id(shop_code) = 1 THEN 'ALL'
 14          ELSE shop_code
 15      END AS shop_code
 16     ,SUM(sales_figure) AS sales_figure
 17  FROM
 18     (
 19         SELECT
 20              SUBSTR(starting_date,1,6) AS month
 21             ,shop_code
 22             ,SUM(sales_figure) AS sales_figure
 23         FROM
 24             test3
 25         WHERE
 26             starting_date BETWEEN '20110101' AND '20110331'
 27         GROUP BY
 28              SUBSTR(starting_date,1,6)
 29             ,shop_code
 30     )
 31  GROUP BY
 32      CUBE(month,shop_code)
 33  HAVING
 34      shop_code = '1000' OR
 35      grouping_id(shop_code) = 1
 36  ORDER BY
 37      month
 38*    ,shop_code

8行が選択されました。

経過: 00:00:01.09

実行計画
----------------------------------------------------------
Plan hash value: 4042039911

-------------------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                         | Name         | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |    TQ  |IN-OUT| PQ Distrib |
-------------------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                  |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |        |      |            |
|   1 |  PX COORDINATOR                   |              |       |       |       |            |          |       |       |        |      |            |
|   2 |   PX SEND QC (ORDER)              | :TQ10004     |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,04 | P->S | QC (ORDER) |
|   3 |    SORT ORDER BY                  |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,04 | PCWP |            |
|   4 |     PX RECEIVE                    |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,04 | PCWP |            |
|   5 |      PX SEND RANGE                | :TQ10003     |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,03 | P->P | RANGE      |
|*  6 |       FILTER                      |              |       |       |       |            |          |       |       |  Q1,03 | PCWC |            |
|   7 |        SORT GROUP BY              |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,03 | PCWP |            |
|   8 |     PX RECEIVE                    |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,03 | PCWP |            |
|   9 |      PX SEND HASH                 | :TQ10002     |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,02 | P->P | HASH       |
|  10 |       GENERATE CUBE               |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,02 | PCWC |            |
|  11 |        SORT GROUP BY              |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,02 | PCWP |            |
|  12 |         PX RECEIVE                |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,02 | PCWP |            |
|  13 |          PX SEND HASH             | :TQ10001     |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,01 | P->P | HASH       |
|  14 |           SORT GROUP BY           |              |     1 |    32 |       | 13834   (2)| 00:02:47 |       |       |  Q1,01 | PCWP |            |
|  15 |            VIEW                   |              | 80894 |  2527K|       | 13831   (2)| 00:02:46 |       |       |  Q1,01 | PCWP |            |
|  16 |         HASH GROUP BY             |              | 80894 |  1342K|   428M| 13831   (2)| 00:02:46 |       |       |  Q1,01 | PCWP |            |
|  17 |          PX RECEIVE               |              | 80894 |  1342K|       | 13831   (2)| 00:02:46 |       |       |  Q1,01 | PCWP |            |
|  18 |           PX SEND HASH            | :TQ10000     | 80894 |  1342K|       | 13831   (2)| 00:02:46 |       |       |  Q1,00 | P->P | HASH       |
|  19 |            HASH GROUP BY          |              | 80894 |  1342K|   428M| 13831   (2)| 00:02:46 |       |       |  Q1,00 | PCWP |            |
|  20 |             PX BLOCK ITERATOR     |              |    15M|   258M|       |  5726   (2)| 00:01:09 |     1 |     3 |  Q1,00 | PCWC |            |
|* 21 |              TABLE ACCESS FULL    | TEST3        |    15M|   258M|       |  5726   (2)| 00:01:09 |     1 |     3 |  Q1,00 | PCWP |            |
-------------------------------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   6 - filter("SHOP_CODE"='1000' OR GROUPING_ID(BIN_TO_NUM(SYS_OP_GROUPING("SHOP_CODE",1,0,SYS_OP_BITVEC)))=1)
  21 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101')

Note
-----
   - automatic DOP: Computed Degree of Parallelism is 4


統計
----------------------------------------------------------
     24  recursive calls
      0  db block gets
  74326  consistent gets
  73923  physical reads
      0  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
     17  sorts (memory)
      0  sorts (disk)
      8  rows processed

以上、いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング　無事に終了。（おわらすのか〜w)

おまけのおまけまでチューニングしハッシュパーティションのままでも６秒台までになることは確認しましたが、実際に提示したクエリは、UNION ALLで記述された無駄の多いダメダメクエリをWITH句とUNION ALLに書き換えた8秒台の結果となるクエリでした。

なぜ、今回のおまけのおまけで載せた最速クエリを提示しなかったか。。。。。その理由は・・・・・・、８秒台であればユーザと調整可能なレベルだったから、元クエリを書いた方に書き換え方を伝えやすかった(UNION ALLを残しつつチューニング）という、これまた大人の事情が絡んでいます；）。

いま以上にチューニングできるとはわかっていても、余力を残しつつ許容できるレベルでチューニングを止めるという”チューニングのゴール”は大切ですよ。（チューニングに割ける時間もお金も限りがありますから）

８秒台のクエリもデータ量や処理量が増加した際、再び問題視される時期が来るかもしれません。その時は、GROUP BY+CUBEにすれば喜ばれますよ。月単位のレンジパーティションに切り替えてあげるだけでも喜ばれますよ（より工数掛かりますが）。チューニング余地は見切れていたほうがいいですよね。

追記、なにか忘れてるー、と思ったらPIVOTの事すっかり忘れてたw。どうしようw

さて、次のネタのキーワードは、「悩ませ過ぎは及ばざるがごとし」w にしようかな。

---

これまでのあらずじ…

・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #1
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #2
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #3
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #4
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #5
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #6
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #7 おまけ

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング７ おまけ

前回、思いつきでGROUPING SETSに書き換えたら予想外に結果が悪かったわけですが、よーく考えたら事前にもうちょっとサマってしまえばいけるんじゃないかと気づいて少々書き換えてみました、
悲惨だった前回の結果に比べたら随分改善しましたが、それでも元に戻った程度ですね。(^^;;;;;;

やはり、いくない。

以下、前回、一番処理時間が長くなったケース。単純にGROUPING SETSに書き換えた場合、元のクエリより遅い。アクセスブロック数は３／４程度なんですがね。処理時間がねぇ〜

　1  SELECT
  2      CASE
  3         WHEN quarter IS NULL THEN month
  4         ELSE quarter
  5      END AS month
  6     ,CASE
  7         WHEN grouping_id = 1 THEN 'ALL'
  8         ELSE shop_code
  9      END AS shop_code
 10     ,sales_figure
 11  FROM (
 12     SELECT
 13          grouping_id(shop_code) as grouping_id
 14         ,quarter
 15         ,month
 16         ,shop_code
 17         ,SUM(sales_figure) AS sales_figure
 18     FROM
 19     (
 20         SELECT
 21             CASE
 22                 WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 23                 WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 24                 WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 25                 WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 26             END AS quarter
 27             ,SUBSTR(starting_date,1,6) AS month
 28             ,shop_code
 29             ,sales_figure
 30         FROM
 31             test2
 32         WHERE
 33             SUBSTR(starting_date,1,6) BETWEEN '201101' AND '201103'
 34     )
 35     GROUP BY GROUPING SETS (
 36         (month, shop_code),
 37         (quarter, shop_code),
 38         (month),
 39         (quarter)
 40     )
 41  )
 42  WHERE
 43         shop_code = '1000'
 44      OR grouping_id  = 1
 45  ORDER BY
 46       month
 47*     ,shop_code

8行が選択されました。

経過: 00:00:34.88

実行計画
----------------------------------------------------------
Plan hash value: 1500989315

------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name                        | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |
------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |                             |   711K|    33M|       | 93048   (3)| 00:18:37 |       |       |
|   1 |  SORT ORDER BY               |                             |   711K|    33M|    43M| 93048   (3)| 00:18:37 |       |       |
|   2 |   VIEW                       |                             |   711K|    33M|       | 84288   (3)| 00:16:52 |       |       |
|   3 |    TEMP TABLE TRANSFORMATION |                             |       |       |       |            |          |       |       |
|   4 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6636_4A53D793 |       |       |       |            |          |       |       |
|   5 |      PARTITION HASH ALL      |                             |    15M|   351M|       | 84280   (3)| 00:16:52 |     1 |     4 |
|*  6 |       TABLE ACCESS FULL      | TEST2                       |    15M|   351M|       | 84280   (3)| 00:16:52 |     1 |     4 |
|   7 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6637_4A53D793 |       |       |       |            |          |       |       |
|   8 |      SORT GROUP BY ROLLUP    |                             |     1 |    33 |       |     3  (34)| 00:00:01 |       |       |
|   9 |       TABLE ACCESS FULL      | SYS_TEMP_0FD9D6636_4A53D793 |     1 |    33 |       |     2   (0)| 00:00:01 |       |       |
|  10 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6637_4A53D793 |       |       |       |            |          |       |       |
|  11 |      SORT GROUP BY ROLLUP    |                             |     1 |    23 |       |     3  (34)| 00:00:01 |       |       |
|  12 |       TABLE ACCESS FULL      | SYS_TEMP_0FD9D6636_4A53D793 |     1 |    23 |       |     2   (0)| 00:00:01 |       |       |
|  13 |     VIEW                     |                             |     1 |    50 |       |     2   (0)| 00:00:01 |       |       |
|* 14 |      TABLE ACCESS FULL       | SYS_TEMP_0FD9D6637_4A53D793 |     1 |    50 |       |     2   (0)| 00:00:01 |       |       |
------------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   6 - filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  14 - filter("SYS_TEMP_0FD9D6637_4A53D793"."C1"='1000' OR
          BIN_TO_NUM(SYS_OP_VECBIT(SYS_OP_NUMTORAW("SYS_TEMP_0FD9D6637_4A53D793"."D0"),1))=1)


統計
----------------------------------------------------------
    761  recursive calls
  52432  db block gets
 405879  consistent gets
 405750  physical reads
   1944  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      3  sorts (memory)
      0  sorts (disk)
      8  rows processed

意外な結果になってしまったので、WITH句は利用していないのですが今回試したのは事前にある程度サマったケース。
コードサイズも一番小さくて可読性もよいと思うんだけどね〜。
アクセスしているブロック数は１／２でいい感じなのですが、処理時間は今回ネタにしたクエリ（後述）より少々良い程度。ブロック数は半減したのに処理時間がさほど改善していないのはCPUへの負荷が考えていた以上に高いのでしょうかね。（それはまた別途しらべておきますか）

  1  SELECT
  2     CASE
  3         WHEN quarter IS NULL THEN month
  4         ELSE quarter
  5     END AS month
  6     ,CASE
  7         WHEN grouping_id(shop_code) = 1 THEN 'ALL'
  8         ELSE shop_code
  9     END AS shop_code
 10     ,SUM(sales_figure) AS sales_figure
 11  FROM
 12      (
 13         SELECT
 14             CASE
 15                 WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 16                 WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 17                 WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 18                 WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 19             END AS quarter
 20             ,SUBSTR(starting_date,1,6) AS month
 21             ,shop_code
 22             ,SUM(sales_figure) AS sales_figure
 23         FROM
 24             test2
 25         WHERE
 26             starting_date BETWEEN '20110101' AND '20110331'
 27         GROUP BY
 28             CASE
 29                 WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 30                 WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 31                 WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 32                 WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 33             END
 34             ,SUBSTR(starting_date,1,6)
 35             ,shop_code
 36     )
 37  GROUP BY GROUPING SETS (
 38     (month, shop_code),
 39     (quarter, shop_code),
 40     (month),
 41     (quarter)
 42  )
 43  HAVING
 44     shop_code = '1000'
 45     OR grouping_id(shop_code) = 1
 46  ORDER BY
 47       month
 48*     ,shop_code

8行が選択されました。

経過: 00:00:19.69

実行計画
----------------------------------------------------------
Plan hash value: 3332072264

--------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                  | Name                        | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
--------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |                             |  2758 |   134K| 83181   (2)| 00:16:39 |       |       |
|   1 |  TEMP TABLE TRANSFORMATION |                             |       |       |            |          |       |       |
|   2 |   LOAD AS SELECT           | SYS_TEMP_0FD9D66D1_4A54AE09 |       |       |            |          |       |       |
|   3 |    HASH GROUP BY           |                             | 17550 |   411K| 83172   (2)| 00:16:39 |       |       |
|   4 |     PARTITION HASH ALL     |                             |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|*  5 |      TABLE ACCESS FULL     | TEST2                       |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|   6 |   LOAD AS SELECT           | SYS_TEMP_0FD9D66D2_4A54AE09 |       |       |            |          |       |       |
|   7 |    SORT GROUP BY ROLLUP    |                             |     1 |    33 |     3  (34)| 00:00:01 |       |       |
|   8 |     TABLE ACCESS FULL      | SYS_TEMP_0FD9D66D1_4A54AE09 |     1 |    33 |     2   (0)| 00:00:01 |       |       |
|   9 |   LOAD AS SELECT           | SYS_TEMP_0FD9D66D2_4A54AE09 |       |       |            |          |       |       |
|  10 |    SORT GROUP BY ROLLUP    |                             |     1 |    23 |     3  (34)| 00:00:01 |       |       |
|  11 |     TABLE ACCESS FULL      | SYS_TEMP_0FD9D66D1_4A54AE09 |     1 |    23 |     2   (0)| 00:00:01 |       |       |
|  12 |   SORT ORDER BY            |                             |  2758 |   134K|     3  (34)| 00:00:01 |       |       |
|  13 |    VIEW                    |                             |     1 |    50 |     2   (0)| 00:00:01 |       |       |
|* 14 |     TABLE ACCESS FULL      | SYS_TEMP_0FD9D66D2_4A54AE09 |     1 |    50 |     2   (0)| 00:00:01 |       |       |
--------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   5 - filter("SYS_TBL_$2$"."STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "SYS_TBL_$2$"."STARTING_DATE">='20110101')
  14 - filter("SYS_TEMP_0FD9D66D2_4A54AE09"."C1"='1000' OR
          BIN_TO_NUM(SYS_OP_VECBIT(SYS_OP_NUMTORAW("SYS_TEMP_0FD9D66D2_4A54AE09"."D0"),1))=1)


統計
----------------------------------------------------------
    358  recursive calls
     52  db block gets
 302715  consistent gets
 302587  physical reads
   1764  redo size
    871  bytes sent via SQL*Net to client
    519  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      3  sorts (memory)
      0  sorts (disk)
      8  rows processed

前々回、WITH句とunion allだけでチューニングしたクエリと比べてみるとブロック数は同じ程度でもCPUコストの差は実行計画からもある程度読み取れますね（参考程度ですがw）。

  1  WITH
  2  t01 AS
  3  (
  4      SELECT
  5           SUBSTR(starting_date,1,6) AS month
  6          ,CASE
  7               WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
  8               WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
  9               WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 10               WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 11          END AS quarter
 12          ,shop_code
 13          ,SUM(sales_figure) as sales_figure
 14      FROM
 15          test2
 16      WHERE
 17          starting_date BETWEEN '20110101' AND '20110331'
 18      GROUP BY
 19           SUBSTR(starting_date,1,6)
 20          ,SUBSTR(starting_date,5,2)
 21          ,shop_code
 22  ),
 23  t02 AS
 24  (
 25      SELECT
 26           month
 27          ,quarter
 28          ,shop_code
 29          ,sales_figure
 30      FROM
 31          t01
 32      WHERE
 33          month BETWEEN '201101' AND '201103'
 34      AND shop_code = '1000'
 35  )
 36  SELECT
 37       month
 38      ,shop_code
 39      ,sales_figure
 40  FROM
 41  (
 42      SELECT
 43           month
 44          ,shop_code
 45          ,SUM(sales_figure) AS sales_figure
 46      FROM
 47          t02
 48      GROUP BY
 49           month
 50          ,shop_code
 51      UNION ALL
 52      SELECT
 53           quarter AS month
 54          ,shop_code
 55          ,SUM(sales_figure) AS sales_figure
 56      FROM
 57          t02
 58      GROUP BY
 59           quarter
 60          ,shop_code
 61      UNION ALL
 62      SELECT
 63           month
 64          ,'ALL ' AS shop_code
 65          ,SUM(sales_figure) AS sales_figure
 66      FROM
 67          t01
 68      GROUP BY
 69          month
 70      UNION ALL
 71      SELECT
 72           quarter AS month
 73          ,'ALL ' AS shop_code
 74          ,SUM(sales_figure) AS salles_figure
 75      FROM
 76          t01
 77      GROUP BY
 78          quarter
 79  )
 80  ORDER BY
 81       month
 82*     ,shop_code

8行が選択されました。

経過: 00:00:08.35

実行計画
----------------------------------------------------------
Plan hash value: 2861358139

--------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                  | Name                        | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
--------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |                             |  3692 |   118K| 83282   (2)| 00:16:40 |       |       |
|   1 |  TEMP TABLE TRANSFORMATION |                             |       |       |            |          |       |       |
|   2 |   LOAD AS SELECT           | SYS_TEMP_0FD9D660A_4A53712A |       |       |            |          |       |       |
|   3 |    HASH GROUP BY           |                             | 17550 |   411K| 83172   (2)| 00:16:39 |       |       |
|   4 |     PARTITION HASH ALL     |                             |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|*  5 |      TABLE ACCESS FULL     | TEST2                       |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|   6 |   LOAD AS SELECT           | SYS_TEMP_0FD9D660B_4A53712A |       |       |            |          |       |       |
|*  7 |    VIEW                    |                             | 17550 |   497K|    17   (0)| 00:00:01 |       |       |
|   8 |     TABLE ACCESS FULL      | SYS_TEMP_0FD9D660A_4A53712A | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
|   9 |   SORT ORDER BY            |                             |  3692 |   118K|    93   (8)| 00:00:02 |       |       |
|  10 |    VIEW                    |                             |  3692 |   118K|    92   (7)| 00:00:02 |       |       |
|  11 |     UNION-ALL              |                             |       |       |            |          |       |       |
|  12 |      HASH GROUP BY         |                             |  2758 | 68950 |    27   (4)| 00:00:01 |       |       |
|  13 |       VIEW                 |                             | 17550 |   428K|    26   (0)| 00:00:01 |       |       |
|  14 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660B_4A53712A | 17550 |   497K|    26   (0)| 00:00:01 |       |       |
|  15 |      HASH GROUP BY         |                             |   920 | 20240 |    27   (4)| 00:00:01 |       |       |
|  16 |       VIEW                 |                             | 17550 |   377K|    26   (0)| 00:00:01 |       |       |
|  17 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660B_4A53712A | 17550 |   497K|    26   (0)| 00:00:01 |       |       |
|  18 |      HASH GROUP BY         |                             |    13 |   260 |    18   (6)| 00:00:01 |       |       |
|  19 |       VIEW                 |                             | 17550 |   342K|    17   (0)| 00:00:01 |       |       |
|  20 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660A_4A53712A | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
|  21 |      HASH GROUP BY         |                             |     1 |    17 |    18   (6)| 00:00:01 |       |       |
|  22 |       VIEW                 |                             | 17550 |   291K|    17   (0)| 00:00:01 |       |       |
|  23 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660A_4A53712A | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
--------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   5 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
   7 - filter("MONTH">='201101' AND "MONTH"<='201103' AND "SHOP_CODE"='1000')


統計
----------------------------------------------------------
      4  recursive calls
     28  db block gets
 302642  consistent gets
 302570  physical reads
   1156  redo size
    875  bytes sent via SQL*Net to client
    519  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

ということで、おまけはおしまい、次回へつづく。（どーやってまとめんるんだこれw)

追記（2011/8/3)
次回は、今回チューニングしたGROUPING SETSを利用した文をさらにチューニングするというおまけのおまけ。（ほんと、どーやってまとめんだこれ！）

---

これまでのあらずじ…

・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #1
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #2
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #3
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #4
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #5
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #6

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #6

2011/7/28追記
GROUPING SETSで異常に遅かったのは使い方わるいなーと m(_ _)m WITH句で一時表１つ使うのと同じぐらいにはなるかもね。と（次回書きます）

前回のつづきでーす。

前回のは、元々がイケテない、かつ、大人の事情でパーティションタイプ変更とか、マテリアライズドビューとか、パラレルクエリーもだーめー。と言いつつ、なんとか、できる限り早くしてくれーという、匂いの元を絶たないで別の匂いでごまかしてくれー的なことだったのですが、いろいろと考えた末、WITH句を使えばなんとかいい感じになりました。でも、元が元だけにほぼ限界ですね。

大人の事情で男らしくずばーっとパーティションタイプ変更することができないとか言ってた方々も、この結果をもって、交渉のテーブルにつけるんじゃないかな。検討祈る :)
この結果で納得してもらえるかは感知しませんからねw 最後の手としてパーティションタイプ変更を残しておいてもいいいと思いますし。;)

ということで、今回は、他の方法との比較編。

前回、grouping setsでもいけそーな感じがすると書いたのですが、grouping setsの場合裏の動きはOracleにお任せなので…

まあ、見てみましょう。

最初は、シンプルにgrouping setsに置き換えて見ました。（深く考えてないので余計な部分はまだまだありそうですがw ）

実行計画と処理時間、アクセスブロック数みて少々意外な結果に驚いたんですよ。　

ダメダメだった元のクエリより処理時間は長くなってる＞＜。　アクセスしているブロック数は随分少なくなっているんですが。CPUへの負荷が高いのか（詳細は別途調べるとして）とにかく前より遅くなっちゃNGです。ただ、クエリ自体は随分読みやすい :)

grouping setsで置き換えた今回のクエリ、実行計画を見るとWITH句で書き換えたときのようものにかなり似ていますが、WITH句で書き換えた場合と大きく異なるのは内部で一時表に置き換えられるタイミングにありそうですね。WITH句は本体のクエリとは別で、しかも一番先に実行されますが、以下の実行計画をみると違いますよね。WITH句で書き換えた実行計画と比較するとその違いがよくわかります。

  1  SELECT
  2      CASE
  3         WHEN quarter IS NULL THEN month
  4         ELSE quarter
  5      END AS month
  6     ,CASE
  7         WHEN grouping_id = 1 THEN 'ALL'
  8         ELSE shop_code
  9      END AS shop_code
 10     ,sales_figure
 11  FROM (
 12     SELECT
 13          grouping_id(shop_code) as grouping_id
 14         ,quarter
 15         ,month
 16         ,shop_code
 17         ,SUM(sales_figure) AS sales_figure
 18     FROM
 19     (
 20         SELECT
 21             CASE
 22                 WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 23                 WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 24                 WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 25                 WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 26             END AS quarter
 27             ,SUBSTR(starting_date,1,6) AS month
 28             ,shop_code
 29             ,sales_figure
 30         FROM
 31             test2
 32         WHERE
 33             SUBSTR(starting_date,1,6) BETWEEN '201101' AND '201103'
 34     )
 35     GROUP BY GROUPING SETS (
 36         (month, shop_code),
 37         (quarter, shop_code),
 38         (month),
 39         (quarter)
 40     )
 41  )
 42  WHERE
 43         shop_code = '1000'
 44      OR grouping_id  = 1
 45  ORDER BY
 46       month
 47*     ,shop_code

8行が選択されました。

経過: 00:00:34.88

実行計画
----------------------------------------------------------
Plan hash value: 1500989315

------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name                        | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |
------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |                             |   711K|    33M|       | 93048   (3)| 00:18:37 |       |       |
|   1 |  SORT ORDER BY               |                             |   711K|    33M|    43M| 93048   (3)| 00:18:37 |       |       |
|   2 |   VIEW                       |                             |   711K|    33M|       | 84288   (3)| 00:16:52 |       |       |
|   3 |    TEMP TABLE TRANSFORMATION |                             |       |       |       |            |          |       |       |
|   4 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6636_4A53D793 |       |       |       |            |          |       |       |
|   5 |      PARTITION HASH ALL      |                             |    15M|   351M|       | 84280   (3)| 00:16:52 |     1 |     4 |
|*  6 |       TABLE ACCESS FULL      | TEST2                       |    15M|   351M|       | 84280   (3)| 00:16:52 |     1 |     4 |
|   7 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6637_4A53D793 |       |       |       |            |          |       |       |
|   8 |      SORT GROUP BY ROLLUP    |                             |     1 |    33 |       |     3  (34)| 00:00:01 |       |       |
|   9 |       TABLE ACCESS FULL      | SYS_TEMP_0FD9D6636_4A53D793 |     1 |    33 |       |     2   (0)| 00:00:01 |       |       |
|  10 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6637_4A53D793 |       |       |       |            |          |       |       |
|  11 |      SORT GROUP BY ROLLUP    |                             |     1 |    23 |       |     3  (34)| 00:00:01 |       |       |
|  12 |       TABLE ACCESS FULL      | SYS_TEMP_0FD9D6636_4A53D793 |     1 |    23 |       |     2   (0)| 00:00:01 |       |       |
|  13 |     VIEW                     |                             |     1 |    50 |       |     2   (0)| 00:00:01 |       |       |
|* 14 |      TABLE ACCESS FULL       | SYS_TEMP_0FD9D6637_4A53D793 |     1 |    50 |       |     2   (0)| 00:00:01 |       |       |
------------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   6 - filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  14 - filter("SYS_TEMP_0FD9D6637_4A53D793"."C1"='1000' OR
          BIN_TO_NUM(SYS_OP_VECBIT(SYS_OP_NUMTORAW("SYS_TEMP_0FD9D6637_4A53D793"."D0"),1))=1)


統計
----------------------------------------------------------
    761  recursive calls
  52432  db block gets
 405879  consistent gets
 405750  physical reads
   1944  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      3  sorts (memory)
      0  sorts (disk)
      8  rows processed

GROUPING SETSで内部的に行われる一時表作成の効率が今ひとつなのであれば、やはり明示的にWITH句で宣言してからやったほうがいいのかな〜ということで、WITH句で一番大きな一時表を作ってみます。

お〜〜〜〜〜〜〜〜〜〜っ。随分変りましたねー。

  1  WITH
  2  t01 AS
  3  (
  4      SELECT
  5           SUBSTR(starting_date,1,6) AS month
  6          ,CASE
  7               WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
  8               WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
  9               WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 10               WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 11          END AS quarter
 12          ,shop_code
 13          ,SUM(sales_figure) as sales_figure
 14      FROM
 15          test2
 16      WHERE
 17          starting_date BETWEEN '20110101' AND '20110331'
 18      GROUP BY
 19          　SUBSTR(starting_date,1,6)
 20          ,SUBSTR(starting_date,5,2)
 21          ,shop_code
 22  )
 23  SELECT
 24      CASE
 25         WHEN quarter IS NULL THEN month
 26         ELSE quarter
 27      END AS month
 28     ,CASE
 29         WHEN grouping_id = 1 THEN 'ALL'
 30         ELSE shop_code
 31      END AS shop_code
 32     ,sales_figure
 33  FROM (
 34     SELECT
 35          grouping_id(shop_code) as grouping_id
 36         ,quarter
 37         ,month
 38         ,shop_code
 39         ,SUM(sales_figure) AS sales_figure
 40     FROM
 41      t01
 42     GROUP BY GROUPING SETS (
 43         (month, shop_code),
 44         (quarter, shop_code),
 45         (month),
 46         (quarter)
 47     )
 48  )
 49  WHERE
 50     shop_code = '1000'
 51     OR grouping_id  = 1
 52  ORDER BY
 53     month
 54*     ,shop_code

8行が選択されました。

経過: 00:00:11.83

実行計画
----------------------------------------------------------
Plan hash value: 3348003365

----------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name                        | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
----------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |                             |  2758 |   134K| 83181   (2)| 00:16:39 |       |       |
|   1 |  SORT ORDER BY               |                             |  2758 |   134K| 83181   (2)| 00:16:39 |       |       |
|   2 |   VIEW                       |                             |  2758 |   134K| 83180   (2)| 00:16:39 |       |       |
|   3 |    TEMP TABLE TRANSFORMATION |                             |       |       |            |          |       |       |
|   4 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6650_4A53D793 |       |       |            |          |       |       |
|   5 |      HASH GROUP BY           |                             | 17550 |   411K| 83172   (2)| 00:16:39 |       |       |
|   6 |       PARTITION HASH ALL     |                             |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|*  7 |        TABLE ACCESS FULL     | TEST2                       |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|   8 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6651_4A53D793 |       |       |            |          |       |       |
|   9 |      SORT GROUP BY ROLLUP    |                             |     1 |    33 |     3  (34)| 00:00:01 |       |       |
|  10 |       TABLE ACCESS FULL      | SYS_TEMP_0FD9D6650_4A53D793 |     1 |    33 |     2   (0)| 00:00:01 |       |       |
|  11 |     LOAD AS SELECT           | SYS_TEMP_0FD9D6651_4A53D793 |       |       |            |          |       |       |
|  12 |      SORT GROUP BY ROLLUP    |                             |     1 |    23 |     3  (34)| 00:00:01 |       |       |
|  13 |       TABLE ACCESS FULL      | SYS_TEMP_0FD9D6650_4A53D793 |     1 |    23 |     2   (0)| 00:00:01 |       |       |
|  14 |     VIEW                     |                             |     1 |    50 |     2   (0)| 00:00:01 |       |       |
|* 15 |      TABLE ACCESS FULL       | SYS_TEMP_0FD9D6651_4A53D793 |     1 |    50 |     2   (0)| 00:00:01 |       |       |
----------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   7 - filter("SYS_TBL_$2$"."STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "SYS_TBL_$2$"."STARTING_DATE">='20110101')
  15 - filter("SYS_TEMP_0FD9D66B3_4A54062A"."C1"='1000' OR
          BIN_TO_NUM(SYS_OP_VECBIT(SYS_OP_NUMTORAW("SYS_TEMP_0FD9D66B3_4A54062A"."D0"),1))=1)


統計
----------------------------------------------------------
    358  recursive calls
     53  db block gets
 302715  consistent gets
 302589  physical reads
   1712  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      3  sorts (memory)
      0  sorts (disk)
      8  rows processed

じゃ、WITH句だけで行ったチューニング同様に2つの一時表を作ることにしましょー :)
WITH句で２つの一時表を準備（本体の表へは１度だけアクセス）、かつ、grouping sets を使いunion allの利用は最小限にしてみました。w

読みやすくなったし、速度的にも WITH句で２つの一時表を使う場合と変らないし、GROUPING SETSだけだと今回のような問題は解決しづらいかもしれませんね、今のところ。
可読性の向上にはかなり効果あるとおもいます、GROUPING SETSって。

  1  WITH
  2  t01 AS
  3  (
  4      SELECT
  5           SUBSTR(starting_date,1,6) AS month
  6          ,CASE
  7               WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
  8               WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
  9               WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 10               WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 11          END AS quarter
 12          ,shop_code
 13          ,SUM(sales_figure) as sales_figure
 14      FROM
 15          test2
 16      WHERE
 17          starting_date BETWEEN '20110101' AND '20110331'
 18      GROUP BY
 19          　SUBSTR(starting_date,1,6)
 20          ,SUBSTR(starting_date,5,2)
 21          ,shop_code
 22  ),
 23  t02 AS
 24  (
 25      SELECT
 26           month
 27          ,quarter
 28          ,shop_code
 29          ,sales_figure
 30      FROM
 31          t01
 32      WHERE
 33          month BETWEEN '201101' AND '201103'
 34      AND shop_code = '1000'
 35  )
 36  SELECT
 37      CASE
 38          WHEN quarter IS NULL THEN month
 39          ELSE quarter
 40      END AS month
 41     ,shop_code
 42     ,sales_figure
 43  FROM (
 44      SELECT
 45           quarter
 46          ,month
 47          ,shop_code
 48          ,SUM(sales_figure) AS sales_figure
 49      FROM
 50          t02
 51      GROUP BY GROUPING SETS (
 52          (month, shop_code),
 53          (quarter, shop_code)
 54      )
 55      UNION ALL
 56      SELECT
 57           quarter
 58          ,month
 59          ,'ALL' AS shop_code
 60          ,SUM(sales_figure) AS sales_figure
 61      FROM
 62          t01
 63      GROUP BY GROUPING SETS (
 64          (month),
 65          (quarter)
 66      )
 67  )
 68  ORDER BY
 69       month
 70*     ,shop_code

8行が選択されました。

経過: 00:00:08.34

実行計画
----------------------------------------------------------
Plan hash value: 1439899557

------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                      | Name                        | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT               |                             |    17 |   595 | 83223   (2)| 00:16:39 |       |       |
|   1 |  TEMP TABLE TRANSFORMATION     |                             |       |       |            |          |       |       |
|   2 |   LOAD AS SELECT               | SYS_TEMP_0FD9D667D_4A53D793 |       |       |            |          |       |       |
|   3 |    HASH GROUP BY               |                             | 17550 |   411K| 83172   (2)| 00:16:39 |       |       |
|   4 |     PARTITION HASH ALL         |                             |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|*  5 |      TABLE ACCESS FULL         | TEST2                       |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|   6 |   SORT ORDER BY                |                             |    17 |   595 |    51  (10)| 00:00:01 |       |       |
|   7 |    VIEW                        |                             |    17 |   595 |    50   (8)| 00:00:01 |       |       |
|   8 |     UNION-ALL                  |                             |       |       |            |          |       |       |
|   9 |      TEMP TABLE TRANSFORMATION |                             |       |       |            |          |       |       |
|  10 |       LOAD AS SELECT           | SYS_TEMP_0FD9D667E_4A53D793 |       |       |            |          |       |       |
|* 11 |        TABLE ACCESS FULL       | SYS_TEMP_0FD9D667D_4A53D793 |     1 |    24 |    17   (0)| 00:00:01 |       |       |
|  12 |       LOAD AS SELECT           | SYS_TEMP_0FD9D667F_4A53D793 |       |       |            |          |       |       |
|  13 |        HASH GROUP BY           |                             |     1 |    33 |     3  (34)| 00:00:01 |       |       |
|  14 |     TABLE ACCESS FULL          | SYS_TEMP_0FD9D667E_4A53D793 |     1 |    33 |     2   (0)| 00:00:01 |       |       |
|  15 |       LOAD AS SELECT           | SYS_TEMP_0FD9D667F_4A53D793 |       |       |            |          |       |       |
|  16 |        HASH GROUP BY           |                             |     1 |    23 |     3  (34)| 00:00:01 |       |       |
|  17 |     TABLE ACCESS FULL          | SYS_TEMP_0FD9D667E_4A53D793 |     1 |    23 |     2   (0)| 00:00:01 |       |       |
|  18 |       VIEW                     |                             |     1 |    37 |     2   (0)| 00:00:01 |       |       |
|  19 |        TABLE ACCESS FULL       | SYS_TEMP_0FD9D667F_4A53D793 |     1 |    37 |     2   (0)| 00:00:01 |       |       |
|  20 |      TEMP TABLE TRANSFORMATION |                             |       |       |            |          |       |       |
|  21 |       LOAD AS SELECT           | SYS_TEMP_0FD9D6680_4A53D793 |       |       |            |          |       |       |
|  22 |        TABLE ACCESS FULL       | SYS_TEMP_0FD9D667D_4A53D793 | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
|  23 |       LOAD AS SELECT           | SYS_TEMP_0FD9D6681_4A53D793 |       |       |            |          |       |       |
|  24 |        HASH GROUP BY           |                             |     1 |    27 |     3  (34)| 00:00:01 |       |       |
|  25 |     TABLE ACCESS FULL          | SYS_TEMP_0FD9D6680_4A53D793 |     1 |    27 |     2   (0)| 00:00:01 |       |       |
|  26 |       LOAD AS SELECT           | SYS_TEMP_0FD9D6681_4A53D793 |       |       |            |          |       |       |
|  27 |        HASH GROUP BY           |                             |     1 |    17 |     3  (34)| 00:00:01 |       |       |
|  28 |     TABLE ACCESS FULL          | SYS_TEMP_0FD9D6680_4A53D793 |     1 |    17 |     2   (0)| 00:00:01 |       |       |
|  29 |       VIEW                     |                             |     1 |    31 |     2   (0)| 00:00:01 |       |       |
|  30 |        TABLE ACCESS FULL       | SYS_TEMP_0FD9D6681_4A53D793 |     1 |    31 |     2   (0)| 00:00:01 |       |       |
------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   5 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
  11 - filter("SYS_TBL_$2$"."C0">='201101' AND "SYS_TBL_$2$"."C0"<='201103' AND "SYS_TBL_$2$"."C2"='1000')


統計
----------------------------------------------------------
    790  recursive calls
     82  db block gets
 302843  consistent gets
 302593  physical reads
   3964  redo size
    871  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

次回は、月毎のレンジパーティションで同じ対処をしたらとこまで改善するのか確認しておきましょう。

---

これまでのあらずじ…

・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #1
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #2
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #3
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #4
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #5

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #5

前回のつづきです。

さて、前回登場したボスキャラなSQL。どう料理しましょーか。
前回は、まずは肩ならし程度のチューニングをしましたがそれほど改善していません。(^^;;;; 元が元ですからね。

このままでは多いく改善することはむーりー、なので構文変更を前提にしましょう。

で、このクエリをよーく見ていたら、店、品目毎の日単位の売上げデータから、店毎の月単位売上げ合計と四半期の売上げ合計、全店の月単位売上げ合計、四半期の売上げ合計を求めるクエリだとわかりました。

本来なら月単位のレンジパーティション表とか、マテリアライズドビューでも用意しておけばすげー簡単な話ではあるんですが、パーティションタイプの変更とかマテリアライズドビューの追加作成とかむーりーと言われてしまう大人の事情が因縁をつけてきますw

でも、じ〜〜〜〜〜〜っと、このSQL文を見ていると改善案が見えてきます。大きな無駄が……………………見えてきますよね。ほーら、ほーらw

  1  SELECT
  2       month
  3      ,shop_code
  4      ,sales_figure
  5  FROM
  6  (
  7      SELECT
  8           SUBSTR(starting_date,1,6) AS month
  9          ,shop_code
 10          ,SUM(sales_figure) AS sales_figure
 11      FROM
 12          test2
 13      WHERE
 14          starting_date BETWEEN '20110101' AND '20110331'
 15      AND shop_code = '1000'
 16      GROUP BY
 17           SUBSTR(starting_date,1,6)
 18          ,shop_code
 19      UNION ALL
 20      SELECT
 21          CASE
 22              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 23              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 24              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 25              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 26          END AS month
 27          ,shop_code
 28          ,SUM(sales_figure) AS salles_figure
 29      FROM
 30          test2
 31      WHERE
 32          starting_date BETWEEN '20110101' AND '20110331'
 33      AND shop_code = '1000'
 34      GROUP BY
 35          CASE
 36              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 37              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 38              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 39              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 40          END
 41          ,shop_code
 42      UNION ALL
 43      SELECT
 44           SUBSTR(starting_date,1,6) AS month
 45          ,'ALL ' AS shop_code
 46          ,SUM(sales_figure) AS sales_figure
 47      FROM
 48          test2
 49      WHERE
 50          starting_date BETWEEN '20110101' AND '20110331'
 51      GROUP BY
 52          SUBSTR(starting_date,1,6)
 53      UNION ALL
 54      SELECT
 55          CASE
 56              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 57              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 58              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 59              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 60          END AS month
 61          ,'ALL ' AS shop_code
 62          ,SUM(sales_figure) AS salles_figure
 63      FROM
 64          test2
 65      WHERE
 66          starting_date BETWEEN '20110101' AND '20110331'
 67      GROUP BY
 68          CASE
 69              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 70              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 71              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 72              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 73          END
 74  )
 75  ORDER BY
 76       month
 77*     ,shop_code

8行が選択されました。

経過: 00:00:21.03

実行計画
----------------------------------------------------------
Plan hash value: 1898009794

-------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name       | Rows  | Bytes | Cost (%CPU)| Time     |Pstart|Pstop |
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   1 |  SORT ORDER BY                         |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   2 |   VIEW                                 |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   3 |    UNION-ALL                           |            |       |       |            |          |      |      |
|   4 |     HASH GROUP BY                      |            |     3 |    72 |    43   (3)| 00:00:01 |      |      |
|   5 |      PARTITION HASH ALL                |            |   303 |  7272 |    42   (0)| 00:00:01 |    1 |    4 |
|   6 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST2      |   303 |  7272 |    42   (0)| 00:00:01 |    1 |    4 |
|*  7 |        INDEX RANGE SCAN                | PK_TEST2   |   303 |       |    19   (0)| 00:00:01 |    1 |    4 |
|   8 |     HASH GROUP BY                      |            |     7 |   119 |    43   (3)| 00:00:01 |      |      |
|   9 |      PARTITION HASH ALL                |            |   303 |  5151 |    42   (0)| 00:00:01 |    1 |    4 |
|  10 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST2      |   303 |  5151 |    42   (0)| 00:00:01 |    1 |    4 |
|* 11 |        INDEX RANGE SCAN                | PK_TEST2   |   303 |       |    19   (0)| 00:00:01 |    1 |    4 |
|  12 |     HASH GROUP BY                      |            |     3 |    57 | 83172   (2)| 00:16:39 |      |      |
|  13 |      PARTITION HASH ALL                |            |   394K|  7316K| 83161   (2)| 00:16:38 |    1 |    4 |
|* 14 |       TABLE ACCESS FULL                | TEST2      |   394K|  7316K| 83161   (2)| 00:16:38 |    1 |    4 |
|  15 |     HASH GROUP BY                      |            |     9 |   108 | 83172   (2)| 00:16:39 |      |      |
|  16 |      PARTITION HASH ALL                |            |   394K|  4621K| 83161   (2)| 00:16:38 |    1 |    4 |
|* 17 |       TABLE ACCESS FULL                | TEST2      |   394K|  4621K| 83161   (2)| 00:16:38 |    1 |    4 |
-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   7 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
       filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  11 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
       filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  14 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
  17 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
 606978  consistent gets
 605112  physical reads
      0  redo size
    875  bytes sent via SQL*Net to client
    519  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

03:43:16 SCOTT> 

見えてきましたよね、無駄が。

このクエリ、同じ検索範囲のデータを対象に４回もTEST2表にアクセスしています。全表走査２回、改善したとはいえ２回の全ローカル索引のレンジスキャンを行っています。無駄なアクセスが多すぎます。
こんなタイプのUNION ALLやUNION繰り返しタイプのクエリを改善できる方法は……

まず浮かんだのは、WITH句を使って各クエリの共通部分をまとめてしまう方法です。

WITH句に記述したクエリは最初に１度実行され結果を一時セグメントに溜め込みます。その後、一時セグメントに溜め込んだ結果を使い回せばいいので巨大な表本体を何度も参照する必要がなくなります。
そうそう、うまく使えば、都度使い捨てのマテリアライズドビュー（例えが良くないですが気にしないでね）みたいな使い方ができます。

書き換えのポイントは一番大きな範囲で集計する共通部分を見つけ出してWITH句にまとめてしまうこと！
あとはその結果をうまく使い回すこと！　　それだけです。　SQL文も共通部分をWITH句にまとめたことで随分読みやすくなりましたよね。　直感的に読みやすい訳ではないですがね。：）

以下、書き換えた結果…

  1  WITH
  2  t01 AS
  3  (
  4      SELECT
  5           SUBSTR(starting_date,1,6) AS month
  6          ,CASE
  7               WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
  8               WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
  9               WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 10               WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 11          END AS quarter
 12          ,shop_code
 13          ,SUM(sales_figure) as sales_figure
 14      FROM
 15          test2
 16      WHERE
 17          starting_date BETWEEN '20110101' AND '20110331'
 18      GROUP BY
 19           SUBSTR(starting_date,1,6)
 20          ,SUBSTR(starting_date,5,2)
 21          ,shop_code
 22  ),
 23  t02 AS
 24  (
 25      SELECT
 26           month
 27          ,quarter
 28          ,shop_code
 29          ,sales_figure
 30      FROM
 31          t01
 32      WHERE
 33          month BETWEEN '201101' AND '201103'
 34      AND shop_code = '1000'
 35  )
 36  SELECT
 37       month
 38      ,shop_code
 39      ,sales_figure
 40  FROM
 41  (
 42      SELECT
 43           month
 44          ,shop_code
 45          ,SUM(sales_figure) AS sales_figure
 46      FROM
 47          t02
 48      GROUP BY
 49           month
 50          ,shop_code
 51      UNION ALL
 52      SELECT
 53           quarter AS month
 54          ,shop_code
 55          ,SUM(sales_figure) AS sales_figure
 56      FROM
 57          t02
 58      GROUP BY
 59           quarter
 60          ,shop_code
 61      UNION ALL
 62      SELECT
 63           month
 64          ,'ALL ' AS shop_code
 65          ,SUM(sales_figure) AS sales_figure
 66      FROM
 67          t01
 68      GROUP BY
 69          month
 70      UNION ALL
 71      SELECT
 72           quarter AS month
 73          ,'ALL ' AS shop_code
 74          ,SUM(sales_figure) AS salles_figure
 75      FROM
 76          t01
 77      GROUP BY
 78          quarter
 79  )
 80  ORDER BY
 81       month
 82*     ,shop_code

8行が選択されました。

経過: 00:00:08.35

実行計画
----------------------------------------------------------
Plan hash value: 2861358139

--------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                  | Name                        | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
--------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |                             |  3692 |   118K| 83282   (2)| 00:16:40 |       |       |
|   1 |  TEMP TABLE TRANSFORMATION |                             |       |       |            |          |       |       |
|   2 |   LOAD AS SELECT           | SYS_TEMP_0FD9D660A_4A53712A |       |       |            |          |       |       |
|   3 |    HASH GROUP BY           |                             | 17550 |   411K| 83172   (2)| 00:16:39 |       |       |
|   4 |     PARTITION HASH ALL     |                             |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|*  5 |      TABLE ACCESS FULL     | TEST2                       |   394K|  9242K| 83161   (2)| 00:16:38 |     1 |     4 |
|   6 |   LOAD AS SELECT           | SYS_TEMP_0FD9D660B_4A53712A |       |       |            |          |       |       |
|*  7 |    VIEW                    |                             | 17550 |   497K|    17   (0)| 00:00:01 |       |       |
|   8 |     TABLE ACCESS FULL      | SYS_TEMP_0FD9D660A_4A53712A | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
|   9 |   SORT ORDER BY            |                             |  3692 |   118K|    93   (8)| 00:00:02 |       |       |
|  10 |    VIEW                    |                             |  3692 |   118K|    92   (7)| 00:00:02 |       |       |
|  11 |     UNION-ALL              |                             |       |       |            |          |       |       |
|  12 |      HASH GROUP BY         |                             |  2758 | 68950 |    27   (4)| 00:00:01 |       |       |
|  13 |       VIEW                 |                             | 17550 |   428K|    26   (0)| 00:00:01 |       |       |
|  14 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660B_4A53712A | 17550 |   497K|    26   (0)| 00:00:01 |       |       |
|  15 |      HASH GROUP BY         |                             |   920 | 20240 |    27   (4)| 00:00:01 |       |       |
|  16 |       VIEW                 |                             | 17550 |   377K|    26   (0)| 00:00:01 |       |       |
|  17 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660B_4A53712A | 17550 |   497K|    26   (0)| 00:00:01 |       |       |
|  18 |      HASH GROUP BY         |                             |    13 |   260 |    18   (6)| 00:00:01 |       |       |
|  19 |       VIEW                 |                             | 17550 |   342K|    17   (0)| 00:00:01 |       |       |
|  20 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660A_4A53712A | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
|  21 |      HASH GROUP BY         |                             |     1 |    17 |    18   (6)| 00:00:01 |       |       |
|  22 |       VIEW                 |                             | 17550 |   291K|    17   (0)| 00:00:01 |       |       |
|  23 |        TABLE ACCESS FULL   | SYS_TEMP_0FD9D660A_4A53712A | 17550 |   411K|    17   (0)| 00:00:01 |       |       |
--------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   5 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
   7 - filter("MONTH">='201101' AND "MONTH"<='201103' AND "SHOP_CODE"='1000')


統計
----------------------------------------------------------
      4  recursive calls
     28  db block gets
 302642  consistent gets
 302570  physical reads
   1156  redo size
    875  bytes sent via SQL*Net to client
    519  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

04:15:55 SCOTT> 

アクセスしているブロック数は約１／２に減少し処理時間も２０秒台から８秒台へ改善することができました。バンザーイ！w

ついでなので、オラクル任せのパラレルクエリだとどうなるか試してみました。（CPUたくさんあるんでw)
アクセスブロック数は少々増えますが、パラレルの良さが出ています。２秒台になりましたー。しかしーw 、影響が大きいのでこのときは参考出品で、ここまでできるよーって話のネタだけにしときました :)

  1  WITH
  2  t01 AS
  3  (
  4      SELECT
  5           SUBSTR(starting_date,1,6) AS month
  6          ,CASE
  7               WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
  8               WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
  9               WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 10               WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 11          END AS quarter
 12          ,shop_code
 13          ,SUM(sales_figure) as sales_figure
 14      FROM
 15           test2
 16      WHERE
 17           starting_date BETWEEN '20110101' AND '20110331'
 18      GROUP BY
 19           SUBSTR(starting_date,1,6)
 20          ,SUBSTR(starting_date,5,2)
 21          ,shop_code
 22  ),
 23  t02 AS
 24  (
 25      SELECT
 26           month
 27          ,quarter
 28          ,shop_code
 29          ,sales_figure
 30      FROM
 31          t01
 32      WHERE
 33          month BETWEEN '201101' AND '201103'
 34      AND shop_code = '1000'
 35  )
 36  SELECT  /*+ PARALLEL */
 37      month
 38      ,shop_code
 39      ,sales_figure
 40  FROM
 41  (
 42      SELECT
 43           month
 44          ,shop_code
 45          ,SUM(sales_figure) AS sales_figure
 46      FROM
 47          t02
 48      GROUP BY
 49           month
 50          ,shop_code
 51      UNION ALL
 52      SELECT
 53           quarter AS month
 54          ,shop_code
 55          ,SUM(sales_figure) AS sales_figure
 56      FROM
 57          t02
 58       GROUP BY
 59           quarter
 60          ,shop_code
 61      UNION ALL
 62      SELECT
 63           month
 64          ,'ALL ' AS shop_code
 65          ,SUM(sales_figure) AS sales_figure
 66      FROM
 67          t01
 68      GROUP BY
 69          month
 70      UNION ALL
 71      SELECT
 72           quarter AS month
 73          ,'ALL ' AS shop_code
 74          ,SUM(sales_figure) AS salles_figure
 75      FROM
 76          t01
 77      GROUP BY
 78          quarter
 79  )
 80  ORDER BY
 81       month
 82*     ,shop_code

8行が選択されました。

経過: 00:00:02.98

実行計画
----------------------------------------------------------
Plan hash value: 1065177875

-------------------------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                      | Name                        | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |    TQ    |IN-OUT| PQ Distrib |
-------------------------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT               |                             |  3692 |   118K|  5787   (2)| 00:01:10 |       |       |          |      |            |
|   1 |  TEMP TABLE TRANSFORMATION     |                             |       |       |            |          |       |       |          |      |            |
|   2 |   PX COORDINATOR               |                             |       |       |            |          |       |       |          |      |            |
|   3 |    PX SEND QC (RANDOM)         | :TQ10001                    | 17550 |   411K|  5772   (2)| 00:01:10 |       |       |  Q1,01   | P->S | QC (RAND)  |
|   4 |     LOAD AS SELECT             | SYS_TEMP_0FD9D6626_4A53712A |       |       |            |          |       |       |  Q1,01   | PCWP |            |
|   5 |      HASH GROUP BY             |                             | 17550 |   411K|  5772   (2)| 00:01:10 |       |       |  Q1,01   | PCWP |            |
|   6 |       PX RECEIVE               |                             | 17550 |   411K|  5772   (2)| 00:01:10 |       |       |  Q1,01   | PCWP |            |
|   7 |        PX SEND HASH            | :TQ10000                    | 17550 |   411K|  5772   (2)| 00:01:10 |       |       |  Q1,00   | P->P | HASH       |
|   8 |     HASH GROUP BY              |                             | 17550 |   411K|  5772   (2)| 00:01:10 |       |       |  Q1,00   | PCWP |            |
|   9 |      PX BLOCK ITERATOR         |                             |   394K|  9242K|  5770   (2)| 00:01:10 |     1 |     4 |  Q1,00   | PCWC |            |
|* 10 |       TABLE ACCESS FULL        | TEST2                       |   394K|  9242K|  5770   (2)| 00:01:10 |     1 |     4 |  Q1,00   | PCWP |            |
|  11 |   PX COORDINATOR               |                             |       |       |            |          |       |       |          |      |            |
|  12 |    PX SEND QC (RANDOM)         | :TQ20000                    | 17550 |   497K|     2   (0)| 00:00:01 |       |       |  Q2,00   | P->S | QC (RAND)  |
|  13 |     LOAD AS SELECT             | SYS_TEMP_0FD9D6627_4A53712A |       |       |            |          |       |       |  Q2,00   | PCWP |            |
|* 14 |      VIEW                      |                             | 17550 |   497K|     2   (0)| 00:00:01 |       |       |  Q2,00   | PCWP |            |
|  15 |       PX BLOCK ITERATOR        |                             | 17550 |   411K|     2   (0)| 00:00:01 |       |       |  Q2,00   | PCWC |            |
|  16 |        TABLE ACCESS FULL       | SYS_TEMP_0FD9D6626_4A53712A | 17550 |   411K|     2   (0)| 00:00:01 |       |       |  Q2,00   | PCWP |            |
|  17 |   PX COORDINATOR               |                             |       |       |            |          |       |       |          |      |            |
|  18 |    PX SEND QC (ORDER)          | :TQ30005                    |  3692 |   118K|    13  (39)| 00:00:01 |       |       |  Q3,05   | P->S | QC (ORDER) |
|  19 |     SORT ORDER BY              |                             |  3692 |   118K|    13  (39)| 00:00:01 |       |       |  Q3,05   | PCWP |            |
|  20 |      PX RECEIVE                |                             |  3692 |   118K|    12  (34)| 00:00:01 |       |       |  Q3,05   | PCWP |            |
|  21 |       PX SEND RANGE            | :TQ30004                    |  3692 |   118K|    12  (34)| 00:00:01 |       |       |  Q3,04   | P->P | RANGE      |
|  22 |        BUFFER SORT             |                             |  3692 |   118K|            |          |       |       |  Q3,04   | PCWP |            |
|  23 |     VIEW                       |                             |  3692 |   118K|    12  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  24 |      UNION-ALL                 |                             |       |       |            |          |       |       |  Q3,04   | PCWP |            |
|  25 |       HASH GROUP BY            |                             |  2758 | 68950 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  26 |        PX RECEIVE              |                             |  2758 | 68950 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  27 |         PX SEND HASH           | :TQ30000                    |  2758 | 68950 |     3  (34)| 00:00:01 |       |       |  Q3,00   | P->P | HASH       |
|  28 |          HASH GROUP BY         |                             |  2758 | 68950 |     3  (34)| 00:00:01 |       |       |  Q3,00   | PCWP |            |
|  29 |           VIEW                 |                             | 17550 |   428K|     2   (0)| 00:00:01 |       |       |  Q3,00   | PCWP |            |
|  30 |            PX BLOCK ITERATOR   |                             | 17550 |   497K|     2   (0)| 00:00:01 |       |       |  Q3,00   | PCWC |            |
|  31 |         TABLE ACCESS FULL      | SYS_TEMP_0FD9D6627_4A53712A | 17550 |   497K|     2   (0)| 00:00:01 |       |       |  Q3,00   | PCWP |            |
|  32 |       HASH GROUP BY            |                             |   920 | 20240 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  33 |        PX RECEIVE              |                             |   920 | 20240 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  34 |         PX SEND HASH           | :TQ30001                    |   920 | 20240 |     3  (34)| 00:00:01 |       |       |  Q3,01   | P->P | HASH       |
|  35 |          HASH GROUP BY         |                             |   920 | 20240 |     3  (34)| 00:00:01 |       |       |  Q3,01   | PCWP |            |
|  36 |           VIEW                 |                             | 17550 |   377K|     2   (0)| 00:00:01 |       |       |  Q3,01   | PCWP |            |
|  37 |            PX BLOCK ITERATOR   |                             | 17550 |   497K|     2   (0)| 00:00:01 |       |       |  Q3,01   | PCWC |            |
|  38 |         TABLE ACCESS FULL      | SYS_TEMP_0FD9D6627_4A53712A | 17550 |   497K|     2   (0)| 00:00:01 |       |       |  Q3,01   | PCWP |            |
|  39 |       HASH GROUP BY            |                             |    13 |   260 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  40 |        PX RECEIVE              |                             |    13 |   260 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  41 |         PX SEND HASH           | :TQ30002                    |    13 |   260 |     3  (34)| 00:00:01 |       |       |  Q3,02   | P->P | HASH       |
|  42 |          HASH GROUP BY         |                             |    13 |   260 |     3  (34)| 00:00:01 |       |       |  Q3,02   | PCWP |            |
|  43 |           VIEW                 |                             | 17550 |   342K|     2   (0)| 00:00:01 |       |       |  Q3,02   | PCWP |            |
|  44 |            PX BLOCK ITERATOR   |                             | 17550 |   411K|     2   (0)| 00:00:01 |       |       |  Q3,02   | PCWC |            |
|  45 |         TABLE ACCESS FULL      | SYS_TEMP_0FD9D6626_4A53712A | 17550 |   411K|     2   (0)| 00:00:01 |       |       |  Q3,02   | PCWP |            |
|  46 |       HASH GROUP BY            |                             |     1 |    17 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  47 |        PX RECEIVE              |                             |     1 |    17 |     3  (34)| 00:00:01 |       |       |  Q3,04   | PCWP |            |
|  48 |         PX SEND HASH           | :TQ30003                    |     1 |    17 |     3  (34)| 00:00:01 |       |       |  Q3,03   | P->P | HASH       |
|  49 |          HASH GROUP BY         |                             |     1 |    17 |     3  (34)| 00:00:01 |       |       |  Q3,03   | PCWP |            |
|  50 |           VIEW                 |                             | 17550 |   291K|     2   (0)| 00:00:01 |       |       |  Q3,03   | PCWP |            |
|  51 |            PX BLOCK ITERATOR   |                             | 17550 |   411K|     2   (0)| 00:00:01 |       |       |  Q3,03   | PCWC |            |
|  52 |         TABLE ACCESS FULL      | SYS_TEMP_0FD9D6626_4A53712A | 17550 |   411K|     2   (0)| 00:00:01 |       |       |  Q3,03   | PCWP |            |
-------------------------------------------------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

  10 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101' AND
          "STARTING_DATE">='20110101')
  14 - filter("MONTH">='201101' AND "MONTH"<='201103' AND "SHOP_CODE"='1000')

Note
-----
   - automatic DOP: Computed Degree of Parallelism is 16


統計
----------------------------------------------------------
    348  recursive calls
   5435  db block gets
 318993  consistent gets
 309118  physical reads
 310176  redo size
    875  bytes sent via SQL*Net to client
    519  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
     33  sorts (memory)
      0  sorts (disk)
      8  rows processed

04:31:33 SCOTT> 

パラレルクエリの話は一旦横に置いといて（月単位のレンジパーティションならもっと良い結果がでそうですがそれはまた別途ということで…

WITH句以外にもGROUPING SETも効果がありそうではあります。次回は、それらを試して結果を比較してみようかと…。

つづく。

---

これまでのあらずじ…

・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #1
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #2
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #3
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #4

いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #4

前回のつづきです。

このクエリ、前回、大人の事情縛りでチューニング対象だったクエリがアクセスしている表と同じ表を、またまた残念な方法でアクセスしています。ボスキャラ登場って感じですw

いくら最近のオプティマイザが賢くても、勿体ないお化けを絵に描いたようなクエリじゃ最適化なんてできねっす。しかもパーティションタイプは前回の通り、starting_date列でハッシュパーティションorz.
かつ、検索範囲は、全店舗（１３００店）、全品目（１４０品目）の３６５日分の３ヶ月分、つまり、全データの１/４を検索するサブクエリが２つ、索引をうまく使えばよさげなタイプのサブクエリが２つunion allで統合されています。

前回のクエリのようにファンクション索引でなんとかできるような相手ではありません。しかも読みにくいw

  1  SELECT
  2      month
  3      ,shop_code
  4      ,sales_figure
  5  FROM
  6  (
  7     SELECT
  8         SUBSTR(starting_date,1,6) AS month
  9         ,shop_code
 10         ,SUM(sales_figure) AS sales_figure
 11     FROM
 12         test2
 13     WHERE
 14         starting_date BETWEEN '20110101' AND '20110331'
 15     AND shop_code = '1000'
 16     GROUP BY
 17         SUBSTR(starting_date,1,6)
 18         ,shop_code
 19     UNION ALL
 20     SELECT
 21         CASE
 22             WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 23             WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 24             WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 25             WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 26         END AS month
 27         ,shop_code
 28         ,SUM(sales_figure) AS salles_figure
 29     FROM
 30         test2
 31     WHERE
 32         starting_date BETWEEN '20110101' AND '20110331'
 33     AND shop_code = '1000'
 34     GROUP BY
 35         CASE
 36             WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 37             WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 38             WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 39             WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 40         END
 41         ,shop_code
 42     UNION ALL
 43     SELECT
 44         SUBSTR(starting_date,1,6) AS month
 45         ,'ALL ' AS shop_code
 46         ,SUM(sales_figure) AS sales_figure
 47     FROM
 48         test2
 49     WHERE
 50         starting_date BETWEEN '20110101' AND '20110331'
 51     GROUP BY
 52         SUBSTR(starting_date,1,6)
 53     UNION ALL
 54     SELECT
 55         CASE
 56             WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 57             WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 58             WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 59             WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 60         END AS month
 61         ,'ALL ' AS shop_code
 62         ,SUM(sales_figure) AS salles_figure
 63     FROM
 64         test2
 65     WHERE
 66         starting_date BETWEEN '20110101' AND '20110331'
 67     GROUP BY
 68         CASE
 69             WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 70             WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 71             WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 72             WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 73         END
 74  )
 75  ORDER BY
 76      month
 77*     ,shop_code

8行が選択されました。

経過: 00:00:21.24

実行計画
----------------------------------------------------------
Plan hash value: 1427824965

-------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name     | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |          |   143 |  4719 |   205K  (2)| 00:41:05 |       |       |
|   1 |  SORT ORDER BY                         |          |   143 |  4719 |   205K  (2)| 00:41:05 |       |       |
|   2 |   VIEW                                 |          |   143 |  4719 |   205K  (2)| 00:41:05 |       |       |
|   3 |    UNION-ALL                           |          |       |       |            |          |       |       |
|   4 |     HASH GROUP BY                      |          |     3 |    72 | 19054   (1)| 00:03:49 |       |       |
|   5 |      TABLE ACCESS BY GLOBAL INDEX ROWID| TEST2    |  2675 | 64200 | 19053   (1)| 00:03:49 | ROWID | ROWID |
|*  6 |       INDEX SKIP SCAN                  | PK_TEST2 | 11266 |       | 11197   (1)| 00:02:15 |       |       |
|   7 |     HASH GROUP BY                      |          |    57 |   969 | 19054   (1)| 00:03:49 |       |       |
|   8 |      TABLE ACCESS BY GLOBAL INDEX ROWID| TEST2    |  2675 | 45475 | 19053   (1)| 00:03:49 | ROWID | ROWID |
|*  9 |       INDEX SKIP SCAN                  | PK_TEST2 | 11266 |       | 11197   (1)| 00:02:15 |       |       |
|  10 |     HASH GROUP BY                      |          |     3 |    57 | 83623   (2)| 00:16:44 |       |       |
|  11 |      PARTITION HASH ALL                |          |  3477K|    63M| 83515   (2)| 00:16:43 |     1 |     4 |
|* 12 |       TABLE ACCESS FULL                | TEST2    |  3477K|    63M| 83515   (2)| 00:16:43 |     1 |     4 |
|  13 |     HASH GROUP BY                      |          |    80 |   960 | 83623   (2)| 00:16:44 |       |       |
|  14 |      PARTITION HASH ALL                |          |  3477K|    39M| 83515   (2)| 00:16:43 |     1 |     4 |
|* 15 |       TABLE ACCESS FULL                | TEST2    |  3477K|    39M| 83515   (2)| 00:16:43 |     1 |     4 |
-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id): 
--------------------------------------------------- 

   6 - access("STARTING_DATE">='20110101' AND "SHOP_CODE"='1000' AND "STARTING_DATE"<='20110331') 
       filter("SHOP_CODE"='1000' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
              SUBSTR("STARTING_DATE",1,6)>='201101')  
   9 - access("STARTING_DATE">='20110101' AND "SHOP_CODE"='1000' AND "STARTING_DATE"<='20110331') 
       filter("SHOP_CODE"='1000' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND 
              SUBSTR("STARTING_DATE",1,6)>='201101')
  12 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
              SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
  15 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
              SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')


統計
---------------------------------------------------------- 
          1  recursive calls
          0  db block gets 
     632952  consistent gets
     605112  physical reads 
          0  redo size 
        875  bytes sent via SQL*Net to client 
        520  bytes received via SQL*Net from client
          2  SQL*Net roundtrips to/from client 
          1  sorts (memory) 
          0  sorts (disk) 
          8  rows processed 


12:51:25 SCOTT> 

この結果をみたら残念な感じが確実になりましたよね.

まあ、あせらずじっくり、料理してみましょう。

PK_TEST2は主キー索引ですが、列の順番がイケてません。SHOP_CODE,ITEM_CODE,STARTING_DATEって変えたほうが良さげ

12:50:03 SCOTT> 
12:47:30 SCOTT> select index_name,column_name from user_ind_columns where table_name like '%TEST2%' order by index_name,column_position

INDEX_NAME                     COLUMN_NAME
------------------------------ ------------------------------
IX1_TEST2                      SYS_NC00005$

INDEX_NAME                     COLUMN_NAME
------------------------------ ------------------------------
PK_TEST2                       STARTING_DATE
                               ITEM_CODE
                               SHOP_CODE

12:24:03 SCOTT> select segment_name,partition_name,blocks from user_segments where segment_name like '%TEST2%'

SEGMENT_NAME                   PARTITION_NAME                     BLOCKS
------------------------------ ------------------------------ ----------
IX1_TEST2                      TEST2IX11                           37888
IX1_TEST2                      TEST2IX12                           45056
IX1_TEST2                      TEST2IX13                           41984
IX1_TEST2                      TEST2IX14                           46080
PK_TEST2                                                          368640
TEST2                          TEST201                             66560
TEST2                          TEST202                             80896
TEST2                          TEST203                             74752
TEST2                          TEST204                             82944

9行が選択されました。

経過: 00:00:00.01

主キーをローカル索引かつ列順を変えて作り直し。
（検索パターンも考慮しましたが影響は少なかったので、カーディナリティの高い順というB*Tree索引設計の基本みたいな順序で作り直してます。。）

第一回目の冒頭でも書きましたが、shot_code(1300店）、starting_date（365日）、item_code(140品目)ってことなので (nologgingなのは気にしないでねー）

13:36:12 SCOTT> alter table test2 add constraint pk_test2 primary key (shop_code,starting_date,item_code) using index local
13:38:07   2  (
13:38:08   3      partition pk_test2_1 tablespace tsi001,
13:38:36   4      partition pk_test2_2 tablespace tsi002,
13:38:45   5      partition pk_test2_3 tablespace tsi003,
13:38:55   6      partition pk_test2_4 tablespace tsi004
13:39:06   7  ) nologging;

表が変更されました。

できあがあったセグメントサイズを見るとグローバル索引かつ、starting_date,item_code,shop_codeって並びの時より40,000ブロックですが、索引サイズは縮小しています。

13:53:29 SCOTT> select segment_name,partition_name,blocks from user_segments where segment_name like '%TEST2%'

SEGMENT_NAME                   PARTITION_NAME                 BLOCKS
------------------------------ ------------------------------ ----------
IX1_TEST2                      TEST2IX11                           37888
IX1_TEST2                      TEST2IX12                           45056
IX1_TEST2                      TEST2IX13                           41984
IX1_TEST2                      TEST2IX14                            6080
PK_TEST2                       PK_TEST2_1                          71680
PK_TEST2                       PK_TEST2_2                          87040
PK_TEST2                       PK_TEST2_3                          79872
PK_TEST2                       PK_TEST2_4                          89088
TEST2                          TEST201                             66560
TEST2                          TEST202                             80896
TEST2                          TEST203                             74752
TEST2                          TEST204                             82944

12行が選択されました。

主キーを作り直しただけですが、同じクエリの結果が変わるか確認してみます。索引の調整で約30,000ブロック程、節約できましたが処理時間、総アクセスブロック数とも、あまり改善していません。
（30,000ブロック程節約できたわけですが〜もとが大きいのでこの程度では焼け石に水状態です＞＜）

経過: 00:00:21.02

実行計画
----------------------------------------------------------
Plan hash value: 1898009794

-------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name       | Rows  | Bytes | Cost (%CPU)| Time     |Pstart|Pstop |
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   1 |  SORT ORDER BY                         |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   2 |   VIEW                                 |            |    22 |   726 |   166K  (2)| 00:33:18 |      |      |
|   3 |    UNION-ALL                           |            |       |       |            |          |      |      |
|   4 |     HASH GROUP BY                      |            |    3  |    72 |    43   (3)| 00:00:01 |      |      |
|   5 |      PARTITION HASH ALL                |            |   303 |  7272 |    42   (0)| 00:00:01 |    1 |    4 |
|   6 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST2      |   303 |  7272 |    42   (0)| 00:00:01 |    1 |    4 |
|*  7 |        INDEX RANGE SCAN                | PK_TEST2   |   303 |       |    19   (0)| 00:00:01 |    1 |    4 |
|   8 |     HASH GROUP BY                      |            |    7  |   119 |    43   (3)| 00:00:01 |      |      |
|   9 |      PARTITION HASH ALL                |            |   303 |  5151 |    42   (0)| 00:00:01 |    1 |    4 |
|  10 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST2      |   303 |  5151 |    42   (0)| 00:00:01 |    1 |    4 |
|* 11 |        INDEX RANGE SCAN                | PK_TEST2   |   303 |       |    19   (0)| 00:00:01 |    1 |    4 |
|  12 |     HASH GROUP BY                      |            |    3  |    57 | 83172   (2)| 00:16:39 |      |      |
|  13 |      PARTITION HASH ALL                |            |   394K|  7316K| 83161   (2)| 00:16:38 |    1 |    4 |
|* 14 |       TABLE ACCESS FULL                | TEST2      |   394K|  7316K| 83161   (2)| 00:16:38 |    1 |    4 |
|  15 |     HASH GROUP BY                      |            |    9  |   108 | 83172   (2)| 00:16:39 |      |      |
|  16 |      PARTITION HASH ALL                |            |   394K|  4621K| 83161   (2)| 00:16:38 |    1 |    4 |
|* 17 |       TABLE ACCESS FULL                | TEST2      |   394K|  4621K| 83161   (2)| 00:16:38 |    1 |    4 |
-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   7 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
       filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  11 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
       filter(SUBSTR("STARTING_DATE",1,6)<='201103' AND SUBSTR("STARTING_DATE",1,6)>='201101')
  14 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')
  17 - filter("STARTING_DATE"<='20110331' AND SUBSTR("STARTING_DATE",1,6)<='201103' AND
          SUBSTR("STARTING_DATE",1,6)>='201101' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      1  recursive calls
      0  db block gets
 606978  consistent gets
 605112  physical reads
      0  redo size
    875  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

15:31:33 SCOTT>

ちなみに同じ対策を月単位のレンジパーティション表で行うとどうなるんでしょ。
比較のために確認しておきます。（大人の事情でパーティションタイプの変更は不可なのですが、悔しいので比較データだけは見せつけておきたいとwww)

まずは、主キーの並びはstarting_date,item_code,shop_codeという順の複合主キーかつローカル索引で作成した場合です。（オリジナルと同じ列順の複合主キーの場合）

14:30:16 SCOTT> select index_name,column_name from user_ind_columns where table_name like '%TEST3' order by index_name,column_position;

INDEX_NAME                     COLUMN_NAME
------------------------------ ------------------------------
PK_TEST3                       STARTING_DATE
                               ITEM_CODE
                               SHOP_CODE

以下のクエリ、表が月単位のレンジパーティションかつローカル索引の主キー制約ががあるという点だけが異なりますが、アクセスしているブロック数は１／３以下になります。
まったく同じクエリなのに、１／３のアクセスブロック数ですむんですよ〜〜〜〜〜〜〜。　;)

  1  SELECT
  2      month
  3      ,shop_code
  4      ,sales_figure
  5  FROM
  6  (
  7      SELECT
  8             SUBSTR(starting_date,1,6) AS month
  9             ,shop_code
 10             ,SUM(sales_figure) AS sales_figure
 11      FROM
 12             test3
 13      WHERE
 14             starting_date BETWEEN '20110101' AND '20110331'
 15          AND shop_code = '1000'
 16      GROUP BY
 17             SUBSTR(starting_date,1,6)
 18          ,shop_code
 19      UNION ALL
 20      SELECT
 21          CASE
 22              WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 23              WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 24              WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 25              WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 26          END AS month
 27          ,shop_code
 28          ,SUM(sales_figure) AS salles_figure
 29      FROM
 30          test3
 31         WHERE
 32             starting_date BETWEEN '20110101' AND '20110331'
 33          AND shop_code = '1000'
 34         GROUP BY
 35          CASE
 36                 WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 37                 WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 38                 WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 39                 WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 40             END
 41             ,shop_code
 42      UNION ALL
 43      SELECT
 44          SUBSTR(starting_date,1,6) AS month
 45          ,'ALL ' AS shop_code
 46          ,SUM(sales_figure) AS sales_figure
 47      FROM
 48          test3
 49      WHERE
 50          starting_date BETWEEN '20110101' AND '20110331'
 51      GROUP BY
 52          SUBSTR(starting_date,1,6)
 53      UNION ALL
 54      SELECT
 55           CASE
 56            　　　WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 57  　　　　　　　　　WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 58                 WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 59                 WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 60           END AS month
 61           ,'ALL ' AS shop_code
 62           ,SUM(sales_figure) AS salles_figure
 63      FROM
 64             test3
 65      WHERE
 66             starting_date BETWEEN '20110101' AND '20110331'
 67      GROUP BY
 68          CASE
 69                　WHEN SUBSTR(starting_date,5,2) BETWEEN '04' AND '06' THEN 'Q1'
 70                　WHEN SUBSTR(starting_date,5,2) BETWEEN '07' AND '09' THEN 'Q2'
 71                　WHEN SUBSTR(starting_date,5,2) BETWEEN '10' AND '12' THEN 'Q3'
 72                　WHEN SUBSTR(starting_date,5,2) BETWEEN '01' AND '03' THEN 'Q4'
 73          END
 74  )
 75  ORDER BY
 76      month
 77*     ,shop_code

8行が選択されました。

経過: 00:00:15.76

実行計画
----------------------------------------------------------
Plan hash value: 1644220277

-------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name       | Rows  | Bytes | Cost (%CPU)| Time     |Pstart|Pstop |
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |            |   280 |  9240 | 82645   (3)| 00:16:32 |      |      |
|   1 |  SORT ORDER BY                         |            |   280 |  9240 | 82645   (3)| 00:16:32 |      |      |
|   2 |   VIEW                                 |            |   280 |  9240 | 82644   (3)| 00:16:32 |      |      |
|   3 |    UNION-ALL                           |            |       |       |            |          |      |      |
|   4 |     HASH GROUP BY                      |            |    58 |   986 | 20192   (1)| 00:04:03 |      |      |
|   5 |      PARTITION RANGE ITERATOR          |            | 11467 |   190K| 20191   (1)| 00:04:03 |    1 |    3 |
|   6 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST3      | 11467 |   190K| 20191   (1)| 00:04:03 |    1 |    3 |
|*  7 |        INDEX SKIP SCAN                 | PK_TEST3   |  2783 |       | 11867   (1)| 00:02:23 |    1 |    3 |
|   8 |     HASH GROUP BY                      |            |    58 |   986 | 20192   (1)| 00:04:03 |      |      |
|   9 |      PARTITION RANGE ITERATOR          |            | 11467 |   190K| 20191   (1)| 00:04:03 |    1 |    3 |
|  10 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST3      | 11467 |   190K| 20191   (1)| 00:04:03 |    1 |    3 |
|* 11 |        INDEX SKIP SCAN                 | PK_TEST3   |  2783 |       | 11867   (1)| 00:02:23 |    1 |    3 |
|  12 |     HASH GROUP BY                      |            |    82 |   984 | 21130   (4)| 00:04:14 |      |      |
|  13 |      PARTITION RANGE ITERATOR          |            |    14M|   170M| 20627   (2)| 00:04:08 |    1 |    3 |
|* 14 |       TABLE ACCESS FULL                | TEST3      |    14M|   170M| 20627   (2)| 00:04:08 |    1 |    3 |
|  15 |     HASH GROUP BY                      |            |    82 |   984 | 21130   (4)| 00:04:14 |      |      |
|  16 |      PARTITION RANGE ITERATOR          |            |    14M|   170M| 20627   (2)| 00:04:08 |    1 |    3 |
|* 17 |       TABLE ACCESS FULL                | TEST3      |    14M|   170M| 20627   (2)| 00:04:08 |    1 |    3 |
-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   7 - access("STARTING_DATE">='20110101' AND "SHOP_CODE"='1000' AND "STARTING_DATE"<='20110331')
       filter("SHOP_CODE"='1000')
  11 - access("STARTING_DATE">='20110101' AND "SHOP_CODE"='1000' AND "STARTING_DATE"<='20110331')
       filter("SHOP_CODE"='1000')
  14 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101')
  17 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
 175722  consistent gets
 101132  physical reads
      0  redo size
    875  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

この月単位レンジパーティションの索引も列順を入れ替えて作り直してみます。consistent getsが索引を作り変えてRANGE SCANできるようにしただけで約25,000ブロック減りました。

経過: 00:00:15.56

実行計画
----------------------------------------------------------
Plan hash value: 3744550400

-------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name       | Rows  | Bytes | Cost (%CPU)| Time     |Pstart|Pstop |
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |            |   302 |  9966 | 44244   (4)| 00:08:51 |      |      |
|   1 |  SORT ORDER BY                         |            |   302 |  9966 | 44244   (4)| 00:08:51 |      |      |
|   2 |   VIEW                                 |            |   302 |  9966 | 44243   (4)| 00:08:51 |      |      |
|   3 |    UNION-ALL                           |            |       |       |            |          |      |      |
|   4 |     HASH GROUP BY                      |            |    63 |  1071 |   951   (1)| 00:00:12 |      |      |
|   5 |      PARTITION RANGE ITERATOR          |            | 12188 |   202K|   949   (0)| 00:00:12 |    1 |    3 |
|   6 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST3      | 12188 |   202K|   949   (0)| 00:00:12 |    1 |    3 |
|*  7 |        INDEX RANGE SCAN                | PK_TEST3   |  2958 |       |    66   (0)| 00:00:01 |    1 |    3 |
|   8 |     HASH GROUP BY                      |            |    63 |  1071 |   951   (1)| 00:00:12 |      |      |
|   9 |      PARTITION RANGE ITERATOR          |            | 12188 |   202K|   949   (0)| 00:00:12 |    1 |    3 |
|  10 |       TABLE ACCESS BY LOCAL INDEX ROWID| TEST3      | 12188 |   202K|   949   (0)| 00:00:12 |    1 |    3 |
|* 11 |        INDEX RANGE SCAN                | PK_TEST3   |  2958 |       |    66   (0)| 00:00:01 |    1 |    3 |
|  12 |     HASH GROUP BY                      |            |    88 |  1056 | 21171   (4)| 00:04:15 |      |      |
|  13 |      PARTITION RANGE ITERATOR          |            |    15M|   182M| 20630   (2)| 00:04:08 |    1 |    3 |
|* 14 |       TABLE ACCESS FULL                | TEST3      |    15M|   182M| 20630   (2)| 00:04:08 |    1 |    3 |
|  15 |     HASH GROUP BY                      |            |    88 |  1056 | 21171   (4)| 00:04:15 |      |      |
|  16 |      PARTITION RANGE ITERATOR          |            |    15M|   182M| 20630   (2)| 00:04:08 |    1 |    3 |
|* 17 |       TABLE ACCESS FULL                | TEST3      |    15M|   182M| 20630   (2)| 00:04:08 |    1 |    3 |
-------------------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   7 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
  11 - access("SHOP_CODE"='1000' AND "STARTING_DATE">='20110101' AND "STARTING_DATE"<='20110331')
  14 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101')
  17 - filter("STARTING_DATE"<='20110331' AND "STARTING_DATE">='20110101')


統計
----------------------------------------------------------
      0  recursive calls
      0  db block gets
 149728  consistent gets
 101132  physical reads
      0  redo size
    875  bytes sent via SQL*Net to client
    520  bytes received via SQL*Net from client
      2  SQL*Net roundtrips to/from client
      1  sorts (memory)
      0  sorts (disk)
      8  rows processed

パーティションタイプの選択ミスってほんとに痛い結果になりますよね。初期段階のというかパーティションタイプ毎の得意技は把握しておくべきですよー。

ということで次回本格的なチューニングへと、つづく…

---

これまでのあらずじ…

・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #1
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #2
・いろいろと面倒くさい大人の事情縛りのOracleパフォーマンスチューニング #3

shutdown immeidateしない、ほかの理由に遭遇！ おまけのおまけ（でた〜最近、よくあるパターンw）

さて、前回のおまけで終了〜。　のつもりだったがリスナー経由の時は問題ないな〜と気づいて気が変わり。おまけのおまけとなりましたw

前回まではBEQで繋いでたな〜、と思ってリスナー経由の専用サーバー接続で同じことを試してみたらshutdown immeidateが待機させられない事に気づいた。

お〜〜〜〜っ。oracleのサーバープロセスがdefunctのにならないっつーことは…

ということで、早速試してみた。

※１つめの端末でSQL*Plusを起動してOracleをスタートアップ（なお事前にリスナーは起動済みです）

[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:10:11 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:10:11 > conn / as sysdba
接続されました。
23:21:54 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area 1603411968 bytes
Fixed Size                  2160112 bytes
Variable Size             436210192 bytes
Database Buffers         1157627904 bytes
Redo Buffers                7413760 bytes
データベースがマウントされました。
データベースがオープンされました。
23:22:04 SYS> 

※２つめの端末でSQL*Plusを起動してリスナー経由（この例では専用サーバー接続）でOracleへ接続後、host command(!)でshellへ入っておく。

[oracle@lampeye ˜]$ 
[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:22:45 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:22:45 > conn scott/tiger@lampeye
接続されました。
23:22:53 SCOTT> !
[oracle@lampeye ˜]$ 

※この状態で、プロセスツリーをチェックしてみると…Bequeath Protocol接続の時は、PID=5398の子プロセスとしてOracleのサーバープロセスがforkされていたのに、居ないのよ…

[oracle@lampeye ˜]$ ps -ef | grep gnome-terminal
oracle    4976     1  0 23:08 ?        00:00:01 gnome-terminal
oracle    5440  5031  0 23:23 pts/3    00:00:00 grep gnome-terminal
[oracle@lampeye ˜]$ 
[oracle@lampeye ˜]$ pstree -p 4976 -ual 
gnome-terminal,4976,oracle
  ├─bash,4982
  │   └─sqlplus,5154       
  │       └─oracle,5376 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
  ├─bash,5007
  │   └─sqlplus,5398       
  │       └─bash,5413
  ├─bash,5031
  │   └─pstree,5441 -p 4976 -ual
  ├─bash,5161
  ├─gnome-pty-helpe,4981
  └─{gnome-terminal},4983
[oracle@lampeye ˜]$ 

※じゃ、どこに行ったのよ…と、調べてみると…リスナー経由だとサーバープロセスの親プロセスはINIT

23:29:17 SYS> select s.username,p.username,p.spid from v$process p join v$session s on p.addr = s.paddr where s.username='SCOTT'

USERNAME                       USERNAME        SPID
------------------------------ --------------- ------------------------
SCOTT                          oracle          5400

経過: 00:00:00.01
23:29:18 SYS> 

[oracle@lampeye ˜]$ ps -f -p 5400
UID        PID  PPID  C STIME TTY          TIME CMD
oracle    5400     1  0 23:22 ?        00:00:00 oraclelampeye (LOCAL=NO)
[oracle@lampeye ˜]$ 

※これならshutdown immeidateは待たされずに実行される！

23:35:22 SYS> 
23:35:22 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
23:35:33 SYS> 

ということは、SQL*PlusからBequeath Protocol接続の場合、host commandでshellへ入ったままにしているとshutdown immeidateが待機させられるのな…

じゃ、sqlnet.ora　に　BEQUEATH_DETACH=yes　を設定すれば回避できそーな気がする
Oracle Database Net Servicesリファレンス 11g リリース1（11.1）- 5.2.1 BEQUEATH_DETACH

早速、検証…

sqlnet.oraにBEQUEATH_DETACH=yesを追記。

[oracle@lampeye ˜]$ 
[oracle@lampeye ˜]$ cat  $ORACLE_HOME/network/admin/sqlnet.ora
# sqlnet.ora Network Configuration File: /opt/u01/app/oracle/product/11.1.0/db_1/network/admin/sqlnet.ora
# Generated by Oracle configuration tools.

NAMES.DIRECTORY_PATH= (TNSNAMES, EZCONNECT)
BEQUEATH_DETACH=yes

[oracle@lampeye ˜]$ 

※１つめの端末でSQL*Plusを起動し、Oracleをstartup…

[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:39:14 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:39:14 > conn / as sysdba
アイドル・インスタンスに接続しました。
23:39:17 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area 1603411968 bytes
Fixed Size                  2160112 bytes
Variable Size             436210192 bytes
Database Buffers         1157627904 bytes
Redo Buffers                7413760 bytes
データベースがマウントされました。
データベースがオープンされました。
23:39:26 SYS> 

※２つめの端末でSQL*Plusを起動、BEQ接続でSCOTTユーザへ接続後、host command(!)でshellへ入っておく…

[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:39:39 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:39:39 > conn scott/tiger
接続されました。
23:39:45 SCOTT> !
[oracle@lampeye ˜]$ 

※この状態でプロセスツリーを見てみると…お〜〜〜、SQL*Plusの子プロセスではなくなっている…

[oracle@lampeye ˜]$ pstree -p 4976 -ual 
gnome-terminal,4976,oracle
  ├─bash,4982
  │   └─sqlplus,5596       
  ├─bash,5007
  │   └─sqlplus,5664       
  │       └─bash,5686
  ├─bash,5031
  │   └─pstree,5711 -p 4976 -ual
  ├─bash,5161
  ├─gnome-pty-helpe,4981
  └─{gnome-terminal},4983
[oracle@lampeye ˜]$ 

※じゃ〜、どこの子になっちゃったのか調べてみましょう…

23:41:08 SYS> select s.username,p.username,p.spid from v$process p join v$session s on p.addr = s.paddr where s.username IN ('SYS','SCOTT');

USERNAME                       USERNAME        SPID
------------------------------ --------------- ------------------------
SYS                            oracle          5685
SCOTT                          oracle          5666

経過: 00:00:00.03
23:41:40 SYS> 

お〜、やはり、SQL*Plusの子じゃなくて、INITの養子となってしまったようですw

[oracle@lampeye ˜]$ ps -f -p 5685 5666
UID        PID  PPID  C STIME TTY      STAT   TIME CMD
oracle    5666     1  0 23:39 ?        Ss     0:00 oraclelampeye (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
oracle    5685     1  0 23:40 ?        Ss     0:00 oraclelampeye (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
[oracle@lampeye ˜]$ 

これなら、shutdown immeidateも待たされないでしょうね :)

23:42:52 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
23:43:07 SYS> 

immeidateしない、ほかの理由に遭遇！　ネタはこれで、ほんとにほんとのおしまい :)

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！ おまけ

前回までで状況も把握できたし、そうなった場合の回避策も見えたのですが、子プロセスの生成とかdefunctなゾンピ君の刈り取りってどーなってんだろーと気になり…

子プロセスの生成を状況を以下の順で見てみる…

1. shellに入っただけ
2. SQL*Plus起動
3. SCOTTユーザへ接続
4. host command(!)でshellへ入る

shellに入っただけ

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ ps -e -u oracle | grep gnome-terminal
 3337 ?        00:00:09 gnome-terminal
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)
                            ├─bash(3737)───pstree(4063)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)

SQL*Plus起動

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 木 2月 10 14:54:44 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

14:54:44 > 

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)───sqlplus(4064)
                            ├─bash(3737)───pstree(4066)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)

SCOTTユーザへ接続

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 木 2月 10 14:54:44 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

14:54:44 > conn scott/tiger
接続されました。
14:54:57 SCOTT> 

scottユーザに接続した状態…
このようにSQL*Plusの子プロセスが１つであればshutdown immeidateが待機させられることはないんだけど…ね。

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)───sqlplus(4064)───oracle(4067)
                            ├─bash(3737)───pstree(4068)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)

host command(!)でshellに入った

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 木 2月 10 14:54:44 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

14:54:44 > conn scott/tiger
接続されました。
14:54:57 SCOTT> !
[oracle@pleco ˜]$ 

SQL*Plusからホストコマンド(!)でshellに入った状態…
SQL*Plusの子プロセスが複数でoracle以外のがある状態で、他のSQL*Plusからshutdown immediateを実行されちゃうと、以下にあるpid=4067が<defunct>状態のまま刈り取られない。＝＝＝＞Oracleがshutdown immeidateで停止しない。ってことになるのな。

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)───sqlplus(4064)─┬─bash(4069)
                            │                            └─oracle(4067)
                            ├─bash(3737)───pstree(4093)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 

じゃ、実験！

以下のようにshutdown immeidateが待機させられている状態を作る。赤字（pid=3627)の子プロセスがdefunctつまりゾンビになるわけね。

shutdown immeidateを実行するSQL*Plusとは別にSQL*Plusを起動し、host command(!)でshellに入っておきます…

16:09:28 > conn scott/tiger
接続されました。
16:12:45 SCOTT> !
[oracle@pleco ˜]$ 

[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)─┬─bash(3628)
                            │                            └─oracle(3627)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3672)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)

この状態で、もう一つのSQL*Plusからsysユーザでshutdown immeidateを実行します…shutdown immeidateは待機させられます。
この時、pid=3627の子プロセスはdefunct状態になってますが、刈り取られていません。この影響でshutdown immediateが待機させられています。
SQL*Plusからshellに入っていない場合、つまり、SQL*Plusのプロセス(pid=3493)の子プロセスが１つしかない場合は、shutdown immeidateが待機させられることはない…この辺りに問題がありそうな気がします…

16:12:59 SYS> 
16:12:59 SYS> 
16:13:00 SYS> shutdown immediate

[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)─┬─bash(3628)
                            │                            └─oracle(3627)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3672)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)

試しに親プロセスであるSQL*Plus(pid=3493)にSIGCHLDシグナルを送ってみましょう。

[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
・・・・以下略w・・・・

ん〜〜〜〜〜。ゾンビを刈り取ってくれません＞＜

試しにshellからexitしてみます…

16:09:28 > conn scott/tiger
接続されました。
16:12:45 SCOTT> !
[oracle@pleco ˜]$ exit
exit

16:18:24 SCOTT> 

[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)───oracle(3627)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3673)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)

shellからはexitしました。SQL*Plus(pid=3493)の子プロセスがoracleだけ(pid=3627)のゾンビだけになりました。oracleのゾンビ(pid=3627)が残っているうちはshutdown immeidateは待機させられたままです！　

では、もう一回、親プロセスであるSQL*PlusにSIGCHLDシグナルを送ってみましょう！　今度はうまく行きそうな気がします！

[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3675)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)
[oracle@pleco ˜]$ 

やった〜〜〜〜〜〜 :) SQL*Plus(pid=3493)の子プロセス（pid=3627)のゾンビが見事に刈り取られました！

その瞬間……待機させられていたshutdown immeidateは見事終了！！！！

16:12:59 SYS> 
16:12:59 SYS> 
16:13:00 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
16:18:42 SYS> 

shutdown immeidateしない、ほかの理由に遭遇！ ネタはこれにて :)

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！ #3

もう一つ検証し忘れてた!。

この現象に気づいたとき、SQL*Plusから接続していたユーザがsysユーザや、systemユーザだけだったので、それ以外のユーザで接続している場合は大丈夫なんじゃね？都市伝説の検証…

これまでと同様に２つのSQL*Plusを起動しておきます。

１つめのSQL*Plusでは、sysユーザに接続しておきます…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 07:26:10 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

07:26:10 > conn / as sysdba
接続されました。

２つめのSQL*Plusでは、scottユーザ（sysユーザ、systemユーザ以外の一般ユーザ）に接続し、host command(!)でshellに入ったままにしておきます…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 07:26:23 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

07:26:23 > conn scott/tiger
接続されました。
07:26:29 SCOTT> !
[oracle@leaffish ˜]$ 

では、sysユーザでshutdown immeidateを実行してみます…

07:26:10 > conn / as sysdba
接続されました。
07:26:16 SYS>
07:26:16 SYS> 
07:26:17 SYS> shutdown immediate

お〜〜〜、shutdown immeidateが待機させられています。

「SQL*Plusから接続していたユーザがsysユーザや、systemユーザだけだったので、それ以外のユーザで接続している場合は大丈夫なんじゃね？都市伝説」は都市伝説。
Oracleへ接続するユーザに関係なく、SQL*Plusからhost command(!)でshellに入ったままのセッションがある状態で他のセッションからshutdown immeidateを実行した場合、shutdown immeidateは、shutdown timeoutせずにshutdownを待機し続けるのは事実。

まとめると…

現象：

• shutdown immeidate文を実行したがshutdown timeout（１時間）も発生せずshutdownが待機させれれたままになり停止できない。

発生条件(Updated 16-Feb-2011)：

• Linux/Unix系のOracle11g R2 11.2.0.1.0 （ちなみにそれ以外のリリースでは11.1.0.7.0で同様の現象を確認しています、他のリリースでは未検証。）
• shutdown immeidateを発行するセッション以外に、SQL*Plusからhost command(! はたま host)でshellに入ったままになっているセッションがある場合。かつ、Bequeath ProtocolでOracleへ接続している。

確認ポイント：

• アラートログに　"SHUTDOWN: Active processes prevent shutdown operation"が繰り返される。
• ps -ef | grep ora などでプロセスをみると <defunct>な子プロセスがあり、親プロセスがSQL*Plusである。
• ls -lrt で最後にリストされるトレースファイル（shutdownを実行しているプロセスのトレースファイル）に"ksukia: Attempt <連番?> to re-kill process OS PID=<pid>"のメッセージが繰り返し出力され続ける。

対処(Updated 16-Feb-2011)：

• shutdown aboartするしかない。<defunct>なプロセスの親であるSQL*Plusのプロセスをkill -SIGTERMとか-SIGKILLで終了させる。それでもshutdownが待機しているようなら、最後の手段、shutdown abortということで。
  SQL*Plus起動してる人が連絡取れる場所にいるのならその方にexitしてもらうのもありw
• その他の方法として、sqlnet.oraに、BEQUEATH_DETACH=yes を設定して、サーバープロセスをSQL*Plusの子ではなく、INITの子になってもらう（これがおすすめかも）

現象と回避方法を確認したリリース(Updated 16-Feb-2011)：

• Oracle11g R1 11.1.0.7.0 for Linux (32bit/64bit)
• Oracle11g R1 11.1.0.7.0 for HP-UX(itanium)
• Oracle11g R2 11.2.0.1.0 for Linux (32bit/64bit)
• Oracle11g R2 11.2.0.1.0 for Solaris x86-64

KROWNっぽいまとめ方にしてみました :) (他のUnix系リリースでも作りはおなじでしょうね)

でもさあ、SQL*Plusからホストコマンド、使うんだよね結構。shellに入って、SQL*Plusから入っていたこと忘れて、また、SQL*Plus起動しちゃって…さらにshellに入って…以下繰り返しw。 注意しましょうね。→　自分。

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！ #2

さて、昨日のつづきです。

Oracle11g R2 11.2.0.1.0 for Linux x86 をVirtualBox4.0 for MacOS XのCentOS5.5にインストールしてあります。

昨日は、SQL*Plusの!(host command)でshellへ入っている状態で、かつ、別端末のSQL*plusからshutdown immeidate文を発行してしまうとSQL*Plusのプロセスの子プロセスに<defunct>なプロセスが登場して、shutdown immeidateを待機させてしまうところまでを再現してみました。

今日は、shutdown immediate文を発行するsysユーザ以外のsysユーザがSQL*Plusから接続しているだけでもshutdown immediateを待機させるんじゃないか？疑惑の確認と、shutdown immeidateの待機させるだけじゃなく、shutdown timeoutも抑止しちゃってるよね疑惑などを検鏡検証してみようと思います。

短期遠征先から帰宅している予定だったのによそーーーーー外の１日延泊となってしまった次いでに、VirtuslBox4.0のCentOS5.5のOracle11g R2でたっぷり検証してみましょうw

では、最初に、shutdown immeidateを実行するsysユーザ以外のsysユーザがSQL*Plusから接続しているだけでも実行に他の端末のSQL*Plusでsysユーザが接続しているだけでもshutdown immeidateがを待機させるんじゃないか？疑惑するんじゃね？疑惑の検証から。

まず、SQL*Plusでsysユーザに接続している端末を２つ用意して…

一つめのSQL*Plusで〜す。

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:09:00 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:09:00 > conn / as sysdba
接続されました。
00:09:11 SYS> 
00:09:12 SYS> 
00:09:12 SYS> 

２つめのSQL*Plusで〜す。

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:08:39 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:08:39 > conn / as sysdba
接続されました。
00:08:44 SYS> 
00:08:45 SYS> 
00:08:45 SYS> 

この状態で１つめのSQL*Plusのsysユーザでshutdown immeidate文を実行します…

00:22:43 SYS> 
00:22:43 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
00:22:57 SYS> 

待機させられることなく、shutdown immeidate文が実行されました。Oracle11g R2 11.2.0.1.0 for Linuxでは”疑惑”だけだったようですね。一安心w。他のバージョンだとどうなんだろ＝＞TODO.
（昨日の記事では、systemユーザがSQL*Plusで接続している場合、他の端末のSQL*Plusのsysユーザがshutdown immeidateを実行した場合の検証もしていましたよね。これでshutdown immeidate文を実行するセッション以外にsysユーザやsystemユーザのセッションが存在していてもshutdown immeidateが待機させられることは、すくなくともOracle11g R2 11.2.0.1.0 for Linuxでは発生しないことは確かなようです。）

つづいて、SQL*Plusのhost command(!)からshellへ入ったままのセッションが存在している状態でshutdown immeidate文を別セッションから実行してしまうとshutdown immediateを待機させるだけでなく、shutdown timeoutも妨害してしまい１時間を経過してもハングしたままじゃね疑惑を検証してみたいと思います。

同じように２つのSQL*Plusを起動し、ともにsysユーザで接続して、一方のセッションではhost command (!)でshellへ入ったままにしておきます。

１つめのSQL*Plusです…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:36:01 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:36:01 > conn / as sysdba
接続されました。
00:36:04 SYS> 
00:36:04 SYS> 

２つめのSQL*Plusです〜、こちらはhost commandでshellへ入っておきます。

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:35:51 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:35:51 > conn / as sysdba
接続されました。
00:35:54 SYS> 
00:35:56 SYS> !
[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ 

この状態で１つめのSQL*Plusのセッションからshutdown immeidate文を実行してみます…

00:39:34 SYS> 
00:39:34 SYS> shutdown immediate

見事にshutdown immeidateは待機させられます。すばらし〜。
このまま放置してみます。Oracle10g以降の機能であるshutdown timeoutが働いて１時間程度でshutdownはキャンセルされるはずです。しばしの間、ご歓談くださいませ。:)

・・・・・・・・・中略・・・・・・・・・・・

ながらくお待たせいたしました〜、shutdown immeidateを実行してから２時間以上経過しましたが、shutdown timeoutでshutdownがキャンセルされるどころか、止まる気配すらありません…

以下、アラートログの内容です。

Wed Feb 09 00:39:41 2011
Shutting down instance (immediate)
Stopping background process SMCO
Shutting down instance: further logons disabled
Stopping background process QMNC
Stopping background process MMNL
Stopping background process MMON
License high water mark = 2
All dispatchers and shared servers shutdown
Wed Feb 09 00:44:51 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 00:50:05 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 00:55:20 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:00:36 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:05:48 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:10:57 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:16:12 2011
SHUTDOWN: Active processes prevent shutdown operation

・・・中略・・・

Wed Feb 09 02:28:17 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:33:21 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:38:25 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:43:28 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:48:32 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:53:38 2011
SHUTDOWN: Active processes prevent shutdown operation

ということで、「shutdown immeidateのを待機させるだけじゃなく、shutdown timeoutも抑止しちゃってるよね！疑惑」は、疑惑じゃなくて真実。

次回へつづく。

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！

別途検証して別エントリにする予定だけど（遠征先で時間ないので…）、この状態でshutdown immeidateが待機するとshutdown timeoutしないというのも特徴みたい…

Oracleのバージョンは11g R2 11.2.0.1.0 for Linux (32bit)だけどUnix/Linux系なら発生するよ、きっと。

そういえば、以前こんなエントリ書いてましたっけ「shutdown timeout」

では、早速再現テスト。

まず、SQL*Plusを起動、SYSユーザに接続してOracleインスタンスを起動します…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 00:46:11 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:46:11 > conn / as sysdba
アイドル・インスタンスに接続しました。
00:46:16 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area  422670336 bytes
Fixed Size                  1336960 bytes
Variable Size             373295488 bytes
Database Buffers           41943040 bytes
Redo Buffers                6094848 bytes
データベースがマウントされました。
データベースがオープンされました。
00:47:17 SYS> 

別端末でSQL*Plusを起動してSYSTEMユーザまたはSYSユーザに接続.
(別途詳しく検証する予定だけど、今のところSYSTEM/SYSユーザ以外では発生してないので）

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 00:50:18 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:50:18 > conn system
パスワードを入力してください: 
接続されました。
00:50:23 SYSTEM> 

次にOracleを起動したSQL*PlusのSYSユーザでshutdown immeidateを発行する…

00:51:22 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
00:51:34 SYS> 

この状態だとOracleインスタンスは正常にshutdown immeidateで停止できる。あたりまえだけど。

では、再現テストですよん。

では次のパターンはどうか？

前述した手順と同じく、SYSで接続してOracleインスタンスを起動する…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 00:54:47 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:54:47 > conn / as sysdba
アイドル・インスタンスに接続しました。
00:54:52 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area  422670336 bytes
Fixed Size                  1336960 bytes
Variable Size             373295488 bytes
Database Buffers           41943040 bytes
Redo Buffers                6094848 bytes
データベースがマウントされました。
データベースがオープンされました。
00:55:46 SYS> 

前述した手順と同様に、別端末でSQL*Plusを起動し、SYSTEMユーザ(SYSユーザでもいいよ）へ接続する。
さらに、! (SQL*Plusのhost command）でshellに入っておく…。ここがポイント

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 01:01:42 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

01:01:42 > conn system
パスワードを入力してください: 
接続されました。
01:01:47 SYSTEM> !
[oracle@leaffish ˜]$ 

shutdow immeidateの待機を再現させますよー、Oracleインスタンスを起動したSQL*PlusのSYSユーザでshutdown immeidate文を発行する…

01:03:04 SYS> 
01:03:05 SYS> shutdown immediate

いつまでたってもOracleインスタンスは停止しない。この例では載せていないがマニュアルに記載されているshutdown timeoutも１時間たっても２時間たっても発生しないようだ…（別途検証予定）

アラートログを確認してみると…５分毎に、”SHUTDOWN: Active processes prevent shutdown operation”というログを出力し続けてる…

Tue Feb 08 01:03:07 2011
Shutting down instance (immediate)
Shutting down instance: further logons disabled
Stopping background process QMNC
Stopping background process MMNL
Stopping background process MMON
License high water mark = 2
All dispatchers and shared servers shutdown
Tue Feb 08 01:08:17 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:13:24 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:18:31 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:23:37 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:28:43 2011
SHUTDOWN: Active processes prevent shutdown operation

プロセスのトレースファイルで最新のものでファイルサイズが増えつつけているものがある…
tailでのぞいてみると…

PID=3542のOSプロセスをkillできずにループしているように見える…

[oracle@leaffish trace]$ ll -lrt

・・・中略・・・

-rw-r----- 1 oracle oinstall      61  2月  8 01:00 discus_mman_3483.trm
-rw-r----- 1 oracle oinstall     863  2月  8 01:00 discus_mman_3483.trc
-rw-r----- 1 oracle oinstall      61  2月  8 01:00 discus_dbrm_3477.trm
-rw-r----- 1 oracle oinstall     904  2月  8 01:00 discus_dbrm_3477.trc
-rw-r----- 1 oracle oinstall      45  2月  8 01:01 discus_ora_3539.trm
-rw-r----- 1 oracle oinstall     669  2月  8 01:01 discus_ora_3539.trc
-rw-r----- 1 oracle oinstall  235323  2月  8 01:08 alert_discus.log
-rw-r----- 1 oracle oinstall    6420  2月  8 01:12 discus_ora_3513.trm
-rw-r----- 1 oracle oinstall   60565  2月  8 01:12 discus_ora_3513.trc
[oracle@leaffish trace]$ 
[oracle@leaffish trace]$ tail -f discus_ora_3513.trc
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:15.641
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:16.663
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:17.678
ksukia: Starting kill, flags = 1
ksukia: Attempt 119 to re-kill process OS PID=3542.
ksukia: killed 1 out of 1 processes.

*** 2011-02-08 01:13:18.699
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:19.709
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:20.735
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:21.750
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:22.756
ksukia: Starting kill, flags = 1
ksukia: Attempt 120 to re-kill process OS PID=3542.
ksukia: killed 1 out of 1 processes.

*** 2011-02-08 01:13:23.779
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:24.790
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:25.821
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

[oracle@leaffish trace]$ 

killできないと繰り返しログに吐かれているプロセス　PID=3542とは何者？…
psとpstreeコマンドでみてみると…

SQL*Plusの!(host command)でshellに入る生成されるプロセスらしい…、このプロセスSYSTEMユーザやSYSユーザ以外接続している場合はなぜか今のところ生成されいないように見える…

この<defunct>なプロセスは何屋さん？　shutdown immediateをimmediateじゃない状態にするのは大量のundoデータだけじゃないのね〜＞＜

それもSQL*Plusの!(host command）は便利なので、私も多用していまして、ついつい、SQL*Plusに接続して、!でshellに入って、SQL*Plusから入ったのを忘れてさらに、SQL*Plus起動して、！でshellに入って…なんてことやってしまうことは多々あります。＞＜

これが原因で、shutdown immeidateが待機させられるなんて〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜＞＜。

[oracle@leaffish ˜]$ ps -ef | grep 3542
oracle    3542  3541  0 01:01 ?        00:00:00 [oracle] <defunct>
oracle    3785  3056  0 01:24 pts/5    00:00:00 grep 3542
[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ pstree -up oracle

・・・中略・・・

gnome-terminal(2806)─┬─bash(2812)───sqlplus(3398)───oracle(3513)
                     ├─bash(2909)───tail(3055)
                     ├─bash(2937)
                     ├─bash(3031)───sqlplus(3541)─┬─bash(3543)
                     │                            └─oracle(3542)
                     ├─bash(3056)───pstree(3772)
                     ├─gnome-pty-helpe(2811)
                     └─{gnome-terminal}(2813)

・・・以下略・・・

もう少し検証してみましょう！　

shellからだけexitしてみるも……Oracleはまだ停止しない…

01:01:42 > conn system
パスワードを入力してください: 
接続されました。
01:01:47 SYSTEM> !
[oracle@leaffish ˜]$ exit
exit

01:30:56 SYSTEM> 

じゃ、SQL*Plusからもexitしよう

01:01:42 > conn system
パスワードを入力してください: 
接続されました。
01:01:47 SYSTEM> !
[oracle@leaffish ˜]$ exit
exit

01:30:56 SYSTEM> exit
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing optionsとの接続が切断されました。
[oracle@leaffish ˜]$ 

次の瞬間……

データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
01:32:10 SYS> 

なんだと〜〜〜〜〜〜〜〜。いつからこーなんだー。　怖くてSQL*Plusから!(host command)でshellに入れないじゃないか〜〜〜＞＜

次回へつづく。

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

階層問合せか、再帰問合せか、それが問題だ #3 おまけ

階層問合せと再帰問合せを比較するため条件を合わせるという意味でWITH句を利用したが、階層問合せは、再帰問合せと異なりWITH句は必要ないのも有利ですね。

実行計画こそWITH句を利用した場合と変わりまりませんが、階層問合せではWITH句は必須ではないので、WITH句を利用しない階層問合せとWITH句が必須な再帰問合せでは、今のところ、階層問合せの方がPGAの利用サイズが決定的に少ないものは間違いないですね　:)

WITH句伴わない階層問合せでPGAサイズを見てみると…

SCOTT> r
  1  select
  2  	empno,
  3  	ename,
  4  	job,
  5  	mgr,
  6  	level
  7  from
  8  	emp
  9  start with
 10  	mgr is null
 11  connect by
 12* 	prior empno = mgr

     EMPNO ENAME      JOB	       MGR	LEVEL
---------- ---------- --------- ---------- ----------
      7839 KING       PRESIDENT 		    1
      7566 JONES      MANAGER	      7839	    2
      7788 SCOTT      ANALYST	      7566	    3
      7876 ADAMS      CLERK	      7788	    4
      7902 FORD       ANALYST	      7566	    3
      7369 SMITH      CLERK	      7902	    4
      7698 BLAKE      MANAGER	      7839	    2
      7499 ALLEN      SALESMAN	      7698	    3
      7521 WARD       SALESMAN	      7698	    3
      7654 MARTIN     SALESMAN	      7698	    3
      7844 TURNER     SALESMAN	      7698	    3
      7900 JAMES      CLERK	      7698	    3
      7782 CLARK      MANAGER	      7839	    2
      7934 MILLER     CLERK	      7782	    3

14行が選択されました。

再帰問合せとの差がはっきりでましたね〜 Oracle11g R2では階層問合せでいいかな。再帰問合せはどーゆー場合に有利なんだろ。悩む。

SYS> /

       SID NAME 			       VALUE
---------- ------------------------------ ----------
        66 session pga memory		      672296
        66 session pga memory max	      672296
        66 session uga memory		      246552
        66 session uga memory max	      246552


SYS> /

       SID NAME 			       VALUE
---------- ------------------------------ ----------
        66 session pga memory		      999976
        66 session pga memory max	      999976
        66 session uga memory		      377528
        66 session uga memory max	      377528

SYS> 

---

・階層問合せか、再帰問合せか、それが問題だ
・階層問合せか、再帰問合せか、それが問題だ #2

階層問合せか、再帰問合せか、それが問題だ #2

「階層問合せか、再帰問合せか、それが問題だ」の続きです。
前回、Oracleにかな〜り昔からある階層問合せと11g R2 で登場したSQL99対応の再帰問合せの実行計画の違いを見てみたので、今回はPGAをどのように利用するか確認してみた。

セッションID=66で階層問合せ、セッションID=170で再帰問合せを実行する。
以下、SQL*Plusで接続直後の２セッションのPGA/UGAサイズ。（当然どちらも同じ値ね）

SYS> r
  1  select
  2  	ses.sid,
  3  	sname.name,
  4  	sstat.value
  5  from
  6  	v$sesstat sstat
  7  	join v$statname sname
  8  	on sstat.statistic# = sname.statistic#
  9  	join v$session ses
 10  	on sstat.sid = ses.sid
 11  where
 12  	ses.username = 'SCOTT' and
 13  	(sname.name like '%uga%' or sname.name like '%pga%')
 14  order by
 15* 	ses.sid, sname.name

       SID NAME 					 VALUE
---------- ---------------------------------------- ----------
	66 session pga memory				672296
	66 session pga memory max			672296
	66 session uga memory				246552
	66 session uga memory max			246552
       170 session pga memory				672296
       170 session pga memory max			672296
       170 session uga memory				246552
       170 session uga memory max			246552

8行が選択されました。

　
最初に、セッションID=66のセッションで階層問合せを実行してみた。

SYS> /

       SID NAME 					 VALUE
---------- ---------------------------------------- ----------
	66 session pga memory			       1131048
	66 session pga memory max		       1262120
	66 session uga memory				414280
	66 session uga memory max			763016
       170 session pga memory				672296
       170 session pga memory max			672296
       170 session uga memory				246552
       170 session uga memory max			246552

8行が選択されました。

2011/01/29:訂正:wmo6hashさん、ありがとう。

次に、セッションID=170のセッションで階層再帰問合せを実行してみた。
結果は一目瞭然。PGAの利用サイズも階層問合せが有利みたい。

SYS> /

       SID NAME 					 VALUE
---------- ---------------------------------------- ----------
	66 session pga memory			       1131048
	66 session pga memory max		       1262120
	66 session uga memory				414280
	66 session uga memory max			763016
       170 session pga memory				999976
       170 session pga memory max		       1983016
       170 session uga memory				312040
       170 session uga memory max		       1257064

8行が選択されました。

SYS> 

なんか、再帰問合せを使う理由を探してみたいが…いまのところみつかんない。Oracle以外のRDBでも使える構文だから覚えとくか！。ぐらいの感覚しか持ててない。再帰問合せのほうが有利だと思えることをしばらく探しまわりそーな悪寒…

---

・階層問合せか、再帰問合せか、それが問題だ

階層問合せか、再帰問合せか、それが問題だ

Oracle11g R2から再帰問合せができるようになった。階層問合せのように利用できるわけだけど…気になっていたのでちょっと試してみた。

実行計画を見る限り、11g R2 11.2.0.1.0では、階層問合せが対象表を１度だけアクセスするのに対し、WITH句を利用した再帰問合せは対象表を２度アクセスしているし、ソート回数も再帰問合せの方が多いので、対象表大きい場合や、データ量が多い場合、今のところ階層問合せが有利のように見える。
（そのうち、階層問合せと同じ実行計画になるように仕様変更されるとかあるんですかねぇ〜)

＃ほかにも違いがありそうだからあとで調べる＝＞TODO

文法も再帰問合せの方が面倒だけど、細かな操作は書きやすいのだろうかねぇ〜。

・Hierarchical Query - 階層問合せ（オラクルの方言だけど…この方言は好き）

SQL> r
  1  with
  2  	employees as
  3  	(
  4  		select
  5  			empno,
  6  			ename,
  7  			job,
  8  			mgr,
  9  			level
 10    		from
 11  			emp
 12    		start with
 13  			mgr is null
 14    		connect by
 15  			prior empno = mgr
 16  	)
 17  select *
 18  from
 19* 	employees

実行計画
----------------------------------------------------------
Plan hash value: 422387769

-------------------------------------------------------------------------------------------------
| Id  | Operation				 | Name | Rows	| Bytes | Cost (%CPU)| Time	|
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT			 |	|    14 |   728 |     4  (25)| 00:00:01 |
|   1 |  VIEW					 |	|    14 |   728 |     4  (25)| 00:00:01 |
|*  2 |   CONNECT BY NO FILTERING WITH START-WITH|	|	|	|	     |		|
|   3 |    TABLE ACCESS FULL			 | EMP	|    14 |   308 |     3   (0)| 00:00:01 |
-------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - access("MGR"=PRIOR "EMPNO")
       filter("MGR" IS NULL)

統計
----------------------------------------------------------
	  0  recursive calls
	  0  db block gets
	  7  consistent gets
	  0  physical reads
	  0  redo size
   	1207  bytes sent via SQL*Net to client
	519  bytes received via SQL*Net from client
	  2  SQL*Net roundtrips to/from client
	  2  sorts (memory)
	  0  sorts (disk)
	 14  rows processed


     EMPNO ENAME      JOB	       MGR	LEVEL
---------- ---------- --------- ---------- ----------
      7839 KING       PRESIDENT 		    1
      7566 JONES      MANAGER	      7839	    2
      7788 SCOTT      ANALYST	      7566	    3
      7876 ADAMS      CLERK	      7788	    4
      7902 FORD       ANALYST	      7566	    3
      7369 SMITH      CLERK	      7902	    4
      7698 BLAKE      MANAGER	      7839	    2
      7499 ALLEN      SALESMAN	      7698	    3
      7521 WARD       SALESMAN	      7698	    3
      7654 MARTIN     SALESMAN	      7698	    3
      7844 TURNER     SALESMAN	      7698	    3
      7900 JAMES      CLERK	      7698	    3
      7782 CLARK      MANAGER	      7839	    2
      7934 MILLER     CLERK	      7782	    3

14行が選択されました。

経過: 00:00:00.00
SQL> 

・Recursive Query - ANSI SQL99対応だけど、今のところ好きじゃない。長いんだもん。

SQL> 
SQL> r
  1  with
  2  	employees (
  3  		empno,
  4  		ename,
  5  		job,
  6  		mgr,
  7  		lvl
  8  	) as (
  9	 	select
 10	 		empno,
 11	 		ename,
 12	 		job,
 13	 		mgr,
 14	 		1 lvl
 15	  	from
 16				emp
 17	  	where
 18				mgr is null
 19	  	union all
 20	  	select
 21				e1.empno,
 22				e1.ename,
 23				e1.job,
 24				e1.mgr,
 25				e2.lvl + 1
 26	  	from
 27				emp e1 join employees e2
 28   	      	on e2.empno = e1.mgr
 29  	)
 30  	search depth first by mgr, empno set order#
 31  select 	
 32  	empno,
 33   	ename,
 34  	job,
 35  	mgr,
 36  	lvl
 37  from
 38    	employees
 39  order by
 40*	 order#

実行計画
----------------------------------------------------------
Plan hash value: 2042363665

--------------------------------------------------------------------------------------------------
| Id  | Operation				  | Name | Rows  | Bytes | Cost (%CPU)| Time	 |
--------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT			  |	 |     3 |   156 |    10  (10)| 00:00:01 |
|   1 |  VIEW					  |	 |     3 |   156 |    10  (10)| 00:00:01 |
|   2 |   UNION ALL (RECURSIVE WITH) BREADTH FIRST|	 |	 |	 |	      | 	 |
|*  3 |    TABLE ACCESS FULL			  | EMP  |     1 |    22 |     3   (0)| 00:00:01 |
|*  4 |    HASH JOIN				  |	 |     2 |    96 |     7  (15)| 00:00:01 |
|   5 |     RECURSIVE WITH PUMP 		  |	 |	 |	 |	      | 	 |
|*  6 |     TABLE ACCESS FULL			  | EMP  |    13 |   286 |     3   (0)| 00:00:01 |
--------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   3 - filter("MGR" IS NULL)
   4 - access("E2"."EMPNO"="E1"."MGR")
   6 - filter("E1"."MGR" IS NOT NULL)

統計
----------------------------------------------------------
	  0  recursive calls
	  0  db block gets
	 35  consistent gets
	  0  physical reads
	  0  redo size
   	1205  bytes sent via SQL*Net to client
	519  bytes received via SQL*Net from client
	  2  SQL*Net roundtrips to/from client
	  6  sorts (memory)
	  0  sorts (disk)
	 14  rows processed




     EMPNO ENAME      JOB	       MGR	  LVL
---------- ---------- --------- ---------- ----------
      7839 KING       PRESIDENT 		    1
      7566 JONES      MANAGER	      7839	    2
      7788 SCOTT      ANALYST	      7566	    3
      7876 ADAMS      CLERK	      7788	    4
      7902 FORD       ANALYST	      7566	    3
      7369 SMITH      CLERK	      7902	    4
      7698 BLAKE      MANAGER	      7839	    2
      7499 ALLEN      SALESMAN	      7698	    3
      7521 WARD       SALESMAN	      7698	    3
      7654 MARTIN     SALESMAN	      7698	    3
      7844 TURNER     SALESMAN	      7698	    3
      7900 JAMES      CLERK	      7698	    3
      7782 CLARK      MANAGER	      7839	    2
      7934 MILLER     CLERK	      7782	    3

14行が選択されました。

経過: 00:00:00.00
SQL> 

VirtualBox de Oracle11g R2 RAC #23

VirtualBox de Oracle11g R2 RACのつづき。

さて、いよいよVirtualBox de Oracle11g R2 RACの最終回。簡単なTAFのテスト！

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

簡単なTransparent Application Failover (TAF)の確認

MacOS X Snow LeopardにあるOracle Instant Client 10g R2 for MacOS Xのtnsnames.oraを編集し以下の定義を追加しておきました！

ORCLTAF =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (FAILOVER_MODE =
        (TYPE = SELECT)
        (METHOD = BASIC)
        (RETRIES = 180)
        (DELAY = 5)
      )
    )
  )

TAF定義の接続識別子で接続します。

discus:˜ oracle$ 
discus:˜ oracle$ sqlplus /nolog

SQL*Plus: Release 10.2.0.4.0 - Production on 木 1月 6 04:47:16 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

> conn scott/tiger@orcltaf
接続されました。
SCOTT> 
SCOTT> 
SCOTT> select count(*) from user_objects;

  COUNT(*)
----------
	 0

orcl1インスタンスで、sysユーザで接続し、セッションの状態を確認してみます。

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 木 1月 6 04:48:42 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SYS> 
SYS> 
SYS> conn / as sysdba
接続されました。
SYS> 
SYS> select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8    gv$session sess join gv$instance inst
  9    on sess.inst_id = inst.inst_id
 10  where
 11    sess.username = 'SCOTT'
 12  /

INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl1		 SCOTT				SELECT	      BASIC	 NO

SYS> 

SCOTTはorcl1インスタンスに接続されクエリが実行されたようですね！
failoverさせるため、orcl1インスタンスをabortで強制停止してみます。

SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。

SYS> !srvctl stop instance -d orcl -i orcl1 -o abort
SYS> 
SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行されていません。
インスタンスorcl2はノードdiscus264で実行中です。

SYS> 
SYS> l
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8    gv$session sess join gv$instance inst
  9    on sess.inst_id = inst.inst_id
 10  where
 11*   sess.username = 'SCOTT'
SYS> /
select
*
行1でエラーが発生しました。:
ORA-03135: 接続が失われました
プロセスID: 5563
セッションID: 13、シリアル番号: 25

おっと〜、sysユーザでorcl1インスタンスに接続していたのでした〜。exitしちゃいます。

SCOTTユーザで、failoverさせるためクエリを再実行します。

SCOTT> r
  1* select count(*) from user_objects

  COUNT(*)
----------
	 0

SCOTT> 

インスタンス：orcl2へ接続し直し確認。お〜うまくいけてますね！
orcl1のセッションだったscottユーザのセッションがfailoverしorcl2のセッションになっています。また今回設定したTAFのモードではクエリはエラーにはならず、生存インスタンスへ透過的にfailoverされます。

[oracle@discus264 ˜]$ 
[oracle@discus264 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 木 1月 6 04:55:48 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

> conn / as sysdba
接続されました。
SYS> select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8   gv$session sess join gv$instance inst
  9   on sess.inst_id = inst.inst_id
 10  where
 11   sess.username = 'SCOTT'
 12  /


INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl2		 SCOTT				SELECT	      BASIC	 YES

SYS> 

ちなみにcrsctl status resource -tで確認すると

・・・中略・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        OFFLINE OFFLINE                               Instance Shutdown   
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ˜]$ 

となっています。今回のようにデータベースインスタンスだけを停止した場合はこんな状態になるんですね。:)

ついでなので更新トランザクションも試してみましょうかね。
停止したデータベースインスタンスを起動し、scottユーザでupdate文を実行します。

discus:˜ oracle$ 
discus:˜ oracle$ sqlplus scott/tiger@orcltaf

SQL*Plus: Release 10.2.0.4.0 - Production on 木 1月 6 05:20:27 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP
and Data Mining options
に接続されました。
SCOTT> 
SCOTT> 
SCOTT> insert into hoge values('abc');

1行が作成されました。

SCOTT> 

orcl2インスタンスにsysユーザで接続して状態を確認してみます。
scottユーザはorcl1インスタンスに接続してinsert文を実行したようですね。まだ、failoverしていません。

SYS> 
SYS> l
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8   gv$session sess join gv$instance inst
  9   on sess.inst_id = inst.inst_id
 10  where
 11*  sess.username = 'SCOTT'
SYS> /

INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl1		 SCOTT				SELECT	      BASIC	 NO

では、先ほどと同じようにorcl1インスタンスを強制停止してみます

SYS> !srvctl stop instance -d orcl -i orcl1 -o abort

SYS> 
SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行されていません。
インスタンスorcl2はノードdiscus264で実行中です。

scottユーザで再度insert文を実行してみました。TAF特有のエラーメッセージが返されましたね。

SCOTT> r
  1* insert into hoge values('abc')
insert into hoge values('abc')
*
行1でエラーが発生しました。:
ORA-25402: トランザクションをロールバックしてください。

セッションの状態を確認してみると…セッションはfailoverしています！

SYS> r
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8   gv$session sess join gv$instance inst
  9   on sess.inst_id = inst.inst_id
 10  where
 11*  sess.username = 'SCOTT'

INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl2		 SCOTT				SELECT	      BASIC	 YES

scottユーザのトランザクションをロールバック後、リトライしてみると…

SCOTT> 
SCOTT> rollback;

ロールバックが完了しました。

SCOTT> insert into hoge values('abc');

1行が作成されました。

SCOTT> 
SCOTT> 

うまくいきましたね　:)

ということで、VirtualBox de Oracle11g R2 RAC for Linux x86_64環境のできあがり〜。（完）

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19
・VirtualBox de Oracle11g R2 RAC #20
・VirtualBox de Oracle11g R2 RAC #21
・VirtualBox de Oracle11g R2 RAC #22

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #22

VirtualBox de Oracle11g R2 RACのつづき。

ラス前です :) cluster databaseの起動停止確認。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Clusterの開始と停止の確認

Grid Infrastructureは自動起動にしてますが、手動起動、停止を確認しておきます。

rootユーザにてcrsctlコマンドでclusterを起動します。データベースインスタンスはOracle所有者でsrvctlコマンドを利用して起動してみます。
(ちなみに、rootユーザには、grid infrastructureのHOMEのbinへパスを通してあります。）

[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************
discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl start cluster -all
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************


discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.FRA.dg
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        OFFLINE OFFLINE                                                   
      2        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[root@discus164 ˜]# 

データベースインスタンスを起動します。

[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl start database -d orcl
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
logout

[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource ora.orcl.db 
NAME=ora.orcl.db
TYPE=ora.database.type
TARGET=ONLINE             , ONLINE
STATE=ONLINE on discus164, ONLINE on discus264

[root@discus164 ˜]# 

起動しましたね :)

最後に、データベースインスタンスは起動したままの状態で、clusterを停止／起動し、再び、データベースインスタンスが起動した状態になるかを確認しておきます。
Oracle Restartってんでしたっけ？　この機能。

まず、データベースインスタンスは起動したまま、Grid Infrastructureを停止(全ノードを停止）します。

[root@discus164 ˜]# crsctl stop cluster -all
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています
CRS-2673: 'ora.crsd'('discus264')の停止を試行しています
CRS-2790: 'discus264'上にある、Cluster Ready Services管理下のリソースのシャットダウンを開始しています
CRS-2673: 'ora.LISTENER.lsnr'('discus264')の停止を試行しています
CRS-2790: 'discus164'上にある、Cluster Ready Services管理下のリソースのシャットダウンを開始しています
CRS-2673: 'ora.LISTENER.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN2.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN3.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.CRS.dg'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN1.lsnr'('discus264')の停止を試行しています
CRS-2673: 'ora.orcl.db'('discus164')の停止を試行しています
CRS-2673: 'ora.CRS.dg'('discus264')の停止を試行しています
CRS-2673: 'ora.orcl.db'('discus264')の停止を試行しています
CRS-2673: 'ora.registry.acfs'('discus264')の停止を試行しています
CRS-2673: 'ora.registry.acfs'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER.lsnr'('discus264')の停止が成功しました
CRS-2673: 'ora.discus264.vip'('discus264')の停止を試行しています
CRS-2677: 'ora.LISTENER_SCAN1.lsnr'('discus264')の停止が成功しました
CRS-2673: 'ora.scan1.vip'('discus264')の停止を試行しています
CRS-2677: 'ora.discus264.vip'('discus264')の停止が成功しました
CRS-2677: 'ora.scan1.vip'('discus264')の停止が成功しました
CRS-2677: 'ora.LISTENER_SCAN3.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.scan3.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.discus164.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER_SCAN2.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.scan2.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.scan3.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.discus164.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.scan2.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.registry.acfs'('discus264')の停止が成功しました
CRS-2677: 'ora.registry.acfs'('discus164')の停止が成功しました
CRS-2677: 'ora.CRS.dg'('discus264')の停止が成功しました
CRS-2677: 'ora.CRS.dg'('discus164')の停止が成功しました
CRS-2677: 'ora.orcl.db'('discus264')の停止が成功しました
CRS-2673: 'ora.DATA.dg'('discus264')の停止を試行しています
CRS-2673: 'ora.FRA.dg'('discus264')の停止を試行しています
CRS-2677: 'ora.FRA.dg'('discus264')の停止が成功しました
CRS-2677: 'ora.orcl.db'('discus164')の停止が成功しました
CRS-2673: 'ora.DATA.dg'('discus164')の停止を試行しています
CRS-2673: 'ora.FRA.dg'('discus164')の停止を試行しています
CRS-2677: 'ora.DATA.dg'('discus264')の停止が成功しました
CRS-2673: 'ora.asm'('discus264')の停止を試行しています
CRS-2677: 'ora.asm'('discus264')の停止が成功しました
CRS-2673: 'ora.eons'('discus264')の停止を試行しています
CRS-2673: 'ora.ons'('discus264')の停止を試行しています
CRS-2677: 'ora.DATA.dg'('discus164')の停止が成功しました
CRS-2677: 'ora.ons'('discus264')の停止が成功しました
CRS-2673: 'ora.net1.network'('discus264')の停止を試行しています
CRS-2677: 'ora.net1.network'('discus264')の停止が成功しました
CRS-2677: 'ora.FRA.dg'('discus164')の停止が成功しました
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2677: 'ora.eons'('discus264')の停止が成功しました
CRS-2792: 'discus264'上にある、Cluster Ready Services管理下のリソースのシャットダウンが完了しました
CRS-2673: 'ora.eons'('discus164')の停止を試行しています
CRS-2673: 'ora.ons'('discus164')の停止を試行しています
CRS-2677: 'ora.crsd'('discus264')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus264')の停止を試行しています
CRS-2673: 'ora.ctssd'('discus264')の停止を試行しています
CRS-2673: 'ora.evmd'('discus264')の停止を試行しています
CRS-2673: 'ora.asm'('discus264')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus264')の停止が成功しました
CRS-2677: 'ora.evmd'('discus264')の停止が成功しました
CRS-2677: 'ora.ctssd'('discus264')の停止が成功しました
CRS-2677: 'ora.asm'('discus264')の停止が成功しました
CRS-2673: 'ora.cssd'('discus264')の停止を試行しています
CRS-2677: 'ora.cssd'('discus264')の停止が成功しました
CRS-2673: 'ora.diskmon'('discus264')の停止を試行しています
CRS-2677: 'ora.diskmon'('discus264')の停止が成功しました
CRS-2675: 'ora.ons'('discus164')の停止に失敗しました
CRS-2679: 'ora.ons'('discus164')のクリーニングを試行しています
CRS-2681: 'ora.ons'('discus164')のクリーニングが成功しました
CRS-2673: 'ora.net1.network'('discus164')の停止を試行しています
CRS-2677: 'ora.net1.network'('discus164')の停止が成功しました
CRS-2677: 'ora.eons'('discus164')の停止が成功しました
CRS-2792: 'discus164'上にある、Cluster Ready Services管理下のリソースのシャットダウンが完了しました
CRS-2677: 'ora.crsd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus164')の停止を試行しています
CRS-2673: 'ora.ctssd'('discus164')の停止を試行しています
CRS-2673: 'ora.evmd'('discus164')の停止を試行しています
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus164')の停止が成功しました
CRS-2677: 'ora.evmd'('discus164')の停止が成功しました
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2677: 'ora.ctssd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssd'('discus164')の停止を試行しています
CRS-2677: 'ora.cssd'('discus164')の停止が成功しました
CRS-2673: 'ora.diskmon'('discus164')の停止を試行しています
CRS-2677: 'ora.diskmon'('discus164')の停止が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************
discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status database -d orcl
PRCD-1027 : データベースorclの取得に失敗しました
PRCR-1070 : リソース ora.orcl.dbが登録されているかどうかの確認に失敗しました
Cannot communicate with crsd
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
logout

では、起動しま〜す。

[oracle@discus164 ˜]$ 
[root@discus164 ˜]# crsctl start cluster -all
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  OFFLINE      discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  INTERMEDIATE discus164                FAILED OVER         
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  OFFLINE                                                   
      2        ONLINE  OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164 

ora.LISTENER_SCAN1.lsnr/ora.discus264.vipの両リソースがノードdiscus164からノードdiscus264へ移動し、ノードdiscus164でデータベースインスタンスが起動しました…

・・・中着・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    

最後にノードdiscus264でもデータベースインスタンスが起動し、crsctl stop cluster -allで停止する以前の状況になっています。 :)

・・・中略・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164  

ということで起動／停止の確認終了！

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19
・VirtualBox de Oracle11g R2 RAC #20
・VirtualBox de Oracle11g R2 RAC #21

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #21

VirtualBox de Oracle11g R2 RACのつづき。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oralce Grid InsfastructureとDatabase構成の確認

OUIやらなんやらがいろいろと構成してくれたりしてくれてるので確認方法の確認って感じですが…

Oracle所有者にて実行…

[oracle@discus164 ˜]$
[oracle@discus164 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status instance -d orcl -n discus164
インスタンスorcl1はノードdiscus164で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status instance -d orcl -n discus264
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status nodeapps
VIP discus164-vipは有効です
VIP discus164-vipはノードで実行中です: discus164
VIP discus264-vipは有効です
VIP discus264-vipはノードで実行中です: discus264
ネットワークは有効です
ネットワークはノードで実行中です: discus164
ネットワークはノードで実行中です: discus264
GSDは無効です
GSDはノードで実行されていません: discus164
GSDはノードで実行されていません: discus264
ONSは有効です
ONSデーモンはノードで実行中です: discus164
ONSデーモンはノードで実行中です: discus264
eONSは有効です
eONSデーモンはノードで実行中です:discus164
eONSデーモンはノードで実行中です:discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status vip -n discus164
VIP discus164-vipは有効です
VIP discus164-vipはノードで実行中です: discus164
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status vip -n discus264
VIP discus264-vipは有効です
VIP discus264-vipはノードで実行中です: discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status asm -a
ASMはdiscus164,discus264で実行中です
ASMは有効です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status listener -n discus164
リスナーLISTENERはノードで有効です: discus164
リスナーLISTENERはノードで実行中です: discus164
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status listener -n discus264
リスナーLISTENERはノードで有効です: discus264
リスナーLISTENERはノードで実行中です: discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status scan
SCAN VIP scan1は有効です
SCAN VIP scan1はノードdiscus264で実行されています
SCAN VIP scan2は有効です
SCAN VIP scan2はノードdiscus164で実行されています
SCAN VIP scan3は有効です
SCAN VIP scan3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status scan_listener
SCANリスナーLISTENER_SCAN1は有効です
SCANリスナーLISTENER_SCAN1はノードdiscus264で実行されています
SCANリスナーLISTENER_SCAN2は有効です
SCANリスナーLISTENER_SCAN2はノードdiscus164で実行されています
SCANリスナーLISTENER_SCAN3は有効です
SCANリスナーLISTENER_SCAN3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status srvpool -a
サーバー・プール名: Free
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: Generic
アクティブ・サーバー数: 2
アクティブ・サーバー名: discus164,discus264
NAME=discus164 STATE=ONLINE
NAME=discus264 STATE=ONLINE
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status server -n discus164,discus264 -a
サーバー名: discus164
サーバーの状態: ONLINE
アクティブなサーバー・プール: Generic ora.orcl
サーバーの状態の詳細: 
サーバー名: discus264
サーバーの状態: ONLINE
アクティブなサーバー・プール: Generic ora.orcl
サーバーの状態の詳細: 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status oc4j
OC4Jは無効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g DATA -a
ディスク・グループDATAはdiscus164,discus264で実行中です
ディスク・グループDATAは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g CRS -a
ディスク・グループCRSはdiscus164,discus264で実行中です
ディスク・グループCRSは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g FRA -a
ディスク・グループFRAはdiscus164,discus264で実行中です
ディスク・グループFRAは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 

構成の確認…

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config database -d orcl -a
一意のデータベース名: orcl
データベース名: orcl
Oracleホーム: /u01/app/oracle/product/11.2.0/dbhome_1
Oracleユーザー: oracle
spfile: +DATA/orcl/spfileorcl.ora
ドメイン: macdeoracle.info
開始オプション: open
停止オプション: immediate
データベース・ロール: PRIMARY
管理ポリシー: AUTOMATIC
サーバー・プール: orcl
データベース・インスタンス: orcl1,orcl2
ディスク・グループ: DATA,FRA
サービス: 
データベースは有効です
データベースは管理者によって管理されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config nodeapps -a -g -s
VIPが存在します。:discus164
VIPが存在します。: /discus164-vip/192.168.1.190/255.255.255.0/eth0
VIPが存在します。:discus264
VIPが存在します。: /discus264-vip/192.168.1.191/255.255.255.0/eth0
GSDが存在します。
ONSデーモンは存在します。ローカル・ポート6100、リモート・ポート6200
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config asm -a
ASMホーム: /u01/app/11.2.0/grid
ASMリスナー: LISTENER
ASMは有効です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config listener -a
名前: LISTENER
ネットワーク: 1、所有者: grid
ホーム: <CRS home>
  ノードdiscus264,discus164の/u01/app/11.2.0/grid
エンド・ポイント: TCP:1521
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config scan
SCAN名: discus-rac64-scan.macdeoracle.jp、ネットワーク: 1/192.168.1.0/255.255.255.0/eth0
SCAN VIP名: scan1、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.200
SCAN VIP名: scan2、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.201
SCAN VIP名: scan3、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.202
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config scan_listener
SCANリスナーLISTENER_SCAN1は存在します。ポート: TCP:1521
SCANリスナーLISTENER_SCAN2は存在します。ポート: TCP:1521
SCANリスナーLISTENER_SCAN3は存在します。ポート: TCP:1521
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config srvpool
サーバー・プール名: Free
重要度: 0、最小: 0、最大: -1
候補サーバー名: 
サーバー・プール名: Generic
重要度: 0、最小: 0、最大: -1
候補サーバー名: discus164,discus264
[oracle@discus164 ˜]$ 

Grid Infrastructureユーザにて実行…

[grid@discus164 ˜]$ crsctl check cluster -all
**************************************************************
discus164:
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
**************************************************************
discus264:
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
**************************************************************
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check ctss
CRS-4700: クラスタ時刻同期化サービスはオブザーバ・モードになっています。
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check css
CRS-4529: Cluster Synchronization Servicesがオンラインです
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl status serverpool
NAME=Free
ACTIVE_SERVERS=

NAME=Generic
ACTIVE_SERVERS=discus164 discus264

NAME=ora.orcl
ACTIVE_SERVERS=discus164 discus264

[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   8f431fe5d1304fd9bf6ad331d3aef536 (ORCL:CRSVOL1) [CRS]
1の投票ディスクを検出しました。
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    

[grid@discus164 ˜]$ 

あれ、perlでエラーメッセージでてるけどご愛嬌 :)

[grid@discus164 ˜]$ asmcmd
ASMCMD> 
ASMCMD> 
ASMCMD> lsdg -g
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Inst_ID  State    Type    Rebal  Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
      1  MOUNTED  EXTERN  N         512   4096  1048576      4092     3694                0            3694              0             N  CRS/
      2  MOUNTED  EXTERN  N         512   4096  1048576      4092     3694                0            3694              0             N  CRS/
      1  MOUNTED  NORMAL  N         512   4096  1048576     43006    37436                0           18718              0             N  DATA/
      2  MOUNTED  NORMAL  N         512   4096  1048576     43006    37436                0           18718              0             N  DATA/
      1  MOUNTED  NORMAL  N         512   4096  1048576     43006    42336                0           21168              0             N  FRA/
      2  MOUNTED  NORMAL  N         512   4096  1048576     43006    42336                0           21168              0             N  FRA/
ASMCMD> 
ASMCMD> lsct -g
Instance_ID  DB_Name  Status     Software_Version  Compatible_version  Instance_Name  Disk_Group
          1  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM1          CRS       
          1  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM1          DATA      
          2  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM2          CRS       
          2  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM2          DATA      
          1  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl1          DATA      
          1  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl1          FRA       
          2  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl2          DATA      
          2  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl2          FRA       
ASMCMD> 
ASMCMD> ls -g
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Inst_ID  Name
      1  CRS/
      2  CRS/
      1  DATA/
      2  DATA/
      1  FRA/
      2  FRA/
ASMCMD> 
ASMCMD> lsof 
DB_Name  Instance_Name  Path                                    
+ASM     +ASM1          +crs.255.4294967295                          
orcl     orcl1          +data/orcl/controlfile/current.256.739409625 
orcl     orcl1          +data/orcl/datafile/sysaux.260.739409693     
orcl     orcl1          +data/orcl/datafile/system.259.739409647     
orcl     orcl1          +data/orcl/datafile/undotbs1.261.739409729   
orcl     orcl1          +data/orcl/datafile/undotbs2.263.739409753   
orcl     orcl1          +data/orcl/datafile/users.264.739409767      
orcl     orcl1          +data/orcl/onlinelog/group_1.257.739409631   
orcl     orcl1          +data/orcl/onlinelog/group_2.258.739409637   
orcl     orcl1          +data/orcl/onlinelog/group_3.265.739412213   
orcl     orcl1          +data/orcl/onlinelog/group_4.266.739412217   
orcl     orcl1          +data/orcl/tempfile/temp.262.739409741       
orcl     orcl1          +fra/orcl/controlfile/current.256.739409629  
orcl     orcl1          +fra/orcl/onlinelog/group_1.257.739409635     
orcl     orcl1          +fra/orcl/onlinelog/group_2.258.739409643     
orcl     orcl1          +fra/orcl/onlinelog/group_3.259.739412215     
orcl     orcl1          +fra/orcl/onlinelog/group_4.260.739412225     
ASMCMD>     

最後にSQL*Plusから

SYS> l
  1  select
  2    inst_id
  3   ,instance_name
  4   ,parallel
  5   ,status
  6   ,database_status
  7   ,active_state
  8   ,host_name
  9  from
 10*   gv$instance
SYS> 
SYS> /

   INST_ID INSTANCE_NAME    PAR STATUS	     DATABASE_STATUS   ACTIVE_ST HOST_NAME
---------- ---------------- --- ------------ ----------------- --------- ------------------------------
	 1 orcl1	    YES OPEN	     ACTIVE	       NORMAL	 discus164.macdeoracle.jp
	 2 orcl2	    YES OPEN	     ACTIVE	       NORMAL	 discus264.macdeoracle.jp

SYS> 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19
・VirtualBox de Oracle11g R2 RAC #20

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #20

VirtualBox de Oracle11g R2 RACのつづき。

データベースも無事？作成できたので、今回はNet Serviceの確認を。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Net Serviceの確認

まず、クライアントになるMacOS X Snow LeopardのOracle10g R2 Instant Client側の設定(tnsnames.ora)から。

tnsnames.oraにVirtualBox上に構築したRACに接続するため以下ように定義した。
接続識別子ORCLはVirtualBox上に構築した際、自動生成された部分を複製し、残り２つの定義はRACの各ノードを個別に狙って接続するため接続識別子ORCL1/ORCL2を定義した。

discus:˜ oracle$ diff -u $TNS_ADMIN/tnsnames.ora.org $TNS_ADMIN/tnsnames.ora
--- /Users/Shared/instantclient_10_2/tnsnames.ora.org	2011-01-04 22:34:28.000000000 +0900
+++ /Users/Shared/instantclient_10_2/tnsnames.ora	2011-01-04 22:57:31.000000000 +0900
@@ -10,3 +10,32 @@
     )
   )
 
+# Oracle11g R2 11.2.0.1.0 RAC for Linux x86_64 / VirtualBox 
+ORCL =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+    )
+  )
+
+ORCL2 =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+      (INSTANCE_NAME = orcl2)
+    )
+  )
+
+ORCL1 =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+      (INSTANCE_NAME = orcl1)
+    )
+  )
discus:˜ oracle$

接続テスト

事前にscan vipがどのような状態か確認しておく。

[oracle@discus164 ˜]$ srvctl status scan
SCAN VIP scan1は有効です
SCAN VIP scan1はノードdiscus264で実行されています
SCAN VIP scan2は有効です
SCAN VIP scan2はノードdiscus164で実行されています
SCAN VIP scan3は有効です
SCAN VIP scan3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 

[root@discus164 ˜]# crsctl status resource -w 'TYPE co scan' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[root@discus164 ˜]# 

MacOS X Snow LeopardのSQL*PlusからVirtualBox上のOracle11g R2 11.2.0.1.0 RACへの接続テスト。

discus:˜ oracle$ sqlplus /nolog

SQL*Plus: Release 10.2.0.4.0 - Production on 火 1月 4 23:16:53 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

SQL> -- ロードバランシングで適当なインスタンスへ接続される。この場合インスタンス２に接続した
SQL> conn scott/tiger@orcl
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> -- ２度目はインスタンス１に接続した。（うまくいってる！）
SQL> conn scott/tiger@orcl
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- インスタンス１(orcl1)を狙った接続！ OK.
SQL> conn scott/tiger@orcl1 
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- 念のためもう一度。狙ったインスタンスへ接続している。
SQL> conn scott/tiger@orcl1
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- インスタンス２(orcl2)を狙った接続！ OK.
SQL> conn scott/tiger@orcl2
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> -- 念のためもう一度！。狙ったインスタンスへ接続している。
SQL> conn scott/tiger@orcl2
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> 

リモートからのも接続OK :)

以下、RACインスタンスのバージョン情報、Client側情報としてSQL*Plusのバージョン及び、OSのバージョン情報。

SQL> select * from gv$version; 

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> !sqlplus -v

SQL*Plus: Release 10.2.0.4.0 - Production

SQL> !system_profiler SPSoftwareDataType | grep 'System Version'
      System Version: Mac OS X 10.6.5 (10H574)

SQL> 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #16の番外編

VirtualBox de Oracle11g R2 RAC #16の番外編として、Oracle11g R2 11.2.0.1.0のOracle Grid Infrastructureをdeinstallツールのログを備忘録として残しておきます。　:)

[grid@discus164 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
Location of logs /tmp/deinstall2010-12-01_08-36-01-午後/logs/

############ ORACLE DEINSTALL & DECONFIG TOOL START ############


######################## CHECK OPERATION START ########################
インストールの構成確認の開始


Oracleホームの場所が存在するかどうかを確認しています /u01/app/11.2.0/grid
選択された削除対象のOracleホームのタイプ: CRS
選択された削除対象のOracleベース: /u01/app/grid
中央インベントリの場所が存在するかどうかを確認しています /u01/app/oraInventory
Oracle Grid Infrastructureホームが存在するかどうかを確認しています /u01/app/11.2.0/grid
次のノードはこのクラスタの一部です: discus164,discus264

インストールの構成確認の終了

Traces log file: /tmp/deinstall2010-12-01_08-36-01-午後/logs//crsdc.log

ネットワーク構成チェック構成START

ネットワーク構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/netdc_check7323528496868837695.log

構成解除するすべてのRACリスナーを指定してください[LISTENER]:

ネットワーク構成チェック構成END

ASMチェック構成START

ASM構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/asmcadc_check7638050551281896899.log

このOracleホーム/u01/app/11.2.0/gridで自動ストレージ管理(ASM)インスタンスが検出されました。
ASM診断先: /u01/app/grid
ASMディスク・グループ: +CRS
ディスク・グループは削除されます
ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループおよびそのコンテンツが削除されます。これは、
このASMインスタンスを使用するすべてのデータベースおよびACFSに影響します。
 既存のディスク・グループを保持する場合、または検出された情報が正しくない場合、'y'と入力することにより、変更できます。前述の情報(y|n)を変更しますか [n]: y
ASMの診断先を指定してください [/u01/app/grid]: 
このASMインスタンスによって管理されているディスク・グループを指定してください [+CRS]: 

ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループが削除されます。構成解除ツールでディスク・グループy|nを削除しますか [y]: y


######################### CHECK OPERATION END #########################


####################### CHECK OPERATION SUMMARY #######################
Oracle Grid Infrastructureホーム: /u01/app/11.2.0/grid
Oracleホームが存在するクラスタ・ノード: (ノードを","で区切って入力してください。例: node1,node2,...)discus164,discus264
選択された削除対象のOracleホーム: /u01/app/11.2.0/grid
Oracleホームが登録されているインベントリの場所: /u01/app/oraInventory
次のRACリスナーが構成解除されます: LISTENER
ASMインスタンスはこのOracleホームから構成解除されます
続行しますか (y - はい、n - いいえ)[n]: y
このセッションのログは/tmp/deinstall2010-12-01_08-36-01-午後/logs/deinstall_deconfig2010-12-01_08-36-34-PM.outに書き込まれます
このセッションのすべてのエラー・メッセージは/tmp/deinstall2010-12-01_08-36-01-午後/logs/deinstall_deconfig2010-12-01_08-36-34-PM.errに書き込まれます

######################## CLEAN OPERATION START ########################
ASM構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/asmcadc_clean4713857881917098991.log
ASMクリーンアップ構成START
ASMクリーンアップ構成END

ネットワーク構成クリーニング構成START

ネットワーク構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/netdc_clean533226112421006626.log

RACリスナーの構成解除: LISTENER

リスナーの構成解除: LISTENER
    リスナーを停止しています: LISTENER
    リスナーの停止に成功しました。
    リスナーを登録解除しています: LISTENER
    リスナーの登録解除に成功しました。
リスナーは正常に構成解除されました。

すべてのノードでネーミング・メソッド構成ファイルの構成解除中です...
ネーミング・メソッド構成ファイルが正常に構成解除されました。 

すべてのノードでローカル・ネット・サービス名構成ファイルの構成解除中です...
ローカル・ネット・サービス名構成ファイルが正常に構成解除されました。 

すべてのノードでディレクトリ使用構成ファイルの構成解除中です...
ディレクトリ使用構成ファイルが正常に構成解除されました。 

すべてのノードでバックアップ・ファイルの構成解除中です...
バックアップ・ファイルが正常に構成解除されました。 

ネットワーク構成が正常にクリーンアップされました。

ネットワーク構成クリーニング構成END


---------------------------------------->

ノード"discus264"のrootユーザーまたは管理者として次のコマンドを実行します。


/tmp/deinstall2010-12-01_08-36-01-午後/perl/bin/perl -I/tmp/deinstall2010-12-01_08-36-01-午後/perl/lib -I/tmp/deinstall2010-12-01_08-36-01-午後/crs/install /tmp/deinstall2010-12-01_08-36-01-午後/crs/install/rootcrs.pl -force  -delete -paramfile /tmp/deinstall2010-12-01_08-36-01-午後/response/deinstall_Ora11g_gridinfrahome1.rsp

ノード"discus164"のrootユーザーまたは管理者として次のコマンドを実行します。

/tmp/deinstall2010-12-01_08-36-01-午後/perl/bin/perl -I/tmp/deinstall2010-12-01_08-36-01-午後/perl/lib -I/tmp/deinstall2010-12-01_08-36-01-午後/crs/install /tmp/deinstall2010-12-01_08-36-01-午後/crs/install/rootcrs.pl -force  -delete -paramfile /tmp/deinstall2010-12-01_08-36-01-午後/response/deinstall_Ora11g_gridinfrahome1.rsp -lastnode

前述のコマンドを実行した後、[Enter]を押します

<----------------------------------------

Oracle Universal Installerクリーンアップの開始

Oracleホーム'/u01/app/11.2.0/grid'をローカル・ノードの中央インベントリからデタッチします : 終了

ローカル・ノードのディレクトリ'/u01/app/11.2.0/grid'を削除します : 終了

ローカル・ノードのディレクトリ'/u01/app/oraInventory'を削除します : 終了

ローカル・ノードのディレクトリ'/u01/app/grid'を削除します : 終了

Oracleホーム'/u01/app/11.2.0/grid'をリモート・ノード'discus264'の中央インベントリからデタッチします : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/11.2.0/grid'を削除します : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/oraInventory'を削除します : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/grid'を削除します : 終了

Oracle Universal Installerのクリーンアップが成功しました。

Oracle Universal Installerクリーンアップの終了


Oracleインストール・クリーンアップの開始

インストールのクリーンアップ操作により、ノードdiscus164の一時ディレクトリ/tmp/installを削除しています
インストールのクリーンアップ操作により、ノードdiscus264の一時ディレクトリ/tmp/installを削除しています

Oracleインストール・クリーンアップの終了


######################### CLEAN OPERATION END #########################


####################### CLEAN OPERATION SUMMARY #######################
ASMインスタンスはOracleホームから正常に構成解除されました
次のRACリスナーが正常に構成解除されました: LISTENER
Oracleクラスタウェアはノード"discus164"で停止され、正常に構成解除されています
Oracleクラスタウェアはノード"discus264"で停止され、正常に構成解除されています
Oracleクラスタウェアは正常に停止および構成解除されています。
Oracleホーム'/u01/app/11.2.0/grid'がローカル・ノードの中央インベントリから正常にデタッチされました。
ローカル・ノードのディレクトリ'/u01/app/11.2.0/grid'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/oraInventory'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/grid'が正常に削除されました。
Oracleホーム'/u01/app/11.2.0/grid'がリモート・ノード'discus264'の中央インベントリから正常にデタッチされました。
リモート・ノード'discus264'のディレクトリ'/u01/app/11.2.0/grid'が正常に削除されました。
リモート・ノード'discus264'のディレクトリ'/u01/app/oraInventory'が正常に削除されました。
リモート・ノード'discus264'のディレクトリ'/u01/app/grid'が正常に削除されました。
Oracle Universal Installerのクリーンアップが成功しました。


セッション終了時にノード'discus164,discus264'でrootとして'rm -rf /etc/oraInst.loc'を実行します。

Oracleインストールにより、一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL & DECONFIG TOOL END #############

[grid@discus164 deinstall]$ 

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19

VirtualBox de Oracle11g R2 RAC #19

VirtualBox de Oracle11g R2 RACのつづき。

いよいよデータベースの作成です。 :)

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle Cluster databaseの作成

映像を見てもお分かりだと思いますが、VirtualBox上でクラスタデータベースを作成するとほぼ１００％、DBCAの最後のダイアログを表示後DBCAを起動したVMが固まります。
Oracle11g R1 RACをVirtualBox上で構築した時と同じ症状です。DBCAのダイアログ上、データベースは作成されましたと表示されているのでそれを信じるばかり (^^;;;

念のため１時間ほど放置したあと、固まったVMは強制終了、残るノードはCentOSをシャットダウンします。その後、Openfiler、RACの両ノードを起動します。（ノード間の処理で固まっているようで実は処理に時間を要していることがなんどかあったので…念のため）

grid infrastructureユーザからcrsctlコマンドで状態を確認した結果は以下。（ちなみに、VM再起動後の状態）

[grid@discus164 ˜]$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ˜]$ 

[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 11月 30 14:54:50 2010

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SQL> conn / as sysdba
パスワードを入力してください: 
接続されました。
SQL> set linesize 132
SQL> select * from gv$version;

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> 

ふ〜、なんとかできたようですね。　とりあえず遊べそうです。

次回へつづく。　Grid Infrastructure周りはもっと調べないと…覚える必要のあることはまだまだ多い (^^;;

Oracle Clusterware管理およびデプロイメント・ガイド 11gリリース2（11.2非推奨のサブプログラムまたはコマンド…このマニュアルもちゃんと読んでおかないとな。＞＜

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18

VirtualBox de Oracle11g R2 RAC #18

VirtualBox de Oracle11g R2 RACのつづきです。

インストールしなくてもいいんだけどいろいろと試したくなったときは便利なので、次いでにexamplesもインストール。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 examplesのインストール

[oracle@discus164 database]$ 
[oracle@discus164 database]$ 
[oracle@discus164 database]$ cd ../examples
[oracle@discus164 examples]$ ll
合計 48
drwxr-xr-x  7 oracle oinstall 4096  8月 12  2009 doc
drwxr-xr-x  4 oracle oinstall 4096  8月 15  2009 install
drwxrwxr-x  2 oracle oinstall 4096  8月 15  2009 response
-rwxr-xr-x  1 oracle oinstall 3230  8月 15  2009 runInstaller
drwxr-xr-x 12 oracle oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 oracle oinstall 3419  8月 18  2009 welcome.html
[oracle@discus164 examples]$ 

[oracle@discus164 examples]$ ./runInstaller
Oracle Universal Installerを起動中です...
・・・中略・・・

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17

VirtualBox de Oracle11g R2 RAC #17

VirtualBox de Oracle11g R2 RACのつづきです。

つづいてOracle11g R2 11.2.0.1.0 Database Installのインストール。
データベースは作成しないでソフトウェアだけのインストールを行います。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

ASMディスクグループの作成

Grid Infrastructureのインストール同様、Oracle所有者でもsshはパスフレーズありであらかじめ作成しておきます。OUIが作ってくれるだろうということを期待してね。

と、その前に、asmcaでOracleデータファイル及び、フラッシュ・リカバリ・エリア向けASMディスクグループを作成しておきました。
データファイル向けに+DATA、フラッシュ・リカバリ・エリア向けに+FRAというASMディスクグループを作成します。

Oracle11g R2 11.2.0.1.0 Database softwareのインストール

次に、Oracle Database 11g R2 11.2.0.1.0をインストールします。データベースは作成せず、別途dbcaを利用してデータベースを作成します。

省略していますが、お約束、root.shの実行もお忘れなく！

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16

VirtualBox de Oracle11g R2 RAC #16

VirtualBox de Oracle11g R2 RACのつづきです。

いよいよOracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール♪

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール

今回、確かめたかったこともあり、意図的にパスフレーズ付きでsshを手動構成しておいた。
その結果は…CVUの検査はパスするもののOUI上ではsshの構成がNGとなりOUIからsshの構成を行った。その後は問題なくインストールできた :)　便になったねOUI.

[grid@discus164 grid]$ ./runInstaller 
[1] 4417
[grid@discus164 grid]$ Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 32846MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 5951MB    問題なし
モニターの確認中: 少なくとも256色表示するよう設定されている必要があります.    実際 16777216    問題なし
Oracle Universal Installerの起動を準備中 /tmp/OraInstall2010-11-29_01-51-19PM. お待ちください...

インストールの後半で、上記画面が表示されたら、いつものお約束、orainstRoot.shの実行とroot.shスクリプトの実行です！
RACを構成する全ノードのrootユーザで。最初にOUIを実行したノードで実行。成功したら以後残りのノードで実施（残りのノードでは平行実行可能だとか…今回は２ノードなので確認できず…）。

まず、OUIを実行したノードで実行！

[root@discus164 ˜]#
[root@discus164 ˜]# /u01/app/oraInventory/orainstRoot.sh
権限を変更中 /u01/app/oraInventory.
グループの読取り/書込み権限を追加中。
全ユーザーの読取り/書込み/実行権限を削除中。

グループ名の変更 /u01/app/oraInventory 宛先 oinstall.
スクリプトの実行が完了しました。

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# /u01/app/11.2.0/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...

・・・中略・・・

  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
ADVM/ACFS is not supported on centos-release-5-5.el5.centos

CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています

・・・中略・・・

CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました

ASMは正常に作成され、起動しました。

ディスク・グループCRSは正常に作成されました。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-4256: Updating the profile
Successful addition of voting disk 5d6c953bf3aa4fe6bfff2a0f9b1e0d37.
Successfully replaced voting disk group with +CRS.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5d6c953bf3aa4fe6bfff2a0f9b1e0d37 (ORCL:CRSVOL1) [CRS]
Located 1 voting disk(s).
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています

・・・中略・・・

CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.CRS.dg'('discus164')の起動を試行しています
CRS-2676: 'ora.CRS.dg'('discus164')の起動が成功しました

discus164     2010/11/29 14:21:13     /u01/app/11.2.0/grid/cdata/discus164/backup_20101129_142113.olr
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus164 ˜]# 

ADVM/ACFS is not supported on centos-release-5-5.el5.centosという気になるメッセージがあったがこれはCentOSが正式にサポートされていないことが影響している。
一昨年暮れのエントリだけど、以下のブログが参考になるかも。

参考:
http://brianbontrager.blogspot.com/2009/09/learning-asm-breakin-rules-or-running.html

2011/1/4追記：
http://ivan.kartik.sk/index.php?show_article=49
リリースを偽装する方法もあるんだけどね。後者の方が楽は楽だけど元に戻すのが面倒だから今回はパスした。

簡単にリカバル方法がよくわかんなかったんでOracle Grid Infrastructureを一旦deinstallした。（これが一番わかりやすい！）
Oracle Grid Infrastructureをdeinstallコマンドで削除した記録は別途書くとして、一旦deinstallしたと思ってください！！！

ということで、OUIでOracle Grid Infrastractureをインストール。

orainstRoot.shを実行したところで、前述の参考ブログに記載されていたCentOS向け手当を行う。手当を行ってからroot.shを実行する。

orainstRoot.shを実行したところで、前述の参考ブログに記載されていたCentOS向け手当を行う。手当を行ってからroot.shを実行する。

CentOS上へのOracle Grid Infrastructureインストールでは大切（らしい）なので２度、書きましたよw

Oracle Grid Infrastructureユーザの$ORACLE_HOME/lib/osds_acfslib.pmの278行目以下にCentOSも正常に処理できるよう修正を加える。

[grid@discus164 ˜]$ su -
パスワード:
[root@discus164 ˜]# cd /u01/app/11.2.0/grid/lib
[root@discus164 lib]# 
[root@discus164 lib]# cp -p osds_acfslib.pm osds_acfslib.pm.org
[root@discus164 lib]# 
[root@discus164 lib]# vi osds_acfslib.pm
[root@discus164 lib]# 
[root@discus164 lib]# diff -u osds_acfslib.pm osds_acfslib.pm.org
--- osds_acfslib.pm	2010/11/29 17:19:00.000000000 +0900
+++ osds_acfslib.pm.org	2009-07-02 11:13:48.000000000 +0900
@@ -278,8 +278,7 @@
   # OK, now check to see if we support this release
   $supported = 0;
   if (($release =˜ /enterprise-release-5/) ||
-         ($release =˜ /redhat-release-5/)  ||
-	 ($release =˜ /centos-release-5/))
+         ($release =˜ /redhat-release-5/))
   {
     # Redhat 5
     $supported = 1;
[root@discus164 lib]# 

多分上記の修正だけで対処できると思うのだが、自信がないので以下のこともやっておいた… 写経になっております。m(_ _)m (RACを構成する全ノードのrootユーザで実施）

[root@discus164 ˜]# mkdir /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ls /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/*ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleacfs.ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleadvm.ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleoks.ko
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cp /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/*ko /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# chmod 744 /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# 
[root@discus164 ˜]# depmod
[root@discus164 ˜]# 
[root@discus164 ˜]# cp /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/acfsdbg /sbin
[root@discus164 ˜]# chmod 755 /sbin/acfsdbg

ここまでの作業を終えたらOUIでOracle Grid InfrastructureをOUIでインストールする。手順は前述の映像を見てくださいね。

お約束のorainstRoot.shそれに続いて、root.shをOUIを起動したノードで実施、その後、残りのノードでも同様にrootユーザで実施する。

root.shの実行。こんどは大丈夫でしょうか〜〜〜〜。

[root@discus164 grid]# ./root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-11-29 17:23:44: Parsing the host name
2010-11-29 17:23:44: Checking for super user privileges
2010-11-29 17:23:44: User has super user privileges

Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE 
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています
CRS-2672: 'ora.mdnsd'('discus164')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus164')の起動が成功しました
CRS-2676: 'ora.mdnsd'('discus164')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus164')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus164')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました

ASMは正常に作成され、起動しました。

ディスク・グループCRSは正常に作成されました。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-4256: Updating the profile
Successful addition of voting disk 8f431fe5d1304fd9bf6ad331d3aef536.
Successfully replaced voting disk group with +CRS.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   8f431fe5d1304fd9bf6ad331d3aef536 (ORCL:CRSVOL1) [CRS]
Located 1 voting disk(s).
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています
CRS-2677: 'ora.crsd'('discus164')の停止が成功しました
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2673: 'ora.ctssd'('discus164')の停止を試行しています
CRS-2677: 'ora.ctssd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus164')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus164')の停止が成功しました
CRS-2673: 'ora.cssd'('discus164')の停止を試行しています
CRS-2677: 'ora.cssd'('discus164')の停止が成功しました
CRS-2673: 'ora.gpnpd'('discus164')の停止を試行しています
CRS-2677: 'ora.gpnpd'('discus164')の停止が成功しました
CRS-2673: 'ora.gipcd'('discus164')の停止を試行しています
CRS-2677: 'ora.gipcd'('discus164')の停止が成功しました
CRS-2673: 'ora.mdnsd'('discus164')の停止を試行しています
CRS-2677: 'ora.mdnsd'('discus164')の停止が成功しました
CRS-2672: 'ora.mdnsd'('discus164')の起動を試行しています
CRS-2676: 'ora.mdnsd'('discus164')の起動が成功しました
CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus164')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus164')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus164')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.CRS.dg'('discus164')の起動を試行しています
CRS-2676: 'ora.CRS.dg'('discus164')の起動が成功しました
CRS-2672: 'ora.registry.acfs'('discus164')の起動を試行しています
CRS-2676: 'ora.registry.acfs'('discus164')の起動が成功しました

discus164     2010/11/29 17:30:15     /u01/app/11.2.0/grid/cdata/discus164/backup_20101129_173015.olr
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus164 grid]#

お〜〜、でけた。

では、他のノードでも実行
残りのノードでも同様の操作実施後root.sh実行

[root@discus264 grid]# ./root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010/11/29 17:45:30: Parsing the host name
2010/11/29 17:45:30: Checking for super user privileges
2010/11/29 17:45:30: User has super user privileges
Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE 
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-4402: CSSデーモンが排他モードで開始されましたが、ノードdiscus164、番号1のアクティブCSSデーモンが検出されたため中断します
CRS-2673: 'ora.cssdmonitor'('discus264')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus264')の停止が成功しました
CRS-2673: 'ora.gpnpd'('discus264')の停止を試行しています
CRS-2677: 'ora.gpnpd'('discus264')の停止が成功しました
CRS-2673: 'ora.gipcd'('discus264')の停止を試行しています
CRS-2677: 'ora.gipcd'('discus264')の停止が成功しました
CRS-2673: 'ora.mdnsd'('discus264')の停止を試行しています
CRS-2677: 'ora.mdnsd'('discus264')の停止が成功しました
An active cluster was found during exclusive startup, restarting to join the cluster
CRS-2672: 'ora.mdnsd'('discus264')の起動を試行しています
CRS-2676: 'ora.mdnsd'('discus264')の起動が成功しました
CRS-2672: 'ora.gipcd'('discus264')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus264')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus264')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus264')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2672: 'ora.drivers.acfs'('discus264')の起動を試行しています
CRS-2676: 'ora.drivers.acfs'('discus264')の起動が成功しました
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました

discus264     2010/11/29 17:48:45     /u01/app/11.2.0/grid/cdata/discus264/backup_20101129_174845.olr
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus264 grid]# 

root.sh実行おわり！

Grid Infrastructureインストール後の簡単な確認（RACを構成する全ノードのgrid infrastructureユーザ及び、rootユーザで実施）

crsの状態確認（RACを構成する全ノードのGrid Infrastructureユーザで

[grid@discus164 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus264 ˜]$ 

clusterノードの確認（RACを構成する全ノードのGrid Infrastructureユーザで）

[grid@discus164 ˜]$ olsnodes -n
discus164       1
discus264       2
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ olsnodes -n
discus164       1
discus264       2
[grid@discus264 ˜]$ 

リスナーの確認（RACを構成する全ノード

[grid@discus164 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_SCAN2
LISTENER_SCAN3
LISTENER
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_SCAN1
LISTENER
[grid@discus264 ˜]$ 

以下、OUIを実行したノードから確認しとけばOKかな
ASMは起動してるかな〜（Grid Infrastructureユーザで

[grid@discus164 ˜]$ srvctl status asm -a
ASMはdiscus164,discus264で実行中です
ASMは有効です。
[grid@discus164 ˜]$ 

rootユーザでcrsctlコマンド実行してますが、Grid Infrastructureホームのbinにパス通しているだけです :) 楽なので。
Oracle Cluster Registry (OCR)　- rootユーザで実施

[root@discus164 grid]# ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          3
         Total space (kbytes)     :     262120
         Used space (kbytes)      :       2364
         Available space (kbytes) :     259756
         ID                       : 1391852321
         Device/File Name         :       +CRS
                                    Device/File integrity check succeeded

                                    Device/File not configured

                                    Device/File not configured

                                    Device/File not configured

                                    Device/File not configured

         Cluster registry integrity check succeeded

         Logical corruption check succeeded

[root@discus164 grid]# 

Voting Diskの確認（Grid Infrastructureユーザで

[grid@discus164 ˜]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5d6c953bf3aa4fe6bfff2a0f9b1e0d37 (ORCL:CRSVOL1) [CRS]
1の投票ディスクを検出しました。
[grid@discus164 ˜]$ 

[grid@discus164 ~]$ crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ~]$ 

root.shのバックアップが推奨されているので、これはやっといた。

Back Up the root.sh Script

Oracle recommends that you back up the root.sh script after you
complete an installation. If you install other products
in the same Oracle home directory, then the installer updates
the contents of the existing root.sh script during the installation.
If you require information contained in the original root.sh script,
then you can recover it from the root.sh file copy.

Back up the root.sh file on both Oracle RAC nodes as root:

[grid@discus164 ˜]$ su -
パスワード:
[root@discus164 ˜]# cd /u01/app/11.2.0/grid
[root@discus164 grid]# ls -l root.sh
-rwxr-x--- 1 grid oinstall 723 11月 29 14:10 root.sh
[root@discus164 grid]# cp -p root.sh root.sh.discus164_after_install20101129
[root@discus164 grid]# 

[grid@discus264 ˜]$ su - 
パスワード:
[root@discus264 ˜]# cd /u01/app/11.2.0
[root@discus264 11.2.0]# cd grid
[root@discus264 grid]# ls -l root.sh
-rwxr-x--- 1 grid oinstall 723 11月 29 14:12 root.sh
[root@discus264 grid]# cp -p root.sh root.sh.discus264_after_install20101129
[root@discus264 grid]# 

Install Cluster Health Management Software が推奨されてるけど。別途時間があったらやる→TODO

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15

VirtualBox de Oracle11g R2 RAC #15

VirtualBox de Oracle11g R2 RACのつづきです。

今回はOracle11g R2 11.2.0.1.0 RACインストール事前作業。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 RACインストール事前作業

以下、Linux 64bit版をダウンロード
Oracle11g R2 11.2.0.1.0 for Linux (64bit）
linux.x64_11gR2_database_1of2.zip
linux.x64_11gR2_database_2of2.zip

Oracle11g R2 Grid Infrastructure for Linux (64bit)
linux.x64_11gR2_grid.zip

Oracle11g R2 Examples for Linux (64bit)
linux.x64_11gR2_examples.zip

ダウンロードした、Oracle Grid Infrastructureをgrid infrastructureユーザで解凍

[grid@discus164 oracle]$ ll
合計 1029240
-rw-r--r-- 1 grid oinstall 1052897657 11月 25 10:51 linux.x64_11gR2_grid.zip
[grid@discus164 oracle]$ unzip linux.x64_11gR2_grid.zip

・・・中略・・・

 extracting: grid/install/addLangs.sh  
  inflating: grid/runInstaller       
  inflating: grid/welcome.html       
  inflating: grid/runcluvfy.sh       
[grid@discus164 oracle]$ 

ダウンロードしたOracle11g R2 11.2.0.1.0とexamplesをOracle所有者で解凍

[oracle@discus164 oracle]$ ll
合計 2840744
-rw-r--r-- 1 oracle oinstall 1239269270 11月 25 10:56 linux.x64_11gR2_database_1of2.zip
-rw-r--r-- 1 oracle oinstall 1111416131 11月 25 10:57 linux.x64_11gR2_database_2of2.zip
-rw-r--r-- 1 oracle oinstall  555366950 11月 25 10:57 linux.x64_11gR2_examples.zip
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_database_1of2.zip

・・・中略・・・

 extracting: database/install/addLangs.sh  
  inflating: database/runInstaller   
  inflating: database/welcome.html   
[oracle@discus164 oracle]$ 
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_database_2of2.zip

・・・中略・・・

  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup13.jar  
  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup8.jar  
  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup9.jar  
[oracle@discus164 oracle]$ 
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_examples.zip

・・・中略・・・

 extracting: examples/install/addLangs.sh  
  inflating: examples/runInstaller   
  inflating: examples/welcome.html   
[oracle@discus164 oracle]$ 

cvudiskパッケージのインストール（RACを構成する全ノードのrootユーザで）

[grid@discus164 ˜]$ cd ./software/oracle/grid/rpm
[grid@discus164 rpm]$ su
パスワード:
[root@discus164 rpm]# ll
合計 12
-rw-rw-r-- 1 grid oinstall 8173  7月 15  2009 cvuqdisk-1.0.7-1.rpm
[root@discus164 rpm]# CVUQDISK_GRP=oinstall; export CVUQDISK_GRP
[root@discus164 rpm]# rpm -iv cvuqdisk-1.0.7-1.rpm
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
[root@discus164 rpm]#
 

CVUによる事前チェック（RACを構成する全ノードのOracle Grid Infrastructureユーザで実施）
-fixupオプションを付加すると修正用スクリプトが作成されますが、下記例では付加していません。（修正スクリプトを作成させた方が楽ですけどね。)

今回は全ログを省略なしで！w

[grid@discus164 grid]$ pwd
/home/grid/software/oracle/grid
[grid@discus164 grid]$ ll
合計 76
drwxr-xr-x  9 grid oinstall 4096  8月 17  2009 doc
drwxr-xr-x  4 grid oinstall 4096 12月  3 11:05 install
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 response
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 rpm
-rwxr-xr-x  1 grid oinstall 3227  8月 15  2009 runInstaller
-rwxrwxr-x  1 grid oinstall 3795  1月 29  2009 runcluvfy.sh
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 sshsetup
drwxr-xr-x 14 grid oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 grid oinstall 4228  8月 18  2009 welcome.html
[grid@discus164 grid]$
[grid@discus164 grid]$
[grid@discus164 grid]$ ./runcluvfy.sh stage -pre crsinst -n discus164,discus264 -verbose

クラスタ・サービス設定の事前チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus164"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: ノード"discus164"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...

チェック: ユーザー"grid"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus264                             合格                      
  discus164                             合格                      
結果: ユーザー"grid"のユーザー等価チェックに合格しました

ノード接続性をチェック中...

ホスト構成ファイルをチェック中...
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     合格                                                
  discus164     合格                                                

ホスト構成ファイルの検証に成功しました


ノード"discus264"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.91    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:CC:3B:97 1500  
 eth1   192.168.3.91    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:2F:97:0D 1500  
 eth2   192.168.2.91    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:AD:F8:40 1500  


ノード"discus164"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.90    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:B1:38:96 1500  
 eth1   192.168.3.90    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:FC:A5:8E 1500  
 eth2   192.168.2.90    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:47:E9:2C 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth0                  discus164:eth0                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.1.0"のノード接続性に合格しました


チェック: サブネット"192.168.1.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.1.90          discus264:192.168.1.91          合格              
結果: サブネット"192.168.1.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.3.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth1                  discus164:eth1                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.3.0"のノード接続性に合格しました


チェック: サブネット"192.168.3.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.3.90          discus264:192.168.3.91          合格              
結果: サブネット"192.168.3.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth2                  discus164:eth2                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.2.0"のノード接続性に合格しました


チェック: サブネット"192.168.2.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.2.90          discus264:192.168.2.91          合格              
結果: サブネット"192.168.2.0"のTCP接続性チェックに合格しました


VIPの候補となるサブネット"192.168.1.0"で見つかったインタフェースは次のとおりです:
discus264 eth0:192.168.1.91
discus164 eth0:192.168.1.90

プライベート・インターコネクトの候補となるサブネット"192.168.3.0"で見つかったインタフェースは次のとおりです:
discus264 eth1:192.168.3.91
discus164 eth1:192.168.3.90

プライベート・インターコネクトの候補となるサブネット"192.168.2.0"で見つかったインタフェースは次のとおりです:
discus264 eth2:192.168.2.91
discus164 eth2:192.168.2.90

結果: ノード接続性チェックに合格しました


チェック: メモリー合計 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     3.86GB (4051640.0KB)      1.5GB (1572864.0KB)       合格        
  discus164     3.86GB (4051640.0KB)      1.5GB (1572864.0KB)       合格        
結果: メモリー合計チェックに合格しました

チェック: 使用可能なメモリー 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     3.5GB (3673300.0KB)       50MB (51200.0KB)          合格        
  discus164     3.34GB (3498792.0KB)      50MB (51200.0KB)          合格        
結果: 使用可能なメモリーチェックに合格しました

チェック: スワップ領域 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     5.81GB (6094840.0KB)      3.86GB (4051640.0KB)      合格        
  discus164     5.81GB (6094840.0KB)      3.86GB (4051640.0KB)      合格        
結果: スワップ領域チェックに合格しました

チェック: "discus264:/tmp"のディスク空き領域 
  パス                ノード名          マウント・ポイント     使用可能          必須            コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              discus264     /             37.78GB       1GB           合格          
結果: "discus264:/tmp"のディスク空き領域チェックに合格しました

チェック: "discus164:/tmp"のディスク空き領域 
  パス                ノード名          マウント・ポイント     使用可能          必須            コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              discus164     /             33.62GB       1GB           合格          
結果: "discus164:/tmp"のディスク空き領域チェックに合格しました

チェック: "grid"の既存ユーザー 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "grid"の既存ユーザーチェックに合格しました

チェック: "oinstall"のグループの存在 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "oinstall"のグループの存在チェックに合格しました

チェック: "dba"のグループの存在 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "dba"のグループの存在チェックに合格しました

チェック: グループ"oinstall"内のユーザー"grid"[プライマリ]のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    プライマリ         コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  discus264         はい            はい            はい            はい            合格          
  discus164         はい            はい            はい            はい            合格          
結果: グループ"oinstall"内のユーザー"grid"[プライマリ]のメンバーシップ・チェックに合格しました

チェック: グループ"dba"内のユーザー"grid"のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         はい            はい            いいえ           失敗              
  discus164         はい            はい            いいえ           失敗              
結果: グループ"dba"内のユーザー"grid"のメンバーシップ・チェックが失敗しました

チェック: 実行レベル 
  ノード名          実行レベル                     必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     5                         3,5                       合格        
  discus164     5                         3,5                       合格        
結果: 実行レベルチェックに合格しました

チェック: "最大オープン・ファイル記述子数"の強い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         強い            65536         65536         合格              
  discus164         強い            65536         65536         合格              
結果: "最大オープン・ファイル記述子数"の強い制限チェックに合格しました

チェック: "最大オープン・ファイル記述子数"の弱い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         弱い            1024          1024          合格              
  discus164         弱い            1024          1024          合格              
結果: "最大オープン・ファイル記述子数"の弱い制限チェックに合格しました

チェック: "最大ユーザー・プロセス"の強い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         強い            16384         16384         合格              
  discus164         強い            16384         16384         合格              
結果: "最大ユーザー・プロセス"の強い制限チェックに合格しました

チェック: "最大ユーザー・プロセス"の弱い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         弱い            2047          2047          合格              
  discus164         弱い            2047          2047          合格              
結果: "最大ユーザー・プロセス"の弱い制限チェックに合格しました

チェック: システム・アーキテクチャ 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     x86_64                    x86_64                    合格        
  discus164     x86_64                    x86_64                    合格        
結果: システム・アーキテクチャチェックに合格しました

チェック: カーネル・バージョン 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     2.6.18-194.17.1.el5       2.6.9                     合格        
  discus164     2.6.18-194.17.1.el5       2.6.9                     合格        
結果: カーネル・バージョンチェックに合格しました

チェック: "semmsl"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     250                       250                       合格        
  discus164     250                       250                       合格        
結果: "semmsl"のカーネル・パラメータチェックに合格しました

チェック: "semmns"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     32000                     32000                     合格        
  discus164     32000                     32000                     合格        
結果: "semmns"のカーネル・パラメータチェックに合格しました

チェック: "semopm"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     100                       100                       合格        
  discus164     100                       100                       合格        
結果: "semopm"のカーネル・パラメータチェックに合格しました

チェック: "semmni"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     128                       128                       合格        
  discus164     128                       128                       合格        
結果: "semmni"のカーネル・パラメータチェックに合格しました

チェック: "shmmax"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     68719476736               536870912                 合格        
  discus164     68719476736               536870912                 合格        
結果: "shmmax"のカーネル・パラメータチェックに合格しました

チェック: "shmmni"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4096                      4096                      合格        
  discus164     4096                      4096                      合格        
結果: "shmmni"のカーネル・パラメータチェックに合格しました

チェック: "shmall"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4294967296                2097152                   合格        
  discus164     4294967296                2097152                   合格        
結果: "shmall"のカーネル・パラメータチェックに合格しました

チェック: "file-max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     6815744                   6815744                   合格        
  discus164     6815744                   6815744                   合格        
結果: "file-max"のカーネル・パラメータチェックに合格しました

チェック: "ip_local_port_range"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     between 9000 & 65500      between 9000 & 65500      合格        
  discus164     between 9000 & 65500      between 9000 & 65500      合格        
結果: "ip_local_port_range"のカーネル・パラメータチェックに合格しました

チェック: "rmem_default"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     262144                    262144                    合格        
  discus164     262144                    262144                    合格        
結果: "rmem_default"のカーネル・パラメータチェックに合格しました

チェック: "rmem_max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4194304                   4194304                   合格        
  discus164     4194304                   4194304                   合格        
結果: "rmem_max"のカーネル・パラメータチェックに合格しました

チェック: "wmem_default"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     262144                    262144                    合格        
  discus164     262144                    262144                    合格        
結果: "wmem_default"のカーネル・パラメータチェックに合格しました

チェック: "wmem_max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     1048576                   1048576                   合格        
  discus164     1048576                   1048576                   合格        
結果: "wmem_max"のカーネル・パラメータチェックに合格しました

チェック: "aio-max-nr"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     1048576                   1048576                   合格        
  discus164     1048576                   1048576                   合格        
結果: "aio-max-nr"のカーネル・パラメータチェックに合格しました

チェック: "make-3.80"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     make-3.81-3.el5           make-3.80                 合格        
  discus164     make-3.81-3.el5           make-3.80                 合格        
結果: "make-3.80"のパッケージの存在チェックに合格しました

チェック: "binutils-2.15.92.0.2"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     binutils-2.17.50.0.6-14.el5  binutils-2.15.92.0.2      合格        
  discus164     binutils-2.17.50.0.6-14.el5  binutils-2.15.92.0.2      合格        
結果: "binutils-2.15.92.0.2"のパッケージの存在チェックに合格しました

チェック: "gcc-3.4.6"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     gcc-4.1.2-48.el5          gcc-3.4.6                 合格        
  discus164     gcc-4.1.2-48.el5          gcc-3.4.6                 合格        
結果: "gcc-3.4.6"のパッケージの存在チェックに合格しました

チェック: "libaio-0.3.105 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-0.3.106-5 (i386)   libaio-0.3.105 (i386)     合格        
  discus164     libaio-0.3.106-5 (i386)   libaio-0.3.105 (i386)     合格        
結果: "libaio-0.3.105 (i386)"のパッケージの存在チェックに合格しました

チェック: "libaio-0.3.105 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-0.3.106-5 (x86_64)  libaio-0.3.105 (x86_64)   合格        
  discus164     libaio-0.3.106-5 (x86_64)  libaio-0.3.105 (x86_64)   合格        
結果: "libaio-0.3.105 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "glibc-2.3.4-2.41 (i686)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-2.5-49.el5_5.6 (i686)  glibc-2.3.4-2.41 (i686)   合格        
  discus164     glibc-2.5-49.el5_5.6 (i686)  glibc-2.3.4-2.41 (i686)   合格        
結果: "glibc-2.3.4-2.41 (i686)"のパッケージの存在チェックに合格しました

チェック: "glibc-2.3.4-2.41 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-2.5-49.el5_5.6 (x86_64)  glibc-2.3.4-2.41 (x86_64)  合格        
  discus164     glibc-2.5-49.el5_5.6 (x86_64)  glibc-2.3.4-2.41 (x86_64)  合格        
結果: "glibc-2.3.4-2.41 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "compat-libstdc++-33-3.2.3 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     compat-libstdc++-33-3.2.3-61 (i386)  compat-libstdc++-33-3.2.3 (i386)  合格        
  discus164     compat-libstdc++-33-3.2.3-61 (i386)  compat-libstdc++-33-3.2.3 (i386)  合格        
結果: "compat-libstdc++-33-3.2.3 (i386)"のパッケージの存在チェックに合格しました

チェック: "compat-libstdc++-33-3.2.3 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     compat-libstdc++-33-3.2.3-61 (x86_64)  compat-libstdc++-33-3.2.3 (x86_64)  合格        
  discus164     compat-libstdc++-33-3.2.3-61 (x86_64)  compat-libstdc++-33-3.2.3 (x86_64)  合格        
結果: "compat-libstdc++-33-3.2.3 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "elfutils-libelf-0.97 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     elfutils-libelf-0.137-3.el5 (x86_64)  elfutils-libelf-0.97 (x86_64)  合格        
  discus164     elfutils-libelf-0.137-3.el5 (x86_64)  elfutils-libelf-0.97 (x86_64)  合格        
結果: "elfutils-libelf-0.97 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "elfutils-libelf-devel-0.97"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.97  合格        
  discus164     elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.97  合格        
結果: "elfutils-libelf-devel-0.97"のパッケージの存在チェックに合格しました

チェック: "glibc-common-2.3.4"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-common-2.5-49.el5_5.6  glibc-common-2.3.4        合格        
  discus164     glibc-common-2.5-49.el5_5.6  glibc-common-2.3.4        合格        
結果: "glibc-common-2.3.4"のパッケージの存在チェックに合格しました

チェック: "glibc-devel-2.3.4 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-devel-2.5-49.el5_5.6 (x86_64)  glibc-devel-2.3.4 (x86_64)  合格        
  discus164     glibc-devel-2.5-49.el5_5.6 (x86_64)  glibc-devel-2.3.4 (x86_64)  合格        
結果: "glibc-devel-2.3.4 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "glibc-headers-2.3.4"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-headers-2.5-49.el5_5.6  glibc-headers-2.3.4       合格        
  discus164     glibc-headers-2.5-49.el5_5.6  glibc-headers-2.3.4       合格        
結果: "glibc-headers-2.3.4"のパッケージの存在チェックに合格しました

チェック: "gcc-c++-3.4.6"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     gcc-c++-4.1.2-48.el5      gcc-c++-3.4.6             合格        
  discus164     gcc-c++-4.1.2-48.el5      gcc-c++-3.4.6             合格        
結果: "gcc-c++-3.4.6"のパッケージの存在チェックに合格しました

チェック: "libaio-devel-0.3.105 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-devel-0.3.106-5 (i386)  libaio-devel-0.3.105 (i386)  合格        
  discus164     libaio-devel-0.3.106-5 (i386)  libaio-devel-0.3.105 (i386)  合格        
結果: "libaio-devel-0.3.105 (i386)"のパッケージの存在チェックに合格しました

チェック: "libaio-devel-0.3.105 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-devel-0.3.106-5 (x86_64)  libaio-devel-0.3.105 (x86_64)  合格        
  discus164     libaio-devel-0.3.106-5 (x86_64)  libaio-devel-0.3.105 (x86_64)  合格        
結果: "libaio-devel-0.3.105 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libgcc-3.4.6 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libgcc-4.1.2-48.el5 (i386)  libgcc-3.4.6 (i386)       合格        
  discus164     libgcc-4.1.2-48.el5 (i386)  libgcc-3.4.6 (i386)       合格        
結果: "libgcc-3.4.6 (i386)"のパッケージの存在チェックに合格しました

チェック: "libgcc-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libgcc-4.1.2-48.el5 (x86_64)  libgcc-3.4.6 (x86_64)     合格        
  discus164     libgcc-4.1.2-48.el5 (x86_64)  libgcc-3.4.6 (x86_64)     合格        
結果: "libgcc-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-3.4.6 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-4.1.2-48.el5 (i386)  libstdc++-3.4.6 (i386)    合格        
  discus164     libstdc++-4.1.2-48.el5 (i386)  libstdc++-3.4.6 (i386)    合格        
結果: "libstdc++-3.4.6 (i386)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-4.1.2-48.el5 (x86_64)  libstdc++-3.4.6 (x86_64)  合格        
  discus164     libstdc++-4.1.2-48.el5 (x86_64)  libstdc++-3.4.6 (x86_64)  合格        
結果: "libstdc++-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-devel-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-devel-4.1.2-48.el5 (x86_64)  libstdc++-devel-3.4.6 (x86_64)  合格        
  discus164     libstdc++-devel-4.1.2-48.el5 (x86_64)  libstdc++-devel-3.4.6 (x86_64)  合格        
結果: "libstdc++-devel-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "sysstat-5.0.5"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     sysstat-7.0.2-3.el5_5.1   sysstat-5.0.5             合格        
  discus164     sysstat-7.0.2-3.el5_5.1   sysstat-5.0.5             合格        
結果: "sysstat-5.0.5"のパッケージの存在チェックに合格しました

チェック: "unixODBC-2.2.11 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-2.2.11-7.1 (i386)  unixODBC-2.2.11 (i386)    合格        
  discus164     unixODBC-2.2.11-7.1 (i386)  unixODBC-2.2.11 (i386)    合格        
結果: "unixODBC-2.2.11 (i386)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-2.2.11 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-2.2.11-7.1 (x86_64)  unixODBC-2.2.11 (x86_64)  合格        
  discus164     unixODBC-2.2.11-7.1 (x86_64)  unixODBC-2.2.11 (x86_64)  合格        
結果: "unixODBC-2.2.11 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-devel-2.2.11 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-devel-2.2.11-7.1 (i386)  unixODBC-devel-2.2.11 (i386)  合格        
  discus164     unixODBC-devel-2.2.11-7.1 (i386)  unixODBC-devel-2.2.11 (i386)  合格        
結果: "unixODBC-devel-2.2.11 (i386)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-devel-2.2.11 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-devel-2.2.11-7.1 (x86_64)  unixODBC-devel-2.2.11 (x86_64)  合格        
  discus164     unixODBC-devel-2.2.11-7.1 (x86_64)  unixODBC-devel-2.2.11 (x86_64)  合格        
結果: "unixODBC-devel-2.2.11 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "pdksh-5.2.14"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     pdksh-5.2.14-36.el5       pdksh-5.2.14              合格        
  discus164     pdksh-5.2.14-36.el5       pdksh-5.2.14              合格        
結果: "pdksh-5.2.14"のパッケージの存在チェックに合格しました

チェック: "expat-1.95.7 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     expat-1.95.8-8.3.el5_5.3 (x86_64)  expat-1.95.7 (x86_64)     合格        
  discus164     expat-1.95.8-8.3.el5_5.3 (x86_64)  expat-1.95.7 (x86_64)     合格        
結果: "expat-1.95.7 (x86_64)"のパッケージの存在チェックに合格しました

UID値0を持つ複数のユーザーをチェック中
結果: UID値0を持つ複数のユーザーのチェックに合格しました

チェック: 現行のグループID 
結果: 現行のグループIDチェックに合格しました
コア・ファイル名パターンの一貫性をチェック中...
コア・ファイル名パターンの一貫性チェックに合格しました。

ユーザー"grid"が"root"グループにないことを確認中
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在しません                    合格                      
  discus164     存在しません                    合格                      
結果: ユーザー"grid"は"root"グループの一部ではありません。チェックに合格しました

デフォルトのユーザー・ファイル作成マスクのチェック
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     0022                      0022                      合格        
  discus164     0022                      0022                      合格        
結果: デフォルトのユーザー・ファイル作成マスクのチェックに合格しました

ネットワーク・タイム・プロトコル(NTP)を使用してクロック同期のチェックを開始中...

NTP構成ファイルのチェックが開始されました...
NTP構成ファイル"/etc/ntp.conf"はすべてのノードで使用できます
NTP構成ファイルのチェックに合格しました

デーモン活性をチェック中...

チェック: "ntpd"の活性
  ノード名                                  実行中ですか                  
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: "ntpd"の活性チェックに合格しました

NTPデーモンのコマンドラインのslewオプション"-x"をチェック中
チェック: NTPデーモン・コマンド・ライン
  ノード名                                  Slewオプションが設定されているか      
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: 
NTPデーモンのslewオプションのチェックに合格しました

ファイル"/etc/sysconfig/ntpd"内のNTPデーモンのブート時構成のslewオプション"-x"をチェック中

チェック: NTPデーモンのブート時構成
  ノード名                                  Slewオプションが設定されているか      
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: 
NTPデーモンのブート時構成のslewオプションのチェックに合格しました

NTP共通タイム・サーバーのチェックが開始されました...
NTPタイム・サーバー"210.173.160.86"は、NTPデーモンが実行されているすべてのノードで共通です
NTPタイム・サーバー"210.173.176.251"は、NTPデーモンが実行されているすべてのノードで共通です
PRVF-5408 : NTPタイム・サーバー"210.173.160.56"は、次のノード"discus264"でのみ共通です
共通NTPタイム・サーバーのチェックに合格しました

NTPタイム・サーバーからのクロック時間オフセットのチェックが開始されました...
ノード"[discus264, discus164]"をチェック中...
チェック: NTP タイム・サーバーからのクロック時間オフセット

タイム・サーバー: 210.173.160.86 
時間オフセット制限: 1000.0 ミリ秒
  ノード名          時間オフセット                   ステータス                   
  ------------  ------------------------  ------------------------
  discus264     -428.02                   合格                      
  discus164     0.164                     合格                      
タイム・サーバー"210.173.160.86"の時間オフセットは、ノード"[discus264, discus164]"の許容限界内です。

タイム・サーバー: 210.173.176.251 
時間オフセット制限: 1000.0 ミリ秒
  ノード名          時間オフセット                   ステータス                   
  ------------  ------------------------  ------------------------
  discus264     -427.36                   合格                      
  discus164     0.417                     合格                      
タイム・サーバー"210.173.176.251"の時間オフセットは、ノード"[discus264, discus164]"の許容限界内です。
クロック時間オフセットのチェックに合格しました

結果: ネットワーク・タイム・プロトコル(NTP)を使用したクロック同期のチェックに合格しました

クラスタ・サービス設定の事前チェックはすべてのノードで失敗しました。

「結果: グループ"dba"内のユーザー"grid"のメンバーシップ・チェックが失敗しました」という箇所は無視可能というかマニュアルにもGrid Infrastructureユーザをdbaグループに属させる必要があると記載されていないので無視でOK.

次に、H/WとOSの設定の事前チェック（RACを構成する全ノードのOracle Grid Infrastructureユーザで実施）

[grid@discus164 grid]$ pwd
/home/grid/software/oracle/grid
[grid@discus164 grid]$ ll
合計 76
drwxr-xr-x  9 grid oinstall 4096  8月 17  2009 doc
drwxr-xr-x  4 grid oinstall 4096 12月  3 11:05 install
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 response
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 rpm
-rwxr-xr-x  1 grid oinstall 3227  8月 15  2009 runInstaller
-rwxrwxr-x  1 grid oinstall 3795  1月 29  2009 runcluvfy.sh
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 sshsetup
drwxr-xr-x 14 grid oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 grid oinstall 4228  8月 18  2009 welcome.html
[grid@discus164 grid]$
[grid@discus164 grid]$
[grid@discus164 grid]$ ./runcluvfy.sh stage -post hwos -n discus164,discus264 -verbose

ハードウェアとオペレーティング・システム設定の事後チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus164"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: ノード"discus164"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...

チェック: ユーザー"grid"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus264                             合格                      
  discus164                             合格                      
結果: ユーザー"grid"のユーザー等価チェックに合格しました

ノード接続性をチェック中...

ホスト構成ファイルをチェック中...
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     合格                                                
  discus164     合格                                                

ホスト構成ファイルの検証に成功しました


ノード"discus264"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.91    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:CC:3B:97 1500  
 eth1   192.168.3.91    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:2F:97:0D 1500  
 eth2   192.168.2.91    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:AD:F8:40 1500  


ノード"discus164"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.90    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:B1:38:96 1500  
 eth1   192.168.3.90    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:FC:A5:8E 1500  
 eth2   192.168.2.90    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:47:E9:2C 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth0                  discus164:eth0                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.1.0"のノード接続性に合格しました


チェック: サブネット"192.168.1.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.1.90          discus264:192.168.1.91          合格              
結果: サブネット"192.168.1.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.3.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth1                  discus164:eth1                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.3.0"のノード接続性に合格しました


チェック: サブネット"192.168.3.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.3.90          discus264:192.168.3.91          合格              
結果: サブネット"192.168.3.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth2                  discus164:eth2                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.2.0"のノード接続性に合格しました


チェック: サブネット"192.168.2.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.2.90          discus264:192.168.2.91          合格              
結果: サブネット"192.168.2.0"のTCP接続性チェックに合格しました


VIPの候補となるサブネット"192.168.1.0"で見つかったインタフェースは次のとおりです:
discus264 eth0:192.168.1.91
discus164 eth0:192.168.1.90

プライベート・インターコネクトの候補となるサブネット"192.168.3.0"で見つかったインタフェースは次のとおりです:
discus264 eth1:192.168.3.91
discus164 eth1:192.168.3.90

プライベート・インターコネクトの候補となるサブネット"192.168.2.0"で見つかったインタフェースは次のとおりです:
discus264 eth2:192.168.2.91
discus164 eth2:192.168.2.90

結果: ノード接続性チェックに合格しました


UID値0を持つ複数のユーザーをチェック中
結果: UID値0を持つ複数のユーザーのチェックに合格しました

ハードウェアとオペレーティング・システム設定の事後チェックは成功しました。 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14

VirtualBox de Oracle11g R2 RAC #14

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、ASMlibのインストール及び構成です。（やっと半分w)

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成

[root@discus164 tmp]# uname -a
Linux discus164.macdeoracle.jp 2.6.18-194.17.1.el5 #1 SMP Wed Sep 29 12:50:31 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

CentOS5.5 2.6.18-194.17.1.el5 x86_64なので、以下のasmパッケージをRACを構成する全ノードでインストール、構成する。

oracleasm-support-2.1.3-1.el5.x86_64.rpm
oracleasmlib-2.0.4-1.el5.x86_64.rpm
oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm

ダウンロード（RACを構成する全ノードのrootユーザで）CentOS5.5 x86_64ですが、ダウンロードするのはrhel5 amd64版でOK

[root@discus164 tmp]# wget http://oss.oracle.com/projects/oracleasm-support/dist/files/RPMS/rhel5/amd64/2.1.3/oracleasm-support-2.1.3-1.el5.x86_64.rpm
--2010-11-24 16:19:15--  http://oss.oracle.com/projects/oracleasm-support/dist/files/RPMS/rhel5/amd64/2.1.3/oracleasm-support-2.1.3-1.el5.x86_64.rpm
oss.oracle.com をDNSに問いあわせています... 141.146.12.120
oss.oracle.com|141.146.12.120|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 90444 (88K) [application/x-rpm]
`oracleasm-support-2.1.3-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 90,444       105K/s 時間 0.8s    

2010-11-24 16:19:17 (105 KB/s) - `oracleasm-support-2.1.3-1.el5.x86_64.rpm' へ保存完了 [90444/90444]

[root@discus164 tmp]# wget http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm
--2010-11-24 16:19:30--  http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm
download.oracle.com をDNSに問いあわせています... 203.77.186.253, 203.77.186.254
download.oracle.com|203.77.186.253|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 14176 (14K) [text/plain]
`oracleasmlib-2.0.4-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 14,176      --.-K/s 時間 0.01s   

2010-11-24 16:19:30 (1.33 MB/s) - `oracleasmlib-2.0.4-1.el5.x86_64.rpm' へ保存完了 [14176/14176]

[root@discus164 tmp]# wget
http://oss.oracle.com/projects/oracleasm/dist/files/RPMS/rhel5/amd64/2.0.5/2.6.18-194.17.1.el5/oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm
--2010-11-24 16:19:44-- http://oss.oracle.com/projects/oracleasm/dist/files/RPMS/rhel5/amd64/2.0.5/2.6.18-194.17.1.el5/oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm
oss.oracle.com をDNSに問いあわせています... 141.146.12.120
oss.oracle.com|141.146.12.120|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 137417 (134K) [application/x-rpm]
`oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 137,417      161K/s 時間 0.8s    

2010-11-24 16:19:46 (161 KB/s) - `oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm' へ保存完了 [137417/137417]

[root@discus164 tmp]# 

インストール（RACを構成する全ノードのrootユーザで）

[root@discus164 tmp]# rpm -ivh oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm oracleasm-support-2.1.3-1.el5.x86_64.rpm oracleasmlib-2.0.4-1.el5.x86_64.rpm
警告: oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm: ヘッダ V3 DSA signature: NOKEY, key ID 1e5e0159
準備中...                ########################################### [100%]
   1:oracleasm-support      ########################################### [ 33%]
   2:oracleasm-2.6.18-194.17########################################### [ 67%]
   3:oracleasmlib           ########################################### [100%]
[root@discus164 tmp]# 

構成（RACを構成する全ノードのrootユーザで）

[root@discus164 ˜]# /usr/sbin/oracleasm configure
ORACLEASM_ENABLED=false
ORACLEASM_UID=
ORACLEASM_GID=
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER=""
ORACLEASM_SCANEXCLUDE=""
[root@discus164 ˜]# /usr/sbin/oracleasm configure -i
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting  without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: grid
Default group to own the driver interface []: asmadmin
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
[root@discus164 ˜]# 
[root@discus164 ˜]# /usr/sbin/oracleasm init
Creating /dev/oracleasm mount point: /dev/oracleasm
Loading module "oracleasm": oracleasm
Mounting ASMlib driver filesystem: /dev/oracleasm
[root@discus164 ˜]# 

ASMディスクの作成（RACを構成する１ノードのrootユーザで実行する）
iSCSIとして作成したデバイスへ作成する。

[root@discus164 iscsi]# ls -l /dev/iscsi/*
/dev/iscsi/openfiler:asm1:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdb
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdb1

/dev/iscsi/openfiler:asm2:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdf
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdf1

/dev/iscsi/openfiler:asm3:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sde
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sde1

/dev/iscsi/openfiler:asm4:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdd
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdd1

/dev/iscsi/openfiler:crs1:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdg
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdg1

/dev/iscsi/openfiler:crs2:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdc
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdc1
[root@discus164 iscsi]#
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk CRSVOL1 /dev/iscsi/openfiler:crs1/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk CRSVOL2 /dev/iscsi/openfiler:crs2/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk DATAVOL1 /dev/iscsi/openfiler:asm1/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk DATAVOL2 /dev/iscsi/openfiler:asm2/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk FRAVOL1 /dev/iscsi/openfiler:asm3/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk FRAVOL2 /dev/iscsi/openfiler:asm4/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# 

ASMディスクを確認（RACを構成する全ノードのrootユーザで）
ASMディスクを作成したノード以外で scandisksコマンドを実行して認識させる。

[root@discus264 ˜]# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "FRAVOL2"
Instantiating disk "FRAVOL1"
Instantiating disk "DATAVOL1"
Instantiating disk "CRSVOL2"
Instantiating disk "DATAVOL2"
Instantiating disk "CRSVOL1"
[root@discus264 ˜]# 

listdisksコマンドでASMディスクが認識されたか確認！

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# /usr/sbin/oracleasm listdisks
CRSVOL1
CRSVOL2
DATAVOL1
DATAVOL2
FRAVOL1
FRAVOL2
[root@discus164 ˜]# 

[root@discus264 ˜]# 
[root@discus264 ˜]# 
[root@discus264 ˜]# /usr/sbin/oracleasm listdisks
CRSVOL1
CRSVOL2
DATAVOL1
DATAVOL2
FRAVOL1
FRAVOL2
[root@discus264 ˜]# 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13

VirtualBox de Oracle11g R2 RAC #13

VirtualBox de Oracle11g R2 RACのつづきです。

RACを構成する各ノードの構成ファイルを確認しておきま〜す。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle RACノード構成ファイルの確認

RACを構成する各ノードの構成ファイルをざっと確認。ここまでの作業でRACを構成する各ノードの構成ファイルは以下のようになっているはず…

/etc/hosts

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip

192.168.1.2	lampeye.macdeoracle.jp		lampeye

/etc/security/limits.conf

[root@discus164 security]# diff -u limits.conf.org limits.conf
--- limits.conf.org     2010-03-12 02:24:15.000000000 +0900
+++ limits.conf 2010-11-24 11:10:30.000000000 +0900
@@ -48,3 +48,11 @@
 #@student        -       maxlogins       4
 
 # End of file
+grid soft nproc 2047
+grid hard nproc 16384
+grid soft nofile 1024
+grid hard nofile 65536
+oracle soft nproc 2047
+oracle hard nproc 16384
+oracle soft nofile 1024
+oracle hard nofile 65536
[root@discus164 security]# 

/etc/pam.d/login

[root@discus164 pam.d]# diff -u login.org login
--- login.org   2010-01-20 19:36:29.000000000 +0900
+++ login       2010-11-24 11:16:33.000000000 +0900
@@ -12,3 +12,4 @@
 # pam_selinux.so open should only be followed by sessions to be executed in the user context
 session    required     pam_selinux.so open
 session    optional     pam_keyinit.so force revoke
+session    required     pam_limits.so
[root@discus164 pam.d]# 

/etc/profile

[root@discus164 etc]# diff -u profile.org profile
--- profile.org 2009-09-22 08:27:09.000000000 +0900
+++ profile     2010-11-24 11:21:27.000000000 +0900
@@ -56,3 +56,12 @@
 
 unset i
 unset pathmunge
+if [ $USER = "oracle" ] || [ $USER = "grid" ]; then 
+    if [ $SHELL = "/bin/ksh" ]; then
+        ulimit -p 16384
+        ulimit -n 65536
+    else
+        ulimit -u 16384 -n 65536
+    fi
+    umask 022
+fi
[root@discus164 etc]# 

/etc/sysctl.conf

[root@discus164 ˜]# sysctl -a | grep -E '(se|sh)m|file-max|aio-max-nr|ip_local_port_range|(w|r)mem_(default|max)'
net.ipv4.ip_local_port_range = 32768    61000
net.core.rmem_default = 129024
net.core.wmem_default = 129024
net.core.rmem_max = 131071
net.core.wmem_max = 131071
vm.hugetlb_shm_group = 0
kernel.sem = 250        32000   32      128
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
fs.aio-max-nr = 65536
fs.file-max = 371217
[root@discus164 ˜]# 

/etc/udev/rules.d/55-openiscsi.rules

[root@discus164 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
[root@discus164 ˜]#

/etc/udev/scripts

[root@discus164 ˜]# cd /etc/udev/scripts
[root@discus164 scripts]# cat iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}
[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"
[root@discus164 scripts]# 

/etc/ntp.conf

[root@discus164 ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
#restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
#server 127.127.1.0
#fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
server 192.168.1.2
server 192.168.1.2
server 192.168.1.2
restrict 192.168.1.2 mask 255.255.255.255 nomodify notrap noquery
[root@discus164 ˜]# 

/etc/sysconfig/ntpd

[root@discus164 ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@discus164 ˜]# 

/etc/host.conf

[root@discus164 ˜]$ cat /etc/host.conf
order hosts,bind

Oracle Grid Infrastructureユーザや、Oracle所有者の確認はこちら

念のためにuserとgroupのスナップショットを乗せておきますね。

Openfier側構成(やゾンビセッション抑止などは以前の記事参照のこと）

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12

VirtualBox de Oracle11g R2 RAC #12

VirtualBox de Oracle11g R2 RACのつづきです。

今回はRACノード構成ファイルの確認という予定だったのですが、DNSの構成を別建てにして置く事にします。量が多いので (^^;;

構成するDNSは、ローカルネットワークかつRACを構成するノードの管理さえできればいいので、ローカルネームサーバとして機能すれば十分。
ということで、RAC向けローカルネームサーバを構成することにします。（DNSは素人なので調べるほうが大変だったw)

では、さっそくやってみましょう。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

DNSの構成

悩んだのが、DNSをどこにたてるかということ。いろいろ悩んでいたんですが、元ネタの１つからいいアイデアもらいました。
それは、DNSをOpenfiler上に構成するということ。ストレージサーバなのでRACを構成する各ノードより先に起動していますし。:)

最初にやるのはDNSサーバを最新版にアップデートすること。でもでもでもですね。以前痛い目にあっていたのでOpenfilerというかrPath Linuxのパッケージ管理は無効化していたんです。このままじゃDNSの最新パッケージを使えないので一時的に使えるようにします。

Openfilerのパッケージ管理は、conaryというrPath Linux由来のものが利用されています。/etc/conaryrcの内容をすべてコメントアウトして利用できないようしてあります。

[root@arowana2 ˜]# cat /etc/conaryrc
#installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
#pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
#autoResolve True
#includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]# 

コメントアウトしていただけなのですぐに利用できるように戻せるのだ！ :)

[root@arowana2 ˜]# cat /etc/conaryrc
installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
autoResolve True
includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]# 

conaryをつかってbindを最新版にアップデート！！

[root@arowana2 ˜]# conary update bind:runtime

確認！　最新版になりました！

[root@arowana2 ˜]# conary q bind
bind=9.4.3_P5-1.1-1

再び、conaryを無効化しておく。（トラウマなだけで今は安定しているかもしれんw　だけど止めとくw)

[root@arowana2 ˜]# cat /etc/conaryrc
#installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
#pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
#autoResolve True
#includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]# 

Openfiler（host名：arowana2）で、DNSの構成を始めるにあたって参考にしたサイトを書いておきますね。

・Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.7.4 グリッド・ネーミング・サービスの構成例
・Openfiler側にDNSを立てるというアイデアを頂いたサイト。元ネタの１つでもある。
・DNSの素人なりにいろいろググって見つけたすげー参考になったサイト「月刊NetworkWorld連載『DNSの仕組み完全解説』」(ありがとうございます！）

今回構築するRACのネットワーク構成は以前の書いたが以下のように構成する。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus164	Public	192.168.1.90	hostsおよびDNS
discus164-iscsi	Private	192.168.2.90
discus164-priv	Private	192.168.3.90
discus164-vip	Virtual	192.168.1.190
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus264	Public	192.168.1.91	hostsおよびDNS
discus264-iscsi	Private	192.168.2.91
discus264-priv	Private	192.168.3.91
discus264-vip	Virtual	192.168.1.191
SCAN VIP1/2/3
Hostname	タイプ	IP address	名前解決方法
discus-rac64-scan	Virtual	192.168.1.200	DNS
discus-rac64-scan		192.168.1.201
discus-rac64-scan		192.168.1.202
Openfiler2.3(iSCSI) - (hostname=arowana2.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
arowana2	Public	192.168.1.92	hostsおよびDNS
arowana2-priv	Private	192.168.2.92

・DNSの構成

/etc/resolv.confの構成は以下の通り。ローカルipアドレスを利用しているRACの各ノードやOpenfilerは/etc/hostsとdnsで解決できるようにしておきます。ipアドレスはすべて固定です。

[root@arowana2 ˜]# cat /etc/resolv.conf
search macdeoracle.jp
nameserver 192.168.1.92

; Forward Lookup Zone
discus164               IN A            192.168.1.90
discus264               IN A            192.168.1.91
discus164-priv          IN A            192.168.3.90
discus264-priv          IN A            192.168.3.91
discus164-iscsi         IN A            192.168.2.90
discus264-iscsi         IN A            192.168.2.91
discus164-vip           IN A            192.168.1.190
discus264-vip           IN A            192.168.1.191
arowana2                IN A            192.168.1.92
arowana2-priv           IN A            192.168.2.92
discus-rac64-scan       IN A            192.168.1.200
discus-rac64-scan       IN A            192.168.1.201
discus-rac64-scan       IN A            192.168.1.202

; Reverse Lookup Zone
90                      IN PTR          discus164.macdeoracle.jp.
91                      IN PTR          discus264.nacdeiracle,jp.
190                     IN PTR          discus164-vip.macdeoracle.jp.
191                     IN PTR          discus264-vip.macdeoracle.jp.
200                     IN PTR          discus-rac64-scan.macdeoracle.jp.
201                     IN PTR          discus-rac64-scan.macdeoracle.jp.
202                     IN PTR          discus-rac64-scan.macdeoracle.jp.
[root@arowana2 ˜]# 

/etc/named.confの構成。（逆引き／正引きのゾーン設定や上位DNSへの回送設定）
逆引きの設定で、RACで利用しているローカルipアドレス以外はダーミーゾーンに設定しているところがポイント。気になっていたところなのでググってよい参考サイト見つけられてよかった。ほんと感謝、感謝。

[root@arowana2 ˜]# cat /etc/named.conf
# DNS configuration file for Oracle RAC 11g release 2 

options {


    // FORWARDERS:  Forward any name this DNS can't resolve to my router.
    forwarders { 192.168.1.1; };

    // DIRECTORY:   Directory where named will look for zone files.
    directory "/srv/named/data";

	//allow query requests 
    allow-query { 192.168.0.0/22; };
};

# ----------------------------------
# Forward Zone
# ----------------------------------

zone "macdeoracle.jp" IN {
    type master;
    file "macdeoracle.jp.zone";
    allow-update { none; };
};

# ----------------------------------
# Reverse Zone
# ----------------------------------

zone "1.168.192.in-addr.arpa" IN {
    type master;
    file "1.168.192.in-addr.arpa.zone";
    allow-update { none; };
};

zone "168.192.in-addr.arpa" IN {
	type master;
	file "dummy.zone";
	notify no;
};

zone "0.0.127.in-addr.arpa" IN {
	type master;
	file "0.0.127.in-addr.arpa.zone";
	notify no;
};

# ----------------------------------
# private addresses dummy Zone
# ---------------------------------

zone "10.in-addr.arpa" {
	type master;
	file "dummy.zone";
	notify no;
};

zone "16.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "17,172,in-addr.arpa" {
	type master;
	file "dummy.zone";
	notify no;
};

zone "18.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "19.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "20.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "21.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "22.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "23.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "24.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "25.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "26.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "27.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "28.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "29.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "30.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "31.172,in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

[root@arowana2 ˜]# 

・以下、正引き／逆引き用ゾーンファイルの作成
/srv/named/data/macdeoracle.jp.zoneの作成（正引き用ゾーンファイル）

[root@arowana2 ˜]# cat /srv/named/data/macdeoracle.jp.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/macdeoracle.jp.zone                               |
; |                                                                   |
; | Forward zone definition file for macdeoracle.jp zone              |
; +-------------------------------------------------------------------+

$ORIGIN macdeoracle.jp.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.
localhost               IN A        127.0.0.1

; Oracle RAC Nodes
discus164               IN A            192.168.1.90
discus264               IN A            192.168.1.91
discus164-priv          IN A            192.168.3.90
discus264-priv          IN A            192.168.3.91
discus164-iscsi         IN A            192.168.2.90
discus264-iscsi         IN A            192.168.2.91
discus164-vip           IN A            192.168.1.190
discus264-vip           IN A            192.168.1.191

; Network Storage Server
arowana2                IN A            192.168.1.92
arowana2-priv           IN A            192.168.2.92

; Single Client Access Name (SCAN) virtual IP
discus-rac64-scan       IN A            192.168.1.200
discus-rac64-scan       IN A            192.168.1.201
discus-rac64-scan       IN A            192.168.1.202

; Miscellaneous Nodes
lampeye                 IN A            192.168.1.2
[root@arowana2 ˜]# 

/srv/named/data/168.192.in-addr.arpa.zon（逆引き用ゾーンファイル）の作成

[root@arowana2 data]# cat 168.192.in-addr.arpa.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/168.192.in-addr.arpa.zone                         |
; |                                                                   |
; | Reverse zone definition file for 168.192.in-addr.arpa.zone        |
; +-------------------------------------------------------------------+

$ORIGIN 168.192.in-addr.arpa.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.

; Oracle RAC Nodes
90                      IN PTR          discus164.macdeoracle.jp.
91                      IN PTR          discus264.macdeoracle.jp.
190                     IN PTR          discus164-vip.macdeoracle.jp.
191                     IN PTR          discus264-vip.macdeoracle.jp.

; Network Storage Server
92                      IN PTR          arowana2.macdeoracle.jp.

; Single Client Access Name (SCAN) virtual IP
200                     IN PTR          discus-rac64-scan.macdeoracle.jp.
201                     IN PTR          discus-rac64-scan.macdeoracle.jp.
202                     IN PTR          discus-rac64-scan.macdeoracle.jp.

; Miscellaneous Nodes
2                       IN PTR          lampeye.macdeoracle.jp.
[root@arowana2 data]# 

ローカルホスト(127.0.0.1)の逆引きゾーンの定義

[root@arowana2 ˜]# cat /srv/named/data/0.0.127.in-addr.arpa.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/0.0.127.in-addr.arpa.zone                         |
; |                                                                   |
; | Reverse zone definition file for 0.0.127.in-addr.arpa.zone        |
; +-------------------------------------------------------------------+

$ORIGIN 0.0.127.in-addr.arpa.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.

; localhost
1			IN PTR		localhost.
[root@arowana2 ˜]# 

/srv/named/data/dummy.zone（ダミーゾーンファイル）の作成
「月刊NetworkWorld連載『DNSの仕組み完全解説』」の記事を参考にローカルipアドレスの逆引きの問い合わせが外部のDNSに発生しないようにするために利用するダミーゾーンファイルの定義を以下のように作成した。

[root@arowana2 ˜]# cat /srv/named/data/dummy.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/dummy.zone                                        |
; +-------------------------------------------------------------------+


$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        28800       ; refresh        - (2 hours)
        2700        ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        3600        ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.
[root@arowana2 ˜]# 

構成できたらnamedを自動起動設定にしてnamedを起動

[root@arowana2 ˜]# chkconfig named on
[root@arowana2 ˜]# chkconfig --list named
named			0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@arowana2 ˜]# service named start
Starting named:								[  OK  ]

ここまでてdnsの設定はおしまい。前述の作業はすべてOpenfilerを乗せているサーバ上で行った。

つづいて、RACを構成する各ノードでOpenfiler上に構成したローカルネームサーバを参照させるように設定する。
/etc/host.confの構成（RACを構成する全ノード及び、Openfilerを構成したノード）

/etc/hostsを優先させる。/etc/hostsを見てもらうとわかるけど、dnsと重複定義している。無駄と言えばむだだと思うけど。SCAN VIPだけdns管理すればOKなのかってとこまでは見えてないからそれはそれで別途確認だな→TODO

[oracle@discus164 ˜]$ cat /etc/host.conf
order hosts,bind

/etc/hostsの構成（RACを構成する全ノード及び、Openfilerを構成したノード）

[oracle@discus164 ˜]$ cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip


192.168.1.2	lampeye.macdeoracle.jp		lampeye
[oracle@discus164 ˜]$ 

これで準備OK.続いて動作確認！

・正引きテスト

最初に外部サイトが引けるか確認…OK.

[root@discus164 ˜]# nslookup openfiler.com
Server:		192.168.1.92
Address:	192.168.1.92#53

Non-authoritative answer:
Name:	openfiler.com
Address: 84.45.94.236

[root@discus164 ˜]# 

次に内部…

[root@discus164 ˜]# nslookup lampeye 
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   lampeye.macdeoracle.jp
Address: 192.168.1.2

[root@discus164 ˜]# nslookup discus164
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus164.macdeoracle.jp
Address: 192.168.1.90

[root@discus164 ˜]# nslookup discus164-vip
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus164-vip.macdeoracle.jp
Address: 192.168.1.190

[root@discus164 ˜]# nslookup discus264
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus264.macdeoracle.jp
Address: 192.168.1.91

[root@discus164 ˜]# nslookup discus264-vip
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus264-vip.macdeoracle.jp
Address: 192.168.1.191

[root@discus164 ˜]# nslookup discus-rac64-scan
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.201
Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.202
Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.200

[root@discus164 ˜]# nslookup localhost
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   localhost.macdeoracle.jp
Address: 127.0.0.1

・逆引きテスト

[root@discus164 ˜]# nslookup 192.168.1.200
Server:         192.168.1.92
Address:        192.168.1.92#53

200.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.201
Server:         192.168.1.92
Address:        192.168.1.92#53

201.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.202
Server:         192.168.1.92
Address:        192.168.1.92#53

202.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.90
Server:         192.168.1.92
Address:        192.168.1.92#53

90.1.168.192.in-addr.arpa       name = discus164.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.91
Server:         192.168.1.92
Address:        192.168.1.92#53

91.1.168.192.in-addr.arpa       name = discus264.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.190
Server:         192.168.1.92
Address:        192.168.1.92#53

190.1.168.192.in-addr.arpa      name = discus164-vip.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.191
Server:         192.168.1.92
Address:        192.168.1.92#53

191.1.168.192.in-addr.arpa      name = discus264-vip.macdeoracle.jp.


[root@discus164 ˜]# nslookup 127.0.0.1
Server:		192.168.1.92
Address:	192.168.1.92#53

1.0.0.127.in-addr.arpa	name = localhost.

[root@discus164 ˜]# 

これでOK次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11

VirtualBox de Oracle11g R2 RAC #11

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、RACノード間リモートアクセスの構成です。
Oracle11g R2 11.2.0.2.0ではパスフレーズなしでSSHを構成する必要があるのですが、OUIが自動構成してくれるということ、また、インストレーションガイドでもOUIの自動構成を利用するよう推奨されているんですが、今回はちょっと意地悪なことをしてみます。事前にパスワード付きでSSHを構成しておき、OUIがパスワードなしのSSH構成行われていないと認識しちゃんと自動構成してくれるか見てみます。

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.13 インストール時におけるSSHの自動構成
Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - E.1 すべてのクラスタ・ノードでの手動によるSSHの構成

では、さっそくやってみましょう。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle RACノード間リモートアクセスの構成
（念のために行った、多分、実施しなくても大丈夫だと思うけど…ちょいと意地悪な実験をしてみた）
sshパッケージの確認。（RACを構成する全ノードで）

[root@discus164 etc]# rpm -qa --queryformat "%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n"| grep ssh
openssh-server-4.3p2-41.el5_5.1 (x86_64)
openssh-askpass-4.3p2-41.el5_5.1 (x86_64)
openssh-clients-4.3p2-41.el5_5.1 (x86_64)
openssh-4.3p2-41.el5_5.1 (x86_64)
[root@discus164 etc]# 

Oracle11g R2 11.2.0.2.0以降ではSSHのユーザの等価化ではパスフレーズなしのみサポートされているのだとか。なんなく面白そうなので、今回は手動でユーザの等価化をわざわざサポートされていないというパスフレーズ付きで実施してみた（ユーザの等価化チェックでエラーとなりOUI側で自動的にパスフレーズなしのユーザ等価化が行われるはず、なのでどうなるか楽しみ！！！）

RACを構成する全ノードのgrid infrastrucreユーザと/oracle所有者で実施する。（Oracle11g 11.2.0.2.0において手動でSSHのユーザ等価化を行う場合、パスフレーズを入力する箇所でパスフレーズを入力せず、[ENTER]キーをタイプすればOKなのですが、今回は、あえてパスフレーズを入力してあります。ログ上ではパスフレーズを入力していないように見えますが.)

[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ mkdir ˜/.ssh
[grid@discus164 ˜]$ chmod 700 ˜/.ssh
[grid@discus164 ˜]$ /usr/bin/ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/grid/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/grid/.ssh/id_dsa.
Your public key has been saved in /home/grid/.ssh/id_dsa.pub.
The key fingerprint is:
ba:bb:09:72:94:94:d6:29:99:12:7f:d2:a6:a6:60:0a grid@discus164.macdeoracle.jp
[grid@discus164 ˜]$ 

[root@discus164 ˜]# 
[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ mkdir ˜/.ssh
[oracle@discus164 ˜]$ chmod 700 ˜/.ssh
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ /usr/bin/ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/oracle/.ssh/id_dsa.
Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.
The key fingerprint is:
88:5d:b0:ec:80:8c:59:ed:22:f7:d8:88:6d:6c:41:1a oracle@discus164.macdeoracle.jp
[oracle@discus164 ˜]$ 

以下の操作はRAC上の１ノードから行えばOK。ただ、gid infrastructureユーザとOracle所有者の両ユーザで行う必要があるのでご注意を。11.2.0.2.0以降では以前のリリースのように神経質にならなくてもいいかもね。sshの構成に関しては……
Oracle Grid Infrastructureユーザから…

[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ touch ˜/.ssh/authorized_keys
[grid@discus164 ˜]$ cd ˜/.ssh
[grid@discus164 .ssh]$ ls -l *.pub
-rw-r--r-- 1 grid oinstall 619 11月 24 13:11 id_dsa.pub
[grid@discus164 .ssh]$ ssh discus164 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus164 (192.168.1.90)' can't be established.
RSA key fingerprint is 15:90:e9:89:98:8e:ed:3f:67:7b:d4:e7:97:6b:58:c5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus164,192.168.1.90' (RSA) to the list of known hosts.
grid@discus164's password: 
[grid@discus164 .ssh]$ ssh discus264 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus264 (192.168.1.91)' can't be established.
RSA key fingerprint is 55:80:d3:23:4f:82:44:4b:b8:89:02:d8:69:31:7e:f5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus264,192.168.1.91' (RSA) to the list of known hosts.
grid@discus264's password: 
[grid@discus164 .ssh]$ scp ˜/.ssh/authorized_keys discus264:.ssh/authorized_keys
grid@discus264's password: 
authorized_keys                                                        100% 1238     1.2KB/s   00:00
[grid@discus164 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[grid@discus164 .ssh]$ 
[grid@discus164 ˜]$ ssh discus164 hostname
Enter passphrase for key '/home/grid/.ssh/id_dsa': 
discus164.macdeoracle.jp
[grid@discus164 ˜]$ ssh discus264 hostname
Enter passphrase for key '/home/grid/.ssh/id_dsa': 
discus264.macdeoracle.jp
[grid@discus164 ˜]$ 

次はOracle所有者で…　11.2.0.2.0以降パスブレーズなしにする必要があるのですがわざと入れてます　(^^)

[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ touch ˜/.ssh/authorized_keys
[oracle@discus164 ˜]$ cd ˜/.ssh
[oracle@discus164 .ssh]$ ls -l *.pub
-rw-r--r-- 1 oracle oinstall 621 11月 24 13:14 id_dsa.pub
[oracle@discus164 .ssh]$ ssh discus164 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus164 (192.168.1.90)' can't be established.
RSA key fingerprint is 15:90:e9:89:98:8e:ed:3f:67:7b:d4:e7:97:6b:58:c5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus164,192.168.1.90' (RSA) to the list of known hosts.
oracle@discus164's password: 
[oracle@discus164 .ssh]$ ssh discus264 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus264 (192.168.1.91)' can't be established.
RSA key fingerprint is 55:80:d3:23:4f:82:44:4b:b8:89:02:d8:69:31:7e:f5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus264,192.168.1.91' (RSA) to the list of known hosts.
oracle@discus264's password: 
[oracle@discus164 .ssh]$ scp ˜/.ssh/authorized_keys discus264:.ssh/authorized_keys
oracle@discus264's password: 
authorized_keys                                                        100% 1242     1.2KB/s   00:00
[oracle@discus164 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[oracle@discus164 .ssh]$ cd
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ ssh discus164 hostname
Enter passphrase for key '/home/oracle/.ssh/id_dsa': 
discus164.macdeoracle.jp

[oracle@discus164 ˜]$ ssh discus264 hostname
Enter passphrase for key '/home/oracle/.ssh/id_dsa': 
discus264.macdeoracle.jp
[oracle@discus164 ˜]$ 

確認！ gird infrastructureユーザとOracle所有者の両方で。

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus164 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_dsa: 
Identity added: /home/oracle/.ssh/id_dsa (/home/oracle/.ssh/id_dsa)
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ ssh discus164 hostname
discus164.macdeoracle.jp
[oracle@discus164 ˜]$ ssh discus264 hostname
discus264.macdeoracle.jp
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
exit
[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ exec /usr/bin/ssh-agent $SHELL
[grid@discus164 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/grid/.ssh/id_dsa: 
Identity added: /home/grid/.ssh/id_dsa (/home/grid/.ssh/id_dsa)
[grid@discus164 ˜]$ ssh discus164 hostname
discus164.macdeoracle.jp
[grid@discus164 ˜]$ ssh discus264 hostname
discus264.macdeoracle.jp
[grid@discus164 ˜]$ 

最後に、sttyコマンドよるインストールエラーメッセージ抑止（全ノードの grid/oracleユーザで実施）

参考：Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.14.5 インストール中にsttyコマンドによって発生するエラーの防止

[grid@discus164 ˜]$ su - oracle
パスワード:
[oracle@discus164 ˜]$ vi .bashrc
[oracle@discus164 ˜]$ cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
        stty intr ^C
fi
[oracle@discus164 ˜]$ 

ここで、やる予定ではなかったのですが、次いでなのでNTPの設定もついでにやっちゃいました。

Host OS側で公開NTPサーバと同期、VirtualBox上に作成したRACを構成する各Guest OSは、Host OSをNTPサーバとして同期する。
このようにしておけば公開NTPサーバを参照するのはHost OSだけなので余計な問い合わせを押さえることができますよね。

RACを構成する全ノード及び、iSCSIでも同じ構成にしてあります。ちなみに、192.168.1.2がHost OS

/etc/ntp.confと/etc/sysconfig/ntpdで構成します。ntpはslewモードで調整するよう設定します。

[root@discus164 ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
#restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
#server 127.127.1.0
#fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
server 192.168.1.2
server 192.168.1.2
server 192.168.1.2
restrict 192.168.1.2 mask 255.255.255.255 nomodify notrap noquery
[root@discus164 ˜]# 

[root@discus164 ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@discus164 ˜]# 

HostOS側は公開NTPサーバと同期するので以下のような設定にしてあります。

[root@lampeye ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 

# Hosts on local network are less restricted.
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server -4 ntp.nict.jp minpoll 8 maxpoll 12
server -4 ntp.nict.jp minpoll 8 maxpoll 12
server -4 ntp.nict.jp minpoll 8 maxpoll 12

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
server 127.127.1.0 #local clock
fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
restrict ntp.nict.jp mask 255.255.255.255 nomodify notrap noquery
[root@lampeye ˜]# 

[root@lampeye ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@lampeye ˜]#

service ntpd restart で再起動。しばらくしてから…

Host OSがntpサーバと同期できているか確認！！

[root@lampeye ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*210.171.226.40  .NICT.           1 u   38 1024  377   10.447   59.103   9.904
 127.127.1.0     .LOCL.          10 l   22   64  377    0.000    0.000   0.001
[root@lampeye ˜]# 

公開NTPサーバと同期できています。:)

次はRACを構成する各ノードでHost OSと同期しているか確認します。"*"が表示されているのでうまくいっているようですね。 :)

[root@discus164 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u   95  128  377    0.179  121.450  39.443
[root@discus164 ˜]# 

[root@discus264 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u    5  128  377    0.288  214.652  43.610
[root@discus264 ˜]# 

[root@arowana2 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u   35  128  377    0.278  -83.188   0.087
[root@arowana2 ˜]# 

ということで次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10

VirtualBox de Oracle11g R2 RAC #10

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、カーネルパラメータの調整、その他。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.8 Oracleインストール所有者のシェル制限の構成

前述のマニュアルに従い各構成ファイルを設定します。(RACを構成する全ノードで実施します。)

/etc/security/limits.confの設定（差分を載せています）

[root@discus164 security]# diff -u limits.conf.org limits.conf
--- limits.conf.org     2010-03-12 02:24:15.000000000 +0900
+++ limits.conf 2010-11-24 11:10:30.000000000 +0900
@@ -48,3 +48,11 @@
 #@student        -       maxlogins       4
 
 # End of file
+grid soft nproc 2047
+grid hard nproc 16384
+grid soft nofile 1024
+grid hard nofile 65536
+oracle soft nproc 2047
+oracle hard nproc 16384
+oracle soft nofile 1024
+oracle hard nofile 65536
[root@discus164 security]# 

/etc/pam.d/loginの設定（差分のみ載せています)

[root@discus164 pam.d]# diff -u login.org login
--- login.org   2010-01-20 19:36:29.000000000 +0900
+++ login       2010-11-24 11:16:33.000000000 +0900
@@ -12,3 +12,4 @@
 # pam_selinux.so open should only be followed by sessions to be executed in the user context
 session    required     pam_selinux.so open
 session    optional     pam_keyinit.so force revoke
+session    required     pam_limits.so
[root@discus164 pam.d]# 

/etc/profileの設定（差分のみ載せています）

[root@discus164 etc]# diff -u profile.org profile
--- profile.org 2009-09-22 08:27:09.000000000 +0900
+++ profile     2010-11-24 11:21:27.000000000 +0900
@@ -56,3 +56,12 @@
 
 unset i
 unset pathmunge
+if [ $USER = "oracle" ] || [ $USER = "grid" ]; then 
+    if [ $SHELL = "/bin/ksh" ]; then
+        ulimit -p 16384
+        ulimit -n 65536
+    else
+        ulimit -u 16384 -n 65536
+    fi
+    umask 022
+fi
[root@discus164 etc]# 

メモリ及びスワップの要件確認（RACを構成する全ノードで実施）
Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.2.1 メモリー要件

[root@discus264 ~]# 
[root@discus264 ~]# cat /proc/meminfo | grep MemTotal
MemTotal:      4051640 kB
[root@discus264 ~]# cat /proc/meminfo | grep SwapTotal
SwapTotal:     6094840 kB
[root@discus264 ~]# 

カーネルパラメータの設定（RACを構成する全ノードで実施）
Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.9 カーネル・パラメータの構成

[root@discus164 ~]# sysctl -a | grep -E '(se|sh)m|file-max|aio-max-nr|ip_local_port_range|(w|r)mem_(default|max)'
net.ipv4.ip_local_port_range = 32768    61000
net.core.rmem_default = 129024
net.core.wmem_default = 129024
net.core.rmem_max = 131071
net.core.wmem_max = 131071
vm.hugetlb_shm_group = 0
kernel.sem = 250        32000   32      128
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
fs.aio-max-nr = 65536
fs.file-max = 371217
[root@discus164 ~]# 

変更の必要があるのはsem/file-max/aio-max-nr/ip_local_port_range/rmem/wmenね。マニュアルの推奨値に設定します。
(以下、差分だけ載せています。）

[root@discus164 etc]# diff -u sysctl.conf.org sysctl.conf
--- sysctl.conf.org     2010-11-24 12:17:12.000000000 +0900
+++ sysctl.conf 2010-11-24 12:17:48.000000000 +0900
@@ -33,3 +33,12 @@
 
 # Controls the maximum number of shared memory segments, in pages
 kernel.shmall = 4294967296
+# parameter setting for oracle 
+net.ipv4.ip_local_port_range = 9000 65500
+kernel.sem = 250 32000 100 128
+fs.aio-max-nr = 1048576
+fs.file-max = 6815744
+net.core.rmem_default = 262144
+net.core.rmem_max = 4194304
+net.core.wmem_default = 262144
+net.core.wmem_max = 1048576
[root@discus164 etc]# 
[root@discus164 etc]# 
[root@discus164 etc]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.ip_local_port_range = 9000 65500
kernel.sem = 250 32000 100 128
fs.aio-max-nr = 1048576
fs.file-max = 6815744
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
[root@discus164 etc]# 

次回は、RACノード間リモートアクセスの構成へ続きます！（本場のミソカツ食べたお）

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9

VirtualBox de Oracle11g R2 RAC #9

VirtualBox de Oracle11g R2 RACのつづきです。

さて、やっと、Oracle所有者と関連ディレクトリの作成及び環境変数の設定作業まできました〜。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定

Oracle11g R2からOracle Grid Infrastructure（以前はOracle Clusterwareって言われていたやつにASMが組み込まれたと思えばいいのかな？）となり、Oracle所有者以外にOracle Grid Infrastructreユーザの作成が推奨されるようになったので、今回からはOracle所有者に加えてOracle Grid Infrastructureユーザも作成します。

さらに、asmadminやasmdbaといった新顔のグループも必要になり以前より手間が増えてる。 :)

グループの追加方法や、ユーザの作成方法はコマンドでやるもよし、GUIでやるもよし。好きなのを選べばよいと思います。
ノード数が多いとGUIではやらないと思いますけど２ノードですから気にする事ないと思いますよ。:)

で、フループも必要最低限で、oinstall/dba/asmadmin/asmdbaの４グループを作成します。

グループやユーザをコマンドで作成する方法はマニュアルにも記載されていので省略します。
参考：
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56271/prelinux.htm#CFIJDFIB
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56273/pre_install.htm#BABHHEJD
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56271/prelinux.htm#BABBIDCF

以下完成した状態、以下のようになっていればOK.　

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/group | grep -E '(oinstall|dba|asm*)'
oinstall:x:601:oracle,grid
dba:x:602:oracle
asmadmin:x:603:grid
asmdba:x:604:oracle,grid
[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/passwd | grep -E '(oracle|grid)'
oracle:x:601:601:oracle:/home/oracle:/bin/bash
grid:x:602:601:grid:/home/grid:/bin/bash
[root@discus164 ˜]# 
[root@discus164 ˜]# id -a grid
uid=602(grid) gid=601(oinstall) 所属グループ=601(oinstall),603(asmadmin),604(asmdba) context=user_u:system_r:unconfined_t
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# id -a oracle
uid=601(oracle) gid=601(oinstall) 所属グループ=601(oinstall),602(dba),604(asmdba) context=user_u:system_r:unconfined_t

・ORACLE_BASE及びORACLE_HOMEディレクトリの作成

Oracle Grid InfrastructureユーザのORACLE_BASE/ORACLE_HOMEディレクトリ及び、Oracleソフトウェア所有者のORACLE_BASEディレクトリを作成しておきます。

Oracle Grid InfrastrucreユーザのORACLE_BASE=/u01/app/grid、ORACLE_HOME=/u01/app/11.2.0/grid、そして、Oracleソフトウェア所有者のORACLE_BASE=/u01/app/oracle となるように作成しておきます。

RACを構成する全ノードで実施します。

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# mkdir -p /u01/app/grid
[root@discus164 ˜]# mkdir -p /u01/app/11.2.0/grid
[root@discus164 ˜]# chown -R grid:oinstall /u01
[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# mkdir -p /u01/app/oracle
[root@discus164 ˜]# chown -R oracle:oinstall /u01/app/oracle
[root@discus164 ˜]# chmod -R 755 /u01
[root@discus164 ˜]# 

[root@discus264 ˜]#
[root@discus264 ˜]#
[root@discus264 ˜]# mkdir -p /u01/app/grid
[root@discus264 ˜]# mkdir -p /u01/app/11.2.0/grid
[root@discus264 ˜]# chown -R grid:oinstall /u01
[root@discus264 ˜]#
[root@discus264 ˜]#
[root@discus264 ˜]# mkdir -p /u01/app/oracle
[root@discus264 ˜]# chown -R oracle:oinstall /u01/app/oracle
[root@discus264 ˜]# chmod -R 755 /u01
[root@discus264 ˜]#
[root@discus264 ˜]# 

・環境変数

インストールの際には必要最低限の環境変数でいいんだけどね。設定してても問題になった事は、いまのところないのでこの時点で設定しちゃってます。

参考:
http://download.oracle.com/docs/cd/E16338_01/server.112/b56317/admin_ora.htm#i46652

ところで、Oracle11g だけど、ORA_NLS10なんだね。

でも、http://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/server.111/E05816-01/app_initparam.htm#BABGIEFDというGateways系のパラメータではORA_NLS11で同じパスをさすんだけど、紛らわしいから環境変数もORA_NLS11にしちゃえばわかりやすいのにと思うのは私だけ？…

・Oracle Grid Infrastructureユーザの環境変数の例（RACを構成する全ノードのOracle Grid Infrastructureユーザに設定します）

Oracleソフトウェア所有者とはORACLE_SID、ORACLE_BASE環境変数の値が異なっていることに注意！
Oracle Grid InfrastructureユーザはASM管理者でもあるので。

この辺の設定も以前より手間が増えた部分ですね〜。

なお、ついでなので2.14.5 インストール中にsttyコマンドによって発生するエラーの防止対応を行っています。

[grid@discus164 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[grid@discus164 ˜]$  
[grid@discus164 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Grid Infrastructure Owner
#for Grid Infrastructure Owner
# ORACLE_SID : discus164では+ASM1 , discus264では+ASM2をセット
export ORACLE_SID=+ASM1
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_PATH=.:/u01/app/oracle/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[grid@discus264 ˜]$ 
[grid@discus264 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Grid Infrastructure Owner
# ORACLE_SID : discus164では+ASM1 , discus264では+ASM2をセット
export ORACLE_SID=+ASM2
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_PATH=.:/u01/app/oracle/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[grid@discus264 ˜]$ 
[grid@discus264 ˜]$ 

・Oracleソフトウェア所有者の環境変数の例（RACを構成する全ノードのOracleソフトウェア所有者に設定します）

以下、全ノードの設定内容。Oracleソフトウェア所有者の役割はいままで通り。今回作成するデータベースのSIDプリフィックスを orcl にするので
各ノードのORACLE_SID環境変数は orcl1／orcl2 に設定してあります。

[oracle@discus164 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Owner
# ORACLE_SID : discus164ではorcl1 , discus264ではorcl2をセット
export ORACLE_SID=orcl1
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_PATH=.:$ORACLE_BASE/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
# enterprise manager向け　(作成するデータベースユニーク名は:orclなのでorclを設定しておく)
export ORACLE_UNQNAME=orcl
umask 022
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 

[oracle@discus264 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[oracle@discus264 ˜]$
[oracle@discus264 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Owner
# ORACLE_SID : discus164ではorcl1 , discus264ではorcl2をセット
export ORACLE_SID=orcl2
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_PATH=.:$ORACLE_BASE/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[oracle@discus264 ˜]$ 

ということで次回カーネルパラメータなどの設定へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8

VirtualBox de Oracle11g R2 RAC #8

VirtualBox de Oracle11g R2 RACのつづきです。

前回はiSCSI targetにローカルデバイス名をマッピングしたとこまででした。今回は前回iSCSIターゲットをマッピングしたローカルデバイスにパーティションを作成します。(
手順は前回と同じなので、そちらも参考に。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成（念のために行った、多分、実施しなくても大丈夫だと思うけど。別途確認する予定）
9. Oracle RACノード構成ファイルの確認
10. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
11. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
12. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
13. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
14. Oracle11g R2 11.2.0.1.0 examplesのインストール
15. Oracle Cluster databaseの作成
16. Net Serviceの確認
17. Oralce Grid InsfastructureとDatabase構成の確認
18. Clusterの開始と停止の確認
19. 簡単なTransparent Application Failover (TAF)の確認

・パーティション

iSCSIターゲットを対応づけたローカルデバイスへfdiskコマンドでパーティションを作成します。

今回は、/dev/iscsi/openfiler:asm1/part、/dev/iscsi/openfiler:asm2/part、/dev/iscsi/openfiler:asm3/part、/dev/iscsi/openfiler:asm4/part、/dev/iscsi/openfiler:crs1/part、/dev/iscsi/openfiler:crs2/partに対して１パーティションを作成し利用可能な全シリンダを割り当てる。
尚、この操作はRACを構成するノードの１ノードからrootユーザとして実施する。

手順は前回の記事を参照のこと。ということで省略します。

最終的に以下の赤字部分の６パーティションが追加されることになります。RACを構成する全ノードで実施。

[root@discus164 ˜]# partprobe
[root@discus164 ˜]# fdisk -l

Disk /dev/sda: 53.6 GB, 53687091200 bytes
255 heads, 63 sectors/track, 6527 cylinders
Units = シリンダ数 of 16065 * 512 = 8225280 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        6527    52323705   8e  Linux LVM

Disk /dev/sde: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sde1               1        1009     2095662   83  Linux

Disk /dev/sdc: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       21504    22020080   83  Linux

Disk /dev/sdd: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       21504    22020080   83  Linux

Disk /dev/sdf: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdf1               1       21504    22020080   83  Linux

Disk /dev/sdg: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdg1               1        1009     2095662   83  Linux

Disk /dev/sdb: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       21504    22020080   83  Linux
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・確認
パーティションの作成が済んだらRACの全ノードでrootユーザとしてパーティションが認識されているか確認する。RACを構成する全ノードで。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cd /dev/disk/by-path; ls -l *openfiler* | awk '{print $9 " " $10 " " $11}'
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0-part1 -> ../../sdb1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0-part1 -> ../../sdc1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0-part1 -> ../../sdd1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0-part1 -> ../../sdf1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sde
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0-part1 -> ../../sde1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sdg
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0-part1 -> ../../sdg1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm1/part -> ../../sdb
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm1/part1 -> ../../sdb1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm2/part -> ../../sdc
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm2/part1 -> ../../sdc1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm3/part -> ../../sdd
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm3/part1 -> ../../sdd1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm4/part -> ../../sdf
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm4/part1 -> ../../sdf1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:crs1/part -> ../../sde
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:crs1/part1 -> ../../sde1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:crs2/part -> ../../sdg
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:crs2/part1 -> ../../sdg1
[root@discus164 ˜]# 

2010/12//20追記
忘れてた、前回気づいたCentOS5.5でのiscsidの問題。これに対処しておかないと、Openfiler側に多数のゾンビセッションが残ってしまうので要注意！

ということで次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7

VirtualBox de Oracle11g R2 RAC #7

VirtualBox de Oracle11g R2 RACのつづきです。

前回に引き続き、Oracle RACの各ノードでiSCSIボリュームの構成です。前回は各ノードからiSCSI targetへ自動接続するまででした。
今回は、そのつづき。各ノードで接続したiSCSI targetにローカルデバイス名をマッピングします。
以前行ったCentOS5.2(x86)内容と同じ手順でのでそちらの記事も参考してくださいね。（今回はマッピングするiSCSI targetが１つ多いだけです！）

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・ローカルデバイス名の作成
以前の記事も参考に。
iSCSIでは再起動／再接続する度にiscsi-targetにマッピングされるSCSIデバイス名が変わってしまうことがあるので、udevでマッピングするデバイス名を固定化します。

前回までの操作がうまく行っていれば、デバイス名のマッピングは異なると思いますがRACを構成する各ノードで以下のようになっているはず。（以下、discus164での例）

[root@discus164 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sde
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sdg
[root@discus164 ˜]# 

udevを利用してデバイス名をiscsi-targetに固定割当する。（RACの全ノードのrootユーザで実施）

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cd /etc/udev/scripts
[root@discus164 scripts]# cat iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}
[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"
[root@discus164 scripts]# 
[root@discus164 scripts]# chmod 755 iscsidev.sh
[root@discus164 scripts]# 
[root@discus164 scripts]# cd
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]#                                        [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Starting iSCSI daemon:                                     [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal:
192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
                                                           [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# 

再接続すると各ISCSIターゲットがマッピングされているSCSIデバイス名が前回と違っているのに気づくと思います。

[root@discus164 ˜]#
[root@discus164 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdg
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sde
[root@discus164 ˜]# 
[root@discus164 ˜]#

udevでiSCSIターゲットがローカルデバイスへ固定マッピングできているか確認！
うまくいってます。RACの全ノードで同じローカルデバイスへマッピングできています。

が、しか〜〜し、記事書いてて気づいたけど ":"入っちゃってた (^^;;; そゆーところはまねしないでね。
狙いとしては ":"入れるつもりはなかったっす！。ミスった〜。
今回、iSCSIターゲット名をちょっと変えてしまったので、以前から流用しているiscsidev.shスクリプトの最後の行　

echo "${target_name##*.}"

のところがイケてない＞＜　今回設定したiSCSIターゲット名だと

echo "${target_name#*:}"

しないと asm1やasm2だけを抜き出せない　＞＜
記載したiscsidev.shスクリプトをそのまま利用するのであれば、IQNは、iqn.2006-01.com.openfiler:xxx.asm1のように設定する必要があります！

そー作っちゃったのでそのまま載せときます。　(^^;;;;;;

[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm1/part -> ../../sdb
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm2/part -> ../../sdc
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm3/part -> ../../sdg
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm4/part -> ../../sdd
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:crs1/part -> ../../sdf
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:crs2/part -> ../../sde
[root@discus164 ˜]#
[root@discus164 ˜]#

ということで、当初の設定予定とは違うローカルデバイス名にしちゃいましたがiSCSIとローカルデバイスは以下のようにマッピングしました。

iscsi-targetとローカルデバイス名の対応
iscsi-target名	ローカルデバイス名
iqn.2006-01.com.openfiler:asm1	/dev/iscsi/openfiler:asm1/part
iqn.2006-01.com.openfiler:asm2	/dev/iscsi/openfiler:asm2/part
iqn.2006-01.com.openfiler:asm3	/dev/iscsi/openfiler:asm3/part
iqn.2006-01.com.openfiler:asm4	/dev/iscsi/openfiler:asm4/part
iqn.2006-01.com.openfiler:crs1	/dev/iscsi/openfiler:crs1/part
iqn.2006-01.com.openfiler:crs2	/dev/iscsi/openfiler:crs2/part

でもほんとは以下のようなローカルデバイス名にしたかったんです〜〜。ごめんなさい。

[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm1/part -> ../../sdb
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm2/part -> ../../sdc
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm3/part -> ../../sdg
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm4/part -> ../../sdd
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/crs1/part -> ../../sdf
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/crs2/part -> ../../sde
[root@discus164 ˜]#

いやな間違いに気づいたので、今日はこの辺で…　(RAC自体で作れたんですけど、気持ち悪いので）

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6

VirtualBox de Oracle11g R2 RAC #6

VirtualBox de Oracle11g R2 RACのつづきです。

前回はOpenfiler側でその準備をしたところまででした。今回はOracle RACの各ノードでiSCSIボリュームの構成です。

今回も以前行ったCentOS5.2(x86)内容と同じ手順なのでそちらの記事も参考してくださいね。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・RACを構成する全ノードでiscsi-initiator-utilsがインストールされていることを確認。

インストールされていなかったらyumでインストールしてね。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# yum list installed iscsi-initiator-utils | grep installed
iscsi-initiator-utils.x86_64            6.2.0.871-0.16.el5             installed
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "yum list installed iscsi-initiator-utils | grep installed"
root@discus264's password: 
iscsi-initiator-utils.x86_64            6.2.0.871-0.16.el5             installed
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・iscsiの起動確認、起動してなかったら service iscsi startで起動.

[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi status
iscsid (pid  1998) を実行中...
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi status"
root@discus264's password: 
iscsid (pid  1996) を実行中...
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・自動起動の確認、自動起動になってなかったら chkconfig iscsi on で設定.

[root@discus164 ˜]# chkconfig --list iscsi
iscsi          	0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "chkconfig --list iscsi"
root@discus264's password: 
iscsi          	0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@discus164 ˜]# 
[root@discus164 ˜]#

以下、CentOS5.5では iscsiを起動・停止すればiscsidも起動・停止されるので前述のようになっていればOK.
[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/rc.d/init.d/iscsi | grep iscsid
	status iscsid
		/etc/init.d/iscsid start
	/etc/init.d/iscsid stop
		status iscsid
[root@discus164 ˜]# 
[root@discus164 ˜]# 

/etc/iscsi/initiatorname.iscsiの設定.わかりやすいIQNにするといいですよん。

[root@discus164 ˜]# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2010-10.jp.macdeoracle.discus1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh root@discus264 "cat /etc/iscsi/initiatorname.iscsi"
root@discus264's password: 
InitiatorName=iqn.2010-10.jp.macdeoracle.discus2
[root@discus164 ˜]# 

・iscsi-targetの検出
OpenfilerとRACの各ノードは、VirtualBoxの内部ネットワークアダプタ（VM間でしか通信できない）を利用してprivateネットワークで繋いでおり、Openfiler側で許可したipアドレスからの接続しか受け付けないよう設定していましたよね？、覚えてます？
で、Openfiler側のprivateネットワークのipアドレスは、192.168.2.92と設定したので、 iscsi-targetの検出先は前述のipアドレスということにまります。

なので iscsiadmコマンドの -p パラメータに設定する ipアドレスは 192.168.2.92となっているわけです。

iscsi-targetが検出されました〜！　検出されたiscsi-targetへの接続確認、自動接続設定へと続きます。

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/hosts | grep arowana2-priv
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m discovery -t sendtargets -p 192.168.2.92
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm1
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm4
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm3
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "iscsiadm -m discovery -t sendtargets -p 192.168.2.92"
root@discus264's password: 
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm3
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm1
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm4
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs1
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・iscsi-targetへの手動接続（RACを構成する全ノードで試してください。以下、discus164からの例。)

[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs2 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm1 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm2 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm3 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm4 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# 

ちなみに…手動ログアウトする場合は -l の部分を -u に変えて実行すればOK.

[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 -u
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# 
[root@discus164 ˜]# 

iscsi-targetへの自動接続設定（RACを構成する全ノードで実施します。以下discus164からの例）

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs2 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm1 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm2 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm3 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm4 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]
[root@discus164 ˜]#

ちなみに…手動接続に戻す場合は automatic の部分を manual に変えて実行すればOK.（多分、使う事ないと思いますけど、念のため）

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 --op update -n node.startup -v manual
[root@discus164 ˜]# 
[root@discus164 ˜]# 

自動接続設定がうまく言っているか確認しましょう。
これまでの手順通りに操作していれば、RACを構成する各ノードから各iscsi-targetへ接続されている状態になっているはずです。

まず、サービスを停止してiscsi-targetからログアウトされるか確認してみます。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]#                                        [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi stop"
root@discus264's password: 
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]# 

うまくいきました。次はiscsiサービスを起動して各iscsi-targetへ自動接続されるか確認します。

[root@discus164 ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Starting iSCSI daemon:                                     [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
                                                           [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi start"
root@discus264's password: 
iscsid が停止していますが PID ファイルが残っています
[  OK  ] iSCSI daemon: [  OK  ]
[  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# 

うまく接続できたようです。

最後にOpenfilerの管理画面で接続状態を確認してみます。

参考：http://www.open-iscsi.org/

今日はこの辺で。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5

VirtualBox de Oracle11g R2 RAC #5

VirtualBox de Oracle11g R2 RACのつづきです。

Openfiler2.3のインストールとiSCSIボリュームの構成なのですが、VMでもリアルなマシンへのインストールとの違いは無いので詳しくは書きません。以前の記事を参考にしてくださいね。(ネットワーク関連は前回の記事もあわせてご覧ください）

なお、今回Openfier2.3 (x86)向けに作成したVM (x86 red hat linux)は、CPU*2/RAM:2GB/DISK:100GBとしてあります。
Openfiler2.3 (x86)インストール時のパーティションは/bootに100MB、/に4GB、swapにメモリサイズの倍で4GBを配分し、残りの91.9GBを未割当としました。
未割当とした91.9GBをiSCSIボリュームで利用することになります。(この未割当分が大切。この時点ではパーティションに割り当てないで残しておいてね）

NOTE:
この時点では/etc/hostsファイルだけで、DNSは利用していません。Oracle11g R2 11.2.0.1.0 RACインストール事前作業Oracle RACノード間リモートアクセスの構成が終わったあとでDNSの構成を行います。（OpenfilerにDNSを構成することにしたので、このタイミングでDNSの構成とhostsファイルの構成を行うほうがよいとは思うのですが…

Openfiler2.3によるiSCSIボリュームの構成はこちらを参考に…
Mac de Oracle - １０万円未満 de RAC (11g編）#4 - 4. Openfiler2.3によるiSCSIボリュームの構成

以前と違う点は、Oracle11g R2からVoting diskとOCRがASM管理可能となったので全ボリュームをASM管理で行うことにしました。

という１点だけ。(iSCSIボリュームで利用する残り91.9GBをどのような割合で論理ボリュームへ配分したかは後述）

（以前まではOracleの共有ディスク・クラスタ・ファイルシステム(ocfs2)をインストールしていましたが今回は利用しません。Oracle11g R2でもVoting diskとOCRの共有ディスク・クラスタ・ファイルシステム管理は可能なようですが…）

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

以前の記事参照ください…ばかりだと、今回書く事がなくなってしまうのでiSCSIのボリューム構成で今回変えたところを書いておきますね。
（今回はすべてASM管理下に置くので…）

Openfiler2.3(x86)インストール完了後、/etc/hostsに設定した内容は以下の通り。

[root@arowana2 ˜]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost

192.168.1.92	arowana2.macdeoracle.jp		arowana2
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264

192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

192.168.1.2	lampeye.macdeoracle.jp		lampeye
[root@arowana2 ˜]# 

今回作成するiSCSI論理ボリュームおよびターゲット名などは以下の通り。
(Openfilerの構成手順はMac de Oracle - １０万円未満 de RAC (11g編）#4を参照のこと。）

・ネットワークアクセスの構成

前回の書いた通り、iSCSI専用の経路でアクセスできるようdiscus164-iscsiおよびdiscus264-iscsiからのみOpenfilerへ接続できるよう設定した。

・Partitionの作成および、Volume groupの作成

91.9GBの未割当領域を/dev/sda4としてパーティション割当を行った後、rac1というVolume Groupを作成し/dev/sda4を割り当てる。

・論理ボリュームの割当

rac1（前述の操作で作成したVolume Group)を選択し、論理ボリュームを追加する。今回はcrs向けに2GBの論理ボリューム２つ、OracleのData向けに21GBの論理ボリューム２つ、そして、Fast Recovory Area向けに21GBの論理ボリュームを２つを追加作成する。（91.9GBのうち、88GBを利用したので3.9GBほど残っちゃいましたけどね）

・iSCSI Target Qualified Name(IQN)の設定

crs向けに２つ、Oracle data file向けに２つ、Oralce Fast Recovery Area向けに２つのボリュームグループを作成したので、それぞれにiSCSI Target Qualified Nameを割り当てた。

CRS向け - iqn.2006-01.com.openfiler:crs1 および crs2
Oracle Data file向け - iqn.2006-01.com.openfiler:asm1 および　asm2
Oracle Fast Recovery Area向け - iqn.2006-01.com.openfiler:asm3 および asm4

asm1〜4より、data1/2とか fra1/2にしたほうがわかりやすかったですね〜…後から反省。

・Network ACLの設定

RACを構成する２ノードのiscsi用privateネットワーク(discus164-iscsiおよび、discus264-iscsi(からのアクセスを許可するよう設定した。

・LUNマッピング

iSCSI Target Qualified Name(IQN)の設定で作成した各IQNをLUNへマッピングする。
マッピング内容は以下の通り。

ここまでくればiSCSIの準備は終了！

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4

VirtualBox de Oracle11g R2 RAC #4

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、VirtuslBoxで作成したRed hat用64bitVMへCentOS5.5 (x86_64)をインストールします。が、もう既に何度も行っていることなのでインストール自体の解説は省略します。足りないパッケージがあればyumで都度インストールでもいいですし :)　端折りすぎと突っ込まれそうだが。
過去になんどか書いているのでそちらを参照していただいてもいいですし、元ネタを参照するもよし。（但し元ネタはOracle Enterprise Linuxですが、同じ系統なのでそれほど違いはないはず…Oracle Enterprise Linuxインスコしたことのないのに言うのもなんなんですが…）

Networkの構成については省略しないで書いてあるので m(_ _)m

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・CentOS5.5のダウンロード、DVDのisoイメージをダウンロードして今後のためにDVDに焼いておいた。MacOS XでisoイメージのDVDを焼く方法は以前の記事を参照のこと。
http://ftp.riken.jp/Linux/centos/5.5/isos/x86_64/CentOS-5.5-x86_64-bin-DVD-1of2.iso
http://ftp.riken.jp/Linux/centos/5.5/isos/x86_64/CentOS-5.5-x86_64-bin-DVD-2of2.iso

CentOS5.5になったからといって、特にインストール方法に大きな違いはないので詳細は以前の記事や、元ネタなどをご参考に。（元ネタはOracle Enterprise Linuxを利用していますが、系統は同じRed hatなので注意点などほぼ同じだと思います。）ちょっとだけ書いてくと、今回作成したCentOS5.5 x86_64用VMはメモリ4GB、DISK容量50GBを割り当てているので、swapはメモリと同サイズの4GB、/bootには100MB、残りを/へ配分しました。
また、SELinuxはPermissiveモード、FirewallはDisableにしておくというのはお約束なのでお忘れなく。FirewallをEnableにしたままだといろいろとハマりまるのでしっかりチェックしておくと吉ですよん。（ハマった人→私）

Oracle11g R2からネットワーク要件が変りネットワーク周りは大切なのでしっかり書いておきますね。
適当に書いた配置図も参照のこと。）また、IPv6はOFFで固定IPとしています。(IPv6はOFFにしなくても問題ないですが、今回のネタでは不要なので。)

以下、Openfiler(iSCSI)のノードも含めたネットワーク構成は以下。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアタプタ）	192.168.1.90	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.90	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用)、ギガビット
eth2（ネットワークアダプタ：内部ネットワーク）	192.168.3.90	255.255.255.0	プライベートネットワーク用(Interconnect用）、ギガビット
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアダプタ）	192.168.1.91	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.91	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用）、ギガビット
eth2（ネットワークアダプタ：内部ネットワーク）	192.168.3.91	255.255.255.0	プライベートネットワーク用(Interconnect用）、ギガビット
iSCSIを構成するノード (hostname=arowana2.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアダプタ）	192.168.1.92	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.92	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用）、ギガビット

上記を元に以下のドキュメントをおよび元ネタなどを参考に、hostsおよびDNSを利用して固定IPアドレスでネットワークを構成することにした。

・Oracle Grid Infrastructureインストレーション・ガイド　11gリリース2（11.2）for Linux - 2.7.2.2 手動で構成する場合のIPアドレス要件

独り言：
２ノードRACでなぜ、3つのSCAN VIPが推奨されているのかは、未だによく理解できていない？？？？　２ノードRACだから２じゃだめなの？　３つだと何がおしいいの？
どんどん謎は深まる…。だれか教えてw　どっかにSCAN VIPってなにがおいしいのか２ノードRACで３つのSCAN VIPが推奨される理由が書いてある資料ないのかな〜。３ノード以上のRACだとSCAN VIPをどの程度増やせばおいしくなるの〜などなど？？？？w

・Oracle Grid Infrastructureインストレーション・ガイド　11gリリース2（11.2）for Linux - 2.7.5 手動によるIPアドレスの構成例

・http://www.oracle.com/technetwork/articles/hunter-rac11gr2-iscsi-088677.html

・http://www.idevelopment.info/data/Oracle/DBA_tips/Oracle11gRAC/CLUSTER_12.shtml

前述のマニュアルなどを参考に今回構築する全ノードのhostsファイルやDNS構成の概要は以下の通り。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus164	Public	192.168.1.90	hostsおよびDNS
discus164-iscsi	Private	192.168.2.90
discus164-priv	Private	192.168.3.90
discus164-vip	Virtual	192.168.1.190
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus264	Public	192.168.1.91	hostsおよびDNS
discus264-iscsi	Private	192.168.2.91
discus264-priv	Private	192.168.3.91
discus264-vip	Virtual	192.168.1.191
SCAN VIP1/2/3
Hostname	タイプ	IP address	名前解決方法
discus-rac64-scan	Virtual	192.168.1.200	DNS
discus-rac64-scan		192.168.1.201
discus-rac64-scan		192.168.1.202
Openfiler2.3(iSCSI) - (hostname=arowana2.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
arowana2	Public	192.168.1.92	hostsおよびDNS
arowana2-priv	Private	192.168.2.92

ということで次回へつづく。
（こちらの都合で慌てて書いたので、おそらくいつもよりタイポとか誤字脱字、リンク先ミスなどが多いかもしれない…気づいたら後で修正します！）

2010/12/9追記：
hostsファイルとDNSで同じ名前解決するのってどうなんだろーって思っておりますが…hosts優先だし…。まあ、そのまんまでいきます。はい。
で、インストール後、各ノードの/etc/hostsはどう設定したかというと…

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip

192.168.1.2	lampeye.macdeoracle.jp		lampeye

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3

VirtualBox de Oracle11g R2 RAC #3

VirtualBox de Oracle11g R2 RACのつづきです。

以下のような内容で進めていきます。ほぼ元ネタに近いですけどね :)

前々回、前回と少々構成もあるあるていど書いてますが、全体像をまとめて書いておきますね。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・Hardware

・CPU - Intel Core i7-980X Extreme Edition 3.33Ghz (6 core / 12 thread) * 1
・Memory - 12GB (2GB * 6)
・Disk - S-ATA2 1TB * 2
・NIC - on board Gbit NIC * 1
グラフィックカードは気にしてなかったので安めの、 NVIDIA GeForce GTS 250 (512MB)

上記PCで3つのVMを起動するので結構いっぱいいっぱいなのでクライアントはいつものようにMacを使います。
MacProの12-Core (2.66GHz 6コア Intel Xeon"Westmere" * 2）ってお化けPCがもうちょっと早く発表されてたらな〜、Mac上でVM作って楽しめたんだがタイミングの問題なのでしかたない　
＞＜

・Software

・Host OS - CentOS5.5 (kernel 2.6.18-194.17.1.el5) x86_64
・System virtual machine software - VirtualBox 3.2.8 x86_64 for Linux

---

・Guest OS (for iSCSI) - Openfiler2.3 x86 (rPath Linux)

・DNS - bind9.4.3_P5-1.1-1 (rPath Linuxのソフトウェア管理ツールであるconaryを利用してインストールします）

・Guest OS (for RAC) - CentOS5.5 x86_64 (kernel 2.6.18-194.17.1.el5)

・Oracle11g R2 11.2.0.1.0 (Database/Grid Infrastructure/Examples) for Linux x86_64
・oracleasm-support-2.1.3-1.el5 (x86_64)
・oracleasmlib-2.0.4-1.el5 (x86_64)
・oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5 (x86_64)

VMの構成は前回の通りなのだが、一応書いておくと

・Openfiler2.3 x86向けVMの構成
ネットワークアダプタ１をブリッジアダプタで定義してPublicネットワーク用に利用し、ネットワークアダプタ１は内部ネットワークとして定義しPrivateネットワーク用(iSCSIのアクセス用)に利用する。
ちなみに、VirtualBoxの内部ネットワークは、VM間でのみ通信できるアダプタなのでInterConnectなどのPrivateネットワーク向きなんじゃないかと思っている。

・OSタイプ - Red Hat (32bit仮想マシン)
・メインメモリ - 2GB (ちょいと少なめ)
・プロセッサ数 - 2
・SATAポート0 - 100GB
・ネットワークアダプタ1 - Intel PRO/1000 MT Desktop (ブリッジアダプタ - eth0)
・ネットワークアダプタ2 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)

・各RACノードのCentOS5.5 x86_64向けVMの構成
Openfiler向けVMと同様にネットワークアダプタ１はブリッジアダプタとして定義して、Publicネットワークとして利用し、ネットワーク２は内部ネットワークで定義してiSCSI用のPrivateネットワーク。ネットワークアダプタ３も内部ネットワークとして定義し、Interconnect用Privateネットワークとして使う。

・OSタイプ - Red Hat (64bit仮想マシン)
・メインメモリ - 4GB
・プロセッサ数 - 4
・SATAポート0 - 50GB
・ネットワークアダプタ1 - Intel PRO/1000 MT Desktop (ブリッジアダプタ - eth0)
・ネットワークアダプタ2 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)
・ネットワークアダプタ3 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)

ということで次回へつづく。

---

これまでのあらずすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…

VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…

VirtualBox de Oracle11g R2 RACの続きです。

構築記録の詳細は後にして、最初に事前調査など（Oracle11g R2でいろいろと変わってるところあるので…）

・hangcheck-timerカーネル・モジュール

Oracle11g R1まではhangcheck-timerカーネル・モジュールが必要となっていたが、Oracle11g R2では不要となっている。
（Oracle11g R1でも当初不要とマニュアルに記載されていたが、後に必要と訂正されていた。おそらくフライングね)

・RACノード間の時刻同期

Cluster Time Synchronization Service (CTSS)という新機能が追加され、NTPで時刻合わせできない環境やNTPを利用しない環境でも時刻同期できるようになった。

が、今回はNTPで時刻合わせするのでCTSSは使わない

・Single Client Access Name (SCAN) VIP

SCANなるものが登場した。まだ勉強不足でSCANを使うと何がどうおいしいのか理解できていないのであとでちゃんと読むw

参考：

http://www.oracle.com/technology/global/jp/products/database/clustering/pdf/scan.pdf

・ネットワーク要件

前述のSCAN VIPの構成にも関わるが、以下のマニュアルによれば固定IP方式である場合、hostsファイルおよび、DNSという構成で対応できるということは確認できたので、今回は、hostsファイル＋DNSという構成にすることにした。

参考：

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.7.5 手動によるIPアドレスの構成例

・ソフトウェア要件

いつもの通りCentOS5.5 x86_86を利用するのでRed Hadt系のソフトウェア要件を参考に…

参考：

Oracle Grid Infrastructureインストレーション・ガイド11gリリース2（11.2）for Linux 2.8.2 x86-64 - Linuxプラットフォームでのソフトウェア要件
Oracle Databaseクイック・インストレーション・ガイド 11gリリース2（11.2） for Linux x86-644 - ソフトウェア要件の確認

・ストレージ

Oracle11g R2からOracle ClusterファイルもASM管理化に置くことができるようになったので、OpenfilerのiSCSIのボリュームをすべてASM管理にしちゃう。
Oracle11g R1の時はOracle Clusterファイルだけocfs2を利用していたが、今回はocsf2のインストール・構成は不要になった。

参考：

Oracle Grid Infrastructureインストレーション・ガイド11gリリース2（11.2）for Linux 3.1.3 - サポートされている記憶域オプション

・仮想NIC

以前はまではInterconnect用とiSCSI用を兼用させていたけど、今回はそれぞれに個別にVNICを割り当てて使う。
どうせ仮想だからお金かからないのがいいところw リアルな環境だと予算の都合上できないことも簡単に試せる :)

2010/12/3追記：
・SSHユーザの等価関係の有効化

OUIでパスフレーズなしのユーザ等価関係の有効化を自動的にやってくれるようになったみたい。信用しないわけじゃないんだけどとりあえず、Oracle11g R1までのように手動でもやっとく。

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux- E.1 すべてのクラスタ・ノードでの手動によるSSHの構成

という、ざっくりとした方針だけ決めてVirtualBox de Oracle11g R2 RACを構築〜。

以下、Openfier2.3 (x86)とRACのノードに利用するCentOS5.5(x86_64)向けVM構成（VirtualBox3.2.8を利用した3.2.10リリースされてるけど）のスナップショットなど…。

ちなみに、VirtualBox3.2.10と3.2.12でいろいろbug fixされてるけど、3.2.8のままで。

・Openfiler2.3 (iSCSI)に利用するVM構成は以下の通り。
※100GBのディスクにx86_64なんて名称をつけちゃってますが32bitの仮想マシンです！

・Oracle11g R2 x86_64の各ノードで利用するCentOS5.5 x86_64向けVM構成は以下の通り。
※こちらは64bitの仮想マシンです。

次回へつづく。

---

これまでのあらずすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1

VirtualBox de Oracle11g R2 RAC #1

前回VirtualBoxでOracle11g R1 RACを試したので今回はOracle11g R2 2ノードRACをVirtualBox上に構築してみた。

Oracle11g R1 RACをVirtualBox上に構築した際にも発生したdbcaの最後に表示される確認ダイアログを表示したまま固まるという状況があったものの今回もデータベースは作成されていた。
前回はdbcaの最後に表示される確認ダイアログで固まった後に強制終了させ、dbcaでデータベースの作成／削除を数度行い時間を要したもののハング？したような状態から正常に復帰したためそれ以外はなにも行わなかったのだが、今回はハング状態からVMを強制終了／起動してみた。
結果オーライという感じなのだが、dbcaの処理は終わっていたようで問題なくインスタンスが起動したのにはニッコリ！

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 11月 29 21:54:50 2010

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SQL> conn system@orcl
パスワードを入力してください: 
接続されました。
SQL> 
SQL> 
SQL> select * from gv$version;

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> 

以下、前回よりもさらに適当に書いてしまった感じのする配置図。（雰囲気が伝われば問題ないのでこんなところで勘弁して〜w)

Oracle11g R2からGrid Infrastructure (Oracle11g R1までのOracle ASM + Oracle Clusterware)になりDNSまたはGNS(Grid Naming Service)が必要だってことで、iSCSIで利用しているOpenfiler上でDNSを構成したこと、および、RACを構成するノードごとVNICを３つ作成し、1つはPublicネットワーク用、1つはInterconnect専用用、そしてもう１つは、iSCSIストレージアクセス専用としたところがポイント。（ちなみに、InterconnectとiSCSIはprivateネットワークとしてVirtualBoxの内部ネットワークアダプタを利用した）

参考にしたブログでは、nslookupを改造しちゃってDNSを使わない方法なんかもあったが今回はDNSを利用した。(普段やらないからDNSの構成ファイルの記述方法調べんのが一番めんどくさかったw)
SCAN (Single Client Access Name)を利用するのにDNSかGNSが必須なんですよー。新しい用語増え過ぎw

参考：

・SCANの解説でわかりやすい資料はこれかも↓
http://www.oracle.com/technology/global/jp/products/database/clustering/pdf/scan.pdf

・インストールおよび構成で参考にした記事
http://www.oracle.com/technetwork/articles/hunter-rac11gr2-iscsi-088677.html
http://www.idevelopment.info/data/Oracle/DBA_tips/Oracle11gRAC/CLUSTER_12.shtml

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

多すぎるのはいかがな物かと。

少々間が空いてしまいましたが、久々にvirtualな世界の話じゃないネタ。

バッファキャッシュや共有プールに何も乗っかってない時と乗った後って、パーティションがどんだけあるかっていうことが、再帰コールとかconsistent getsとかphysical readsとかにも影響あるよね〜という確認。

どんなこと試したかっていうと…、
非パーティション表、５０パーティション、１００パーティション、５００パーティション、１０００パーティション、５０００パーティション、１００００パーティションの各パーティション表に対して、INSERT文を実行した場合どれだけ再帰コールなどが行われるのか確かめてみた。

前提
・初回のINSERT文実行前に共有プール、バッファキャッシュをクリアする。
・INSERTを３回実行する。
・deferred_segment_creation初期化パラメータは一時的にfalseにしておく。

まずは結果からどうぞ。consistent getsやphysical readsは再帰コールと同じ傾向があった。予想通り。