MySQL 8.0.32 , PostgreSQL 13.4 and Oracle Database 21c on Oracle Linux 8 on VirtualBox for Apple Silicon Test Build 7.0.97_BETA5r160702

---

予定外ですが、Advent Calendarのシーズンついでなので、空いていた以下のアドベントカレンダー向けエントリーとなります。
Kernel/VM Advent Calendar 2023 / Day 13

---

macOS / ARM64 Beta development revision 160702
https://www.virtualbox.org/wiki/Testbuilds

以前、Oracle Linux 8 and MySQL 8.0.32 on VirtualBox for Apple Silicon Test Build 7.0.97_BETA5r160167で、MySQL 8.0.32が起動した！と言うことを書きましたが、その後のBETAリリースではOS起動中にクラッシュしていました。
で、今回は、development revision 160702をダメもとで試してみました。

結果から書くと、色々もっさりしているのは仕方ないかないところですが、このrevisionでは、MySQLに加えて、PostgreSQLも起動しました！！！

VirtualBox for Apple Silicon Test Build 7.0.97_BETA5r160702
GuestOS : Oracle Linux Server release 8.5
MySQL 8.0.32 - 起動した！
PostgreSQL 13.4 - 起動した！
Oracle database 21c - 起動せず！

試した内容は前回と同じですが、Oracleについては変えています。
1) Oracle Linux 8.5 に、PostgreSQL 13.4 と MySQL 8.0.32 を構成したVMをエクスポートして ova 作成
2) 1)のOracle Linux 8.5 に、Oracle Database 21cを構成したものを ova としてエクスポート。
それぞれをVirtualBoxへインポートして検証しました。

ちなみに、
Oracle Linux 7.6のPre-Built Developer VMs (for Oracle VM VirtualBox) および、Oracle Linux 8.6に構築したOracle 23c Freeは、OS起動にクラッシュしていたので、うまく起動した1)を利用して、OS起動後にOracleの挙動を確認する方法にしましたが、Oracleがコケたと言う結果となりました。

Test Buildは、結構進んできているようで、今後が楽しみです ;)

では、また。

---

関連エントリー
・Oracle Linux 8 and MySQL 8.0.32 on VirtualBox for Apple Silicon Test Build 7.0.97_BETA5r160167

Oracle Linux 8 and MySQL 8.0.32 on VirtualBox for Apple Silicon Test Build 7.0.97_BETA5r160167

ということで、ちょっと一休み的なネタです。

Apple Silicon対応はほぼ諦めていたVirtualBoxが 7.0でBETA版をリリースして大喜びしてたわけですが、
7.0.12でも正常に起動してくれないですよね。まだ。
ただ、表には出てこないですが、Test Buildでは結構進んでいるようで、嬉しいお知らせです。:)

まだ、Oracle Databaseとかは起動しないようですが、最新のTest Buildをダメ元で試してみたら、Oracle Linux 8とMySQL 8.0.32の組み合わせならDBのお遊びに使えそうな状況（次のBuild ではどうなるかわかりませんが）であることに気づきました。確実に進捗してそうで一安心。

新規VM作成ではなく、以下の手順で簡易に確認してみました。

macOS/Intel MBAのVirtualBoxにて、以下、2つのovaを作成し、M2 MBAのTest Build最新版のVirtualBoxへインポートして動作するかどうかを確認

1) Oracle Linux 8 に、PostgreSQL 13.4 と MySQL 8.0.32 を構成したVMをエクスポートして ova 作成
2) Oracle Linux 8 に、Oracle 23c Free Developer Editionを構成していたVMをエクスポートして ova 作成

結果は、
1)のMySQLは起動成功、
1)のMySQLは起動成功、
PostgreSQLは起動できず。
2)はOSは起動したがOracle起動中にエラーでVM停止

という状況。

でも、MySQL 8.0.32が、M2 MBAのVirtualBoxで使えるようになっているのはかなりの進捗なのではないかと思います。そもそもApple SiliconでVirtualBoxインストールできなくなったりしていた悲しい時期から比べれば。
いずれ、Oracleが起動するようになってくれることを期待しつつ。。Advent Calendarの記事を考えよう :)

以下、軽めの確認ログとスクリーンショットなど。

VirtualBox Test Build 7.0.97 BETA5

OVAインポート成功後、OSは正常に起動したものの、PostgreSQL 13.4 は起動失敗。 MySQL 8.0.32は起動成功！。

Oracle Database 23c Free Developer Editionを構成したovaインポート後、Database起動中にfatal errorでVM停止。惜しいね。

 

MySQL 8.0.32 on Oracle Linux 8.5 on VirtualBox Test Build 7.0.97 BETA5 for macOS/M1/M2でMySQLへ接続！

---

---

VirtualBoxホストの情報 M2 MBAです。

leaffish ~ % /usr/sbin/system_profiler SPHardwareDataType | grep -E '(Processor|Cores|Memory|Chip|Model Name)'
      Model Name: MacBook Air
      Chip: Apple M2
      Total Number of Cores: 8 (4 performance and 4 efficiency)
      Memory: 24 GB

VirtualBoxは、Text Build最新(17-Nov-2023)

VirtualBox test builds
https://www.virtualbox.org/wiki/Testbuilds より、macOS/ARM64 BETAとExtension Packを利用

leaffish ~ % VBoxManage -v
7.0.97_BETA5r160167

M2 MBAのTerminalからsshでローカルのVMへ。 M2 MBAのVirtualBox Guest OSは、Oracle Linux 8.5 です。起動してますね！

leaffish ~ % ssh master@192.168.1.117
master@192.168.1.117's password:
Activate the web console with: systemctl enable --now cockpit.socket

[master@localhost ~]$
[master@localhost ~]$ cat /etc/oracle-release
Oracle Linux Server release 8.5

[master@localhost ~]$ cat /etc/redhat-release
Red Hat Enterprise Linux release 8.5 (Ootpa)
[master@localhost ~]$

起動しているのは確認できましたが、MySQLへ接続してSQLを実行するまでが確認！
おおおおおおおおーーーーーーっ！。

MySQL 8.0.32 on Oracle Linux 8.5 on M2 MacBook Air VirtualBox　。Oracle Databaseではないけど、うれしくて涙が。。。出ますね。これ。

[master@localhost ~]$ mysql -u scott -D perftestdb -p 
Enter password:
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 8.0.32 Source distribution

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| performance_schema |
| perftestdb         |
+--------------------+
3 rows in set (0.02 sec)

mysql> show tables;
+----------------------+
| Tables_in_perftestdb |
+----------------------+
| detail               |
| hoge                 |
| master               |
| t0                   |
| t1                   |
| t1017                |
| t1017_2              |
| t2                   |
| t3                   |
| t4                   |
+----------------------+
10 rows in set (0.07 sec)

mysql> select version();
+-----------+
| version() |
+-----------+
| 8.0.32    |
+-----------+
1 row in set (0.00 sec)

mysql> select * from t1;
+----+-------+
| id | t1_c1 |
+----+-------+
|  1 |     1 |
|  2 |     2 |
|  3 |     3 |
|  4 |     4 |
|  5 |     5 |
|  6 |     6 |
|  7 |     7 |
|  8 |     8 |
|  9 |     9 |
| 10 |    10 |
+----+-------+
10 rows in set (0.04 sec)

mysql> exit
Bye

ついでなので、停止も試しておきましょう:)

[master@localhost ~]$ sudo service mysqld stop
[[sudo] master のパスワード:
Redirecting to /bin/systemctl stop mysqld.service
[master@localhost ~]$ sudo shutdown -h now
Connection to 192.168.1.117 closed by remote host.
Connection to 192.168.1.117 closed.
leaffish ~ %

週末天気悪そうで、Walkingできないかもしれない。。..

では、また。

MySQL 8.0.32 / explain analyze 実行途中でキャンセルできるみたいだけど、キャンセルしたら、Actual Plan、途中まで出るの？

本年度一発目のw　Databaseネタは、なんと、MySQLネタからのスタートですw

MySQL 8.0.18以降、Actualプランが取得できるようになってた。
また、MySQL 8.0.20 以降、KILL QUERY または CTRL-C を使用してこのステートメントを終了できるとある。
ただ、マニュアルに記載されているのはここまでで、キャンセルできることは記載されているが、キャンセルした場合のActual Planはどこまで出力されるのだろう？　or 全く出力されない？

OracleのリアルタイムSQL監視だとキャンセルすると不完全ではあるけども、なんとなーく判断できる程度の情報は途中まで取得できるが、
GATHER_PLAN_STATISTICSヒントなどを使ったActualプランは最後まで実行しないとアcつあlはしゅとくできない。どちらのタイプに似ているのでしょうね？

長時間（数日とかw）かかってしまうようになったSQLのActualプラン取得するの意外と難しいケースも場合によってはあったりするわけで。。。そんなとき、Actualみたいけど、キャンセルしたらどうなるのだろうと。。
途中まででも取得できるのか、それとも、Nothingなのか。。。

MySQLのActualプランの取得はどうなんだろう。。。ということで、試してみた。

EXPLAIN ANALYZE による情報の取得
https://dev.mysql.com/doc/refman/8.0/ja/explain.html#explain-analyze

---

---

結論から書くと、
MySQL 8.0.32での検証だが、

explain analyzeで取得できるActual Planは、対応しているSQL文の実行中にCTRL-Cでキャンセルしても、その時点までの、Actual Planを表示してくれる!!!!!!

ただし、パース時間が異常に長めのSQL文(結合数めちゃ多いとか）だと、実行以前に、パース時間が長いため、パースフェーズでキャンセルしてしまうの何も表示されない。。と（最初はこちらを引いてしまったので、常に表示されないものかと思い込んでしまった）
他の方法で実行をキャンセルした場合も同じだろう。とは思う。

いや、他にも出力されないケースがあるとか、その検証方法だから出力されているだけどか、MySQLのexplain analyzeのディープなツッコミがありましたら、よろしくお願いします。:)

MySQLの8.0台ってマイナー番号変わっても機能追加されたり変化しているので、一応。 MySQL 8.0.32 上では。ということにしておく。

---

---

以下、検証の記録的なもの。

確認に使用した　MySQLのバージョン

[master@localhost ~]$ mysql -u scott -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 8.0.32 Source distribution

Copyright (c) 2000, 2023, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select version();
+-----------+
| version() |
+-----------+
| 8.0.32    |
+-----------+
1 row in set (0.00 sec)

事前に準備したクエリ向け表と索引など

Database changed
mysql> use perftestdb
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql>
mysql> desc master;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int         | NO   | PRI | NULL    |       |
| dummya | varchar(10) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
2 rows in set (0.01 sec)

mysql> desc detail;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int         | NO   | PRI | NULL    |       |
| subid  | int         | NO   | PRI | NULL    |       |
| dummya | varchar(10) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
3 rows in set (0.00 sec)

mysql> show indexes from master;
+--------+------------+----------+--------------+-------------+------------+
| Table  | Non_unique | Key_name | Seq_in_index | Column_name | Index_type |
+--------+------------+----------+--------------+-------------+------------+
| master |          0 | PRIMARY  |            1 | id          | BTREE      |
+--------+------------+----------+--------------+-------------+------------+
1 row in set (0.02 sec)

mysql> show indexes from detail;
+--------+------------+----------+--------------+-------------+------------+
| Table  | Non_unique | Key_name | Seq_in_index | Column_name | Index_type |
+--------+------------+----------+--------------+-------------+------------+
| detail |          0 | PRIMARY  |            1 | id          | BTREE      |
| detail |          0 | PRIMARY  |            2 | subid       | BTREE      |
+--------+------------+----------+--------------+-------------+------------+
2 rows in set (0.02 sec)

mysql> select * from master;
+----+--------+
| id | dummya |
+----+--------+
|  1 | 1      |
|  2 | 2      |
|  3 | 3      |
|  4 | 4      |
|  5 | 5      |
|  6 | 6      |
|  7 | 7      |
|  8 | 8      |
|  9 | 9      |
| 10 | 10     |
+----+--------+
10 rows in set (0.01 sec)

mysql> select * from detail;
+----+-------+--------+
| id | subid | dummya |
+----+-------+--------+
|  1 |     1 | 11     |
|  1 |     2 | 12     |
|  2 |     1 | 21     |
|  2 |     2 | 22     |
|  3 |     1 | 31     |
...略...
|  7 |     1 | 71     |
|  7 |     2 | 72     |
|  8 |     1 | 81     |
|  8 |     2 | 82     |
|  9 |     1 | 91     |
|  9 |     2 | 92     |
| 10 |     1 | 101    |
| 10 |     2 | 102    |
+----+-------+--------+
20 rows in set (0.01 sec)

検証用に作ったSQL。どのぐらいのElapsed Timeかanaluyzeをつけて実行して、キャンセルしやすい程度のElapsed Timeか確認しておきます。

mysql> explain analyze
    -> select *
    -> from
    ->   master inner join detail
    ->   on master.id = detail.id
    ->   inner join detail t2
    ->   on
    ->     t2.id = detail.id
    ->   inner join detail t3
    ->   on
    ->     t3.id = t2.id
    ->   inner join detail t4
    ->   on
    ->     t4.id = t3.id
    ->   inner join detail t5
    ->   on
    ->     t5.id = t4.id
    ->   inner join detail t6
    ->   on
    ->     t6.id = t5.id
    ->   inner join detail t7
    ->   on
    ->     t7.id = t6.id
    ->   inner join detail t8
    ->   on
    ->     t8.id = t7.id
    ->   inner join detail t9
    ->   on
    ->     t9.id = t8.id
    ->   inner join detail t10
    ->   on
    ->     t10.id = t9.id
    -> ;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Nested loop inner join  (cost=5729.85 rows=8192) (actual time=0.115..37.938 rows=10240 loops=1)
    -> Nested loop inner join  (cost=2862.65 rows=4096) (actual time=0.108..18.747 rows=5120 loops=1)
        -> Nested loop inner join  (cost=1429.05 rows=2048) (actual time=0.102..9.267 rows=2560 loops=1)
            -> Nested loop inner join  (cost=712.25 rows=1024) (actual time=0.097..4.689 rows=1280 loops=1)
                -> Nested loop inner join  (cost=353.85 rows=512) (actual time=0.091..2.336 rows=640 loops=1)
                    -> Nested loop inner join  (cost=174.65 rows=256) (actual time=0.086..1.203 rows=320 loops=1)
                        -> Nested loop inner join  (cost=85.05 rows=128) (actual time=0.080..0.630 rows=160 loops=1)
                            -> Nested loop inner join  (cost=40.25 rows=64) (actual time=0.075..0.337 rows=80 loops=1)
                                -> Nested loop inner join  (cost=17.85 rows=32) (actual time=0.069..0.189 rows=40 loops=1)
                                    -> Nested loop inner join  (cost=6.65 rows=16) (actual time=0.063..0.110 rows=20 loops=1)
                                        -> Table scan on master  (cost=1.05 rows=8) (actual time=0.041..0.047 rows=10 loops=1)
                                        -> Index lookup on detail using PRIMARY (id=`master`.id)  (cost=0.53 rows=2) (actual time=0.005..0.006 rows=2 loops=10)
                                    -> Index lookup on t2 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2) (actual time=0.003..0.004 rows=2 loops=20)
                                -> Index lookup on t3 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2) (actual time=0.002..0.003 rows=2 loops=40)
                            -> Index lookup on t4 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=80)
                        -> Index lookup on t5 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=160)
                    -> Index lookup on t6 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=320)
                -> Index lookup on t7 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=640)
            -> Index lookup on t8 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=1280)
        -> Index lookup on t9 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=2560)
    -> Index lookup on t10 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.002..0.003 rows=2 loops=5120)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (21.18 sec)

では、explain analyseを途中でキャンセルしてみます。elapsed timeが21秒ほどなので、20秒後にキャンセルしてみます。

mysql> explain analyze
select *
from
  master inner join detail
  on master.id = detail.id
  inner join detail t2
  on t2.id = master.id
  inner join detail t3
  on t3.id = master.id
  inner join detail t4
  on t4.id = master.id
  inner join detail t5
  on t5.id = master.id
  inner join detail t6
  on t6.id = master.id
  inner join detail t7
  on t7.id = master.id
  inner join detail t8
  on t8.id = master.id
  inner join detail t9
  on t9.id = master.id
  inner join detail t10
  on t10.id = master.id
;
^C^C -- query aborted
ERROR 1317 (70100): Query execution was interrupted
mysql>

！　やはり、実行途中のキャンセルだとActual Planは何も出力されないみたい。。。。

？？ん？　いや、なんか違うな。これw！

SQL文の実行時間はたいしたことない。人間がこの時間内にピンポイントでキャンセルするには短すぎるよね。
SQL文の実行時間は、約38ミリ秒！！！　こっちだw 最終に表示されている21秒には、SQLのパース時間も含まれているはず。。。。見逃した。俺としたことが。。。

| -> Nested loop inner join  (cost=5729.85 rows=8192) (actual time=0.115..37.938 rows=10240 loops=1)

キャンセルしたのは、SQL実行後、おおよそ、20秒後。SQLのActualタイムを見ると38ミリ秒なので、ギリギリ、パース時間中に被ってそう。

1 row in set (21.00 sec)

だとしたら、まず、そこから確認。パースにどの程度要しているか、explainだけにすれば、良さそうだよね。Oracle Databaseでもそうだし。(PostgreSQLはパース時間も表示してくれたりするけども。あれ意外に便利なんだよ）

mysql> explain format=tree    -> select *
    -> from
    ->   master inner join detail
    ->   on master.id = detail.id
    ->   inner join detail t2
    ->   on
    ->     t2.id = detail.id
    ->   inner join detail t3
    ->   on
    ->     t3.id = t2.id
    ->   inner join detail t4
    ->   on
    ->     t4.id = t3.id
    ->   inner join detail t5
    ->   on
    ->     t5.id = t4.id
    ->   inner join detail t6
    ->   on
    ->     t6.id = t5.id
    ->   inner join detail t7
    ->   on
    ->     t7.id = t6.id
    ->   inner join detail t8
    ->   on
    ->     t8.id = t7.id
    ->   inner join detail t9
    ->   on
    ->     t9.id = t8.id
    ->   inner join detail t10
    ->   on
    ->     t10.id = t9.id
    -> ;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Nested loop inner join  (cost=5729.85 rows=8192)
    -> Nested loop inner join  (cost=2862.65 rows=4096)
        -> Nested loop inner join  (cost=1429.05 rows=2048)
            -> Nested loop inner join  (cost=712.25 rows=1024)
                -> Nested loop inner join  (cost=353.85 rows=512)
                    -> Nested loop inner join  (cost=174.65 rows=256)
                        -> Nested loop inner join  (cost=85.05 rows=128)
                            -> Nested loop inner join  (cost=40.25 rows=64)
                                -> Nested loop inner join  (cost=17.85 rows=32)
                                    -> Nested loop inner join  (cost=6.65 rows=16)
                                        -> Table scan on master  (cost=1.05 rows=8)
                                        -> Index lookup on detail using PRIMARY (id=`master`.id)  (cost=0.53 rows=2)
                                    -> Index lookup on t2 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2)
                                -> Index lookup on t3 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2)
                            -> Index lookup on t4 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
                        -> Index lookup on t5 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
                    -> Index lookup on t6 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
                -> Index lookup on t7 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
            -> Index lookup on t8 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
        -> Index lookup on t9 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
    -> Index lookup on t10 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (21.84 sec)

お！　予想通り、explainでパースだけさせたら、explain analyze（SQL文の実行を含む）とほぼ同じ 21秒台。想定は正しそう。

だとすると、今回確認したいことを実現するには、..... SQLの実行時間をもっと長くして、人がw キャンセルしやすい程度に実行時間を間延びさせておく必要がある。。
とはいえ、大量のデータを用意する時間もVMのストレージもないと。。。

さて、どうするか。。。。

***** ここで、　一休さん、考え中。。。 木魚の音。ポク、ポク、ポク。。。。w *****

***** ここで、　一休さん、閃いた。。。 鐘の音、チーーーーーん *****
　
sleep()関数を使って、眠らせると時間稼ぎできるのでは？　　やってみよう！
おおおおお、いい感じだ。

mysql> explain analyze
    -> select *, sleep(0.01)
    -> from
    ->   master inner join detail
    ->   on master.id = detail.id
    ->   inner join detail t2
    ->   on
    ->     t2.id = detail.id
    ->   inner join detail t3
    ->   on
    ->     t3.id = t2.id
    ->   inner join detail t4
    ->   on
    ->     t4.id = t3.id
    ->   inner join detail t5
    ->   on
    ->     t5.id = t4.id
    ->   inner join detail t6
    ->   on
    ->     t6.id = t5.id
    ->   inner join detail t7
    ->   on
    ->     t7.id = t6.id
    ->   inner join detail t8
    ->   on
    ->     t8.id = t7.id
    ->   inner join detail t9
    ->   on
    ->     t9.id = t8.id
    ->   inner join detail t10
    ->   on
    ->     t10.id = t9.id
    -> ;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Nested loop inner join  (cost=5729.85 rows=8192) (actual time=0.170..232.399 rows=10240 loops=1)
    -> Nested loop inner join  (cost=2862.65 rows=4096) (actual time=0.164..75.457 rows=5120 loops=1)
        -> Nested loop inner join  (cost=1429.05 rows=2048) (actual time=0.159..37.659 rows=2560 loops=1)
            -> Nested loop inner join  (cost=712.25 rows=1024) (actual time=0.154..17.709 rows=1280 loops=1)
                -> Nested loop inner join  (cost=353.85 rows=512) (actual time=0.149..9.612 rows=640 loops=1)
                    -> Nested loop inner join  (cost=174.65 rows=256) (actual time=0.143..4.658 rows=320 loops=1)
                        -> Nested loop inner join  (cost=85.05 rows=128) (actual time=0.138..2.285 rows=160 loops=1)
                            -> Nested loop inner join  (cost=40.25 rows=64) (actual time=0.132..1.174 rows=80 loops=1)
                                -> Nested loop inner join  (cost=17.85 rows=32) (actual time=0.126..0.625 rows=40 loops=1)
                                    -> Nested loop inner join  (cost=6.65 rows=16) (actual time=0.120..0.347 rows=20 loops=1)
                                        -> Table scan on master  (cost=1.05 rows=8) (actual time=0.097..0.122 rows=10 loops=1)
                                        -> Index lookup on detail using PRIMARY (id=`master`.id)  (cost=0.53 rows=2) (actual time=0.017..0.021 rows=2 loops=10)
                                    -> Index lookup on t2 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2) (actual time=0.010..0.013 rows=2 loops=20)
                                -> Index lookup on t3 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2) (actual time=0.010..0.013 rows=2 loops=40)
                            -> Index lookup on t4 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.010..0.013 rows=2 loops=80)
                        -> Index lookup on t5 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.010..0.014 rows=2 loops=160)
                    -> Index lookup on t6 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.011..0.015 rows=2 loops=320)
                -> Index lookup on t7 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.009..0.012 rows=2 loops=640)
            -> Index lookup on t8 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.011..0.015 rows=2 loops=1280)
        -> Index lookup on t9 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.010..0.014 rows=2 loops=2560)
    -> Index lookup on t10 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.010..0.028 rows=2 loops=5120)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (2 min 47.64 sec)

Elapsed Timeがパース時間より長くなったので、できそう。　60秒後にキャンセルすれば余裕はありそう。

1 row in set (2 min 47.64 sec)

explain analyzeを実行して、60秒後にキャンセルした！

mysql> explain analyze
    -> select *, sleep(0.01)
    -> from
    ->   master inner join detail
    ->   on master.id = detail.id
    ->   inner join detail t2
    ->   on
    ->     t2.id = detail.id
    ->   inner join detail t3
    ->   on
    ->     t3.id = t2.id
    ->   inner join detail t4
    ->   on
    ->     t4.id = t3.id
    ->   inner join detail t5
    ->   on
    ->     t5.id = t4.id
    ->   inner join detail t6
    ->   on
    ->     t6.id = t5.id
    ->   inner join detail t7
    ->   on
    ->     t7.id = t6.id
    ->   inner join detail t8
    ->   on
    ->     t8.id = t7.id
    ->   inner join detail t9
    ->   on
    ->     t9.id = t8.id
    ->   inner join detail t10
    ->   on
    ->     t10.id = t9.id
    -> ;

^C^C -- query aborted

+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Nested loop inner join  (cost=5729.85 rows=8192) (actual time=0.113..92.382 rows=2639 loops=1)
    -> Nested loop inner join  (cost=2862.65 rows=4096) (actual time=0.106..29.480 rows=1320 loops=1)
        -> Nested loop inner join  (cost=1429.05 rows=2048) (actual time=0.101..14.323 rows=660 loops=1)
            -> Nested loop inner join  (cost=712.25 rows=1024) (actual time=0.096..7.161 rows=330 loops=1)
                -> Nested loop inner join  (cost=353.85 rows=512) (actual time=0.090..3.507 rows=165 loops=1)
                    -> Nested loop inner join  (cost=174.65 rows=256) (actual time=0.085..1.624 rows=83 loops=1)
                        -> Nested loop inner join  (cost=85.05 rows=128) (actual time=0.079..0.867 rows=42 loops=1)
                            -> Nested loop inner join  (cost=40.25 rows=64) (actual time=0.073..0.352 rows=21 loops=1)
                                -> Nested loop inner join  (cost=17.85 rows=32) (actual time=0.068..0.210 rows=11 loops=1)
                                    -> Nested loop inner join  (cost=6.65 rows=16) (actual time=0.062..0.122 rows=6 loops=1)
                                        -> Table scan on master  (cost=1.05 rows=8) (actual time=0.040..0.044 rows=3 loops=1)
                                        -> Index lookup on detail using PRIMARY (id=`master`.id)  (cost=0.53 rows=2) (actual time=0.021..0.024 rows=2 loops=3)
                                    -> Index lookup on t2 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2) (actual time=0.011..0.014 rows=2 loops=6)
                                -> Index lookup on t3 using PRIMARY (id=`master`.id)  (cost=0.51 rows=2) (actual time=0.009..0.012 rows=2 loops=11)
                            -> Index lookup on t4 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.020..0.024 rows=2 loops=21)
                        -> Index lookup on t5 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.014..0.017 rows=2 loops=42)
                    -> Index lookup on t6 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.015..0.022 rows=2 loops=83)
                -> Index lookup on t7 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.014..0.021 rows=2 loops=165)
            -> Index lookup on t8 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.016..0.021 rows=2 loops=330)
        -> Index lookup on t9 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.015..0.022 rows=2 loops=660)
    -> Index lookup on t10 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.015..0.044 rows=2 loops=1320)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set, 1 warning (1 min 3.57 sec)

SQLのActualタイムは、92ミリ秒、処理した行数が、2629行。

| -> Nested loop inner join  (cost=5729.85 rows=8192) (actual time=0.113..92.382 rows=2639 loops=1)

以下を見ると、loopsが、1320回となっている。

    -> Index lookup on t10 using PRIMARY (id=`master`.id)  (cost=0.50 rows=2) (actual time=0.015..0.044 rows=2 loops=1320)

やった〜〜〜。　MySQLの explain analyzeは、"SQLの実行途中"(パース時間が長い割に、実行時間が短い場合は、実行中にキャンセルするのが難しいので表示されないケースはあるので注意）でキャンセルしても、途中までのActual Planを返してくれる！

念の為、sleep()関数を使ったトリッキーな再現方法ではなく、実際にSQLの実行中にキャンセルする方法を思いついたので、さらに、試してみる！

お分かりだろうか。 みなさん大好き（？）、　再起問い合わせ再帰問合せでシーケンス番号を生成するクエリーだ。100000000ぐらい生成すれば、いい感じの実行時間になるだろうと、思われるので、まず、このSQLのパース時間だけ確認。

mysql> SET SESSION cte_max_recursion_depth = 100000000;
Query OK, 0 rows affected (0.00 sec)

パース時間はほぼかかってないですね。先ほどの例は、結合する表が多いので、パース時間は長くなる傾向があるので、シンプルなSQLだけど、実行時間は、なげ〜〜〜〜ぞ〜というのにしてみた。

mysql> explain format=tree
    -> WITH RECURSIVE gen_nums(v)
    -> AS
    ->   (
    ->     SELECT 1
    ->     UNION ALL
    ->     SELECT v + 1
    ->     FROM
    ->       gen_nums
    ->     WHERE v + 1 <= 100000000
    ->   )
    ->   SELECT v from gen_nums;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Table scan on gen_nums  (cost=3.87..5.56 rows=3)
    -> Materialize recursive CTE gen_nums  (cost=3.03..3.03 rows=3)
        -> Rows fetched before execution  (cost=0.00..0.00 rows=1)
        -> Repeat until convergence
            -> Filter: ((gen_nums.v + 1) <= 100000000)  (cost=2.73 rows=2)
                -> Scan new records on gen_nums  (cost=2.73 rows=2)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

explain analyzeの実時間を確認

mysql> explain analyze
    -> WITH RECURSIVE gen_nums(v)
    -> AS
    ->   (
    ->     SELECT 1
    ->     UNION ALL
    ->     SELECT v + 1
    ->     FROM
    ->       gen_nums
    ->     WHERE v + 1 <= 100000000
    ->   )
    ->   SELECT v from gen_nums;
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Table scan on gen_nums  (cost=3.87..5.56 rows=3) (actual time=139082.095..178091.268 rows=100000000 loops=1)
    -> Materialize recursive CTE gen_nums  (cost=3.03..3.03 rows=3) (actual time=139081.959..139081.959 rows=100000000 loops=1)
        -> Rows fetched before execution  (cost=0.00..0.00 rows=1) (actual time=0.000..0.000 rows=1 loops=1)
        -> Repeat until convergence
            -> Filter: ((gen_nums.v + 1) <= 100000000)  (cost=2.73 rows=2) (actual time=0.003..29453.367 rows=50000000 loops=2)
                -> Scan new records on gen_nums  (cost=2.73 rows=2) (actual time=0.002..21852.139 rows=50000000 loops=2)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (3 min 8.46 sec)

Actual timeは、178秒なので、60秒後にキャンセルすればよさそうですね。

| -> Table scan on gen_nums  (cost=3.87..5.56 rows=3) (actual time=139082.095..178091.268 rows=100000000 loops=1)

では、キャンセルでどうなるか検証！！

mysql> explain analyze
    -> WITH RECURSIVE gen_nums(v)
    -> AS
    ->   (
    ->     SELECT 1
    ->     UNION ALL
    ->     SELECT v + 1
    ->     FROM
    ->       gen_nums
    ->     WHERE v + 1 <= 100000000
    ->   )
    ->   SELECT v from gen_nums;
^C^C -- query aborted
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| EXPLAIN                                                                                                                                                          |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| -> Table scan on gen_nums  (cost=3.87..5.56 rows=3) (never executed)
    -> Materialize recursive CTE gen_nums  (cost=3.03..3.03 rows=3) (never executed)
        -> Rows fetched before execution  (cost=0.00..0.00 rows=1) (actual time=0.000..0.000 rows=1 loops=1)
        -> Repeat until convergence
            -> Filter: ((gen_nums.v + 1) <= 100000000)  (cost=2.73 rows=2) (actual time=0.004..27789.355 rows=47924088 loops=1)
                -> Scan new records on gen_nums  (cost=2.73 rows=2) (actual time=0.002..20555.788 rows=47924088 loops=1)
 |
+------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set, 1 warning (1 min 3.94 sec)

60行でキャンセルしたので、ほぼ同じ。

1 row in set, 1 warning (1 min 3.94 sec

以下の行ソースを見ると、Actual timeが21秒ほど、rowsも47924088行。

               -> Scan new records on gen_nums  (cost=2.73 rows=2) (actual time=0.002..20555.788 rows=47924088 loops=1)

興味深い部分は、以下の2行の行ソース。never execute　と表示されている。

| -> Table scan on gen_nums  (cost=3.87..5.56 rows=3) (never executed)
    -> Materialize recursive CTE gen_nums  (cost=3.03..3.03 rows=3) (never executed)
¥

これを見る限り、MySQLのexplain analyzeは、SQL文の実行フェース中にキャンセルすると、その時点までの Actual Planを出力してくれる。これ、結構嬉しいよね。長時間実行で、仕方なくキャンセルするにしても途中の状態。運が良ければ、詰まっている部分が見えるかもしれないわけで。。。

いや、他にも出力されないケースがあるとか、その検証方法だから出力されているだけどか、MySQLのexplain analyzeのディープなツッコミがありましたら、よろしくお願いします。:) (大事なので、2度書いておくw）

以上、explain analyze のブラックボックステスト。　実行途中でキャンセルできるみたいだけど、キャンセルしたら、Actual Plan、途中まで出るの？　の巻。終わり。

似てるようで、似てない。それぞれのRDBMSの世界w。　ではまた。

参考）
EXPLAIN ANALYZE による情報の取得
https://dev.mysql.com/doc/refman/8.0/ja/explain.html#explain-analyze

Oracle Database 21c EE for Linux on VirtualBox 6.1

諸事情w　によりまだやってなかった Oracle Database 21c　お遊び環境構築しました。今の所 VirtualBox向けrebuildなのはなさそうなので、400億年振りにw　Linuxインストールから実施w　とはいっても、インストール含め楽すぎて良いですね。(preinstallな方しか試して無いですが)

これで、またパラメータ数比較もできる:)

環境
VirtualBox (現時点の最新版 6.1 for macOS intel)
https://www.virtualbox.org/

Oracle Linux Installation Media (今回は8.4を使った)
https://yum.oracle.com/oracle-linux-isos.html

Oracle Database 21c (21.3) for Linux x86-64 (RPM)
https://www.oracle.com/database/technologies/oracle21c-linux-downloads.html

VirtualBoxのバージョン確認

discus-mother:~ oracle$ VBoxManage -v
6.1.32r149290

Oracle Linux 8.4のVM作成（ここは本題じゃないので省略）

Oracle Linuxのバージョン確認

[master@localhost ~]$ uname -rv
5.4.17-2102.201.3.el8uek.x86_64 #2 SMP Fri Apr 23 09:05:57 PDT 2021
[master@localhost ~]$
[master@localhost ~]$ cat /etc/redhat-release
Red Hat Enterprise Linux release 8.4 (Ootpa)
[master@localhost ~]$ cat /etc/oracle-release
Oracle Linux Server release 8.4
[master@localhost ~]$

Oracle Database 21c EE 21.3.0.0.0のインストール

大人の事情w　インストールからやるのかなり久々な上に、rpmでやるのは初！！！！　しかも環境変数のあたり、ちょいと忘れているので怪しい（でツッコミ歓迎w）

では、first attempting... rpmは事前にダウンロード済み

master@localhost ~]$ ll -h oracle-database-ee-21c-1.0-1.ol8.x86_64.rpm
-rw-r--r--. 1 master master 2.6G  3月 29 03:07 oracle-database-ee-21c-1.0-1.ol8.x86_64.rpm

Install

[master@localhost ~]$ sudo dnf install oracle-database-ee-21c-1.0-1.ol8.x86_64.rpm
メタデータの期限切れの最終確認: 1:30:07 時間前の 2022年03月29日 02時07分01秒 に実施しました。
依存関係が解決しました。
======================================================================================================================
 パッケージ                          アーキテクチャー          バージョン                    リポジトリー               サイズ
======================================================================================================================
インストール:
 oracle-database-ee-21c                   x86_64       1.0-1                         @commandline               2.6 G
依存関係のインストール:
 compat-openssl10                         x86_64       1:1.0.2o-3.el8                ol8_appstream              1.1 M
 ksh                                      x86_64       20120801-254.0.1.el8          ol8_appstream              927 k
 libnsl                                   x86_64       2.28-151.0.1.el8              ol8_baseos_latest          102 k
 oracle-database-preinstall-21c           x86_64       1.0-1.el8                     ol8_appstream               30 k

トランザクションの概要
======================================================================================================================
インストール  5 パッケージ

合計サイズ: 2.6 G
インストール後のサイズ: 7.1 G
これでよろしいですか? [y/N]: y
パッケージのダウンロード:
[SKIPPED] libnsl-2.28-151.0.1.el8.x86_64.rpm: Already downloaded
[SKIPPED] compat-openssl10-1.0.2o-3.el8.x86_64.rpm: Already downloaded
[SKIPPED] ksh-20120801-254.0.1.el8.x86_64.rpm: Already downloaded
[SKIPPED] oracle-database-preinstall-21c-1.0-1.el8.x86_64.rpm: Already downloaded
----------------------------------------------------------------------------------------------------------------
合計                                                                                 217 MB/s | 2.2 MB     00:00
トランザクションの確認を実行中
トランザクションの確認に成功しました。
トランザクションのテストを実行中
トランザクションのテストに成功しました。
トランザクションを実行中
  準備           :                                                                                          1/1
  インストール中   : ksh-20120801-254.0.1.el8.x86_64                                                          1/5
  scriptletの実行中: ksh-20120801-254.0.1.el8.x86_64                                                         1/5
  インストール中   : compat-openssl10-1:1.0.2o-3.el8.x86_64                                                   2/5
  scriptletの実行中: compat-openssl10-1:1.0.2o-3.el8.x86_64                                                  2/5
/sbin/ldconfig: /etc/ld.so.conf.d/kernel-5.4.17-2102.201.3.el8uek.x86_64.conf:6: hwcap directive ignored

  インストール中   : libnsl-2.28-151.0.1.el8.x86_64                                                           3/5
  インストール中   : oracle-database-preinstall-21c-1.0-1.el8.x86_64                                          4/5
  scriptletの実行中: oracle-database-ee-21c-1.0-1.x86_64                                                     5/5
  インストール中   : oracle-database-ee-21c-1.0-1.x86_64                                                      5/5
  scriptletの実行中: oracle-database-ee-21c-1.0-1.x86_64                                                     5/5
[INFO] Executing post installation scripts...
[INFO] Oracle home installed successfully and ready to be configured.
To configure a sample Oracle Database you can execute the following service
configuration script as root: /etc/init.d/oracledb_ORCLCDB-21c configure

  scriptletの実行中: oracle-database-preinstall-21c-1.0-1.el8.x86_64                                         5/5
  scriptletの実行中: oracle-database-ee-21c-1.0-1.x86_64                                                     5/5
/sbin/ldconfig: /etc/ld.so.conf.d/kernel-5.4.17-2102.201.3.el8uek.x86_64.conf:6: hwcap directive ignored

  検証             : libnsl-2.28-151.0.1.el8.x86_64                                                         1/5
  検証             : compat-openssl10-1:1.0.2o-3.el8.x86_64                                                 2/5
  検証             : ksh-20120801-254.0.1.el8.x86_64                                                        3/5
  検証             : oracle-database-preinstall-21c-1.0-1.el8.x86_64                                        4/5
  検証             : oracle-database-ee-21c-1.0-1.x86_64                                                    5/5

インストール済み:
  compat-openssl10-1:1.0.2o-3.el8.x86_64 ksh-20120801-254.0.1.el8.x86_64
  libnsl-2.28-151.0.1.el8.x86_64 oracle-database-ee-21c-1.0-1.x86_64
  oracle-database-preinstall-21c-1.0-1.el8.x86_64

完了しました!
[master@localhost ~]$

Configure
今回は、preinstallを構成します。カスタムな構成は今の所必要ないので。

[root@localhost ~]# cd /etc/init.d
[root@localhost init.d]# ll
合計 40
-rw-r--r--. 1 root root  1161  5月 19  2021 README
-rw-r--r--. 1 root root 18434  2月 15  2021 functions
-rwx------. 1 root root  1281  7月 13  2021 oracle-database-preinstall-21c-firstboot
-r-xr-xr-x. 1 root root 11307  7月 27  2021 oracledb_ORCLCDB-21c
[root@localhost init.d]#
[root@localhost ~]# /etc/init.d/oracledb_ORCLCDB-21c configure
Configuring Oracle Database ORCLCDB.
DB操作の準備
8%完了
データベース・ファイルのコピー中
31%完了
Oracleインスタンスの作成および起動中
32%完了
36%完了
40%完了
43%完了
46%完了
データベース作成の完了
51%完了
54%完了
プラガブル・データベースの作成
58%完了
77%完了
構成後アクションの実行
100%完了
データベースの作成が完了しました。詳細は、次の場所にあるログ・ファイルを参照してください:
/opt/oracle/cfgtoollogs/dbca/ORCLCDB。
データベース情報:
グローバル・データベース名:ORCLCDB
システム識別子(SID):ORCLCDB
詳細はログ・ファイル"/opt/oracle/cfgtoollogs/dbca/ORCLCDB/ORCLCDB.log"を参照してください。

Database configuration completed successfully. The passwords were auto generated,
you must change them by connecting to the database using 'sqlplus / as sysdba' as the oracle user.
[root@localhost ~]#

おおおおおおーーー、起動してるーーーー！！ 21c　楽だw

いろいろ見ていくと、oracleユーザーや必要なグループの作成等はおこなわれているが、なぜか、home directoryが存在しなかった(ご愛嬌ってところかw)

ということで、なぜか存在しなかったホームディレクトリ作成とパスワードを変更して、.bash_profileに、ほぼ忘れかけてた環境変数設定など。（漏れてないかな。。w）

[root@localhost ~]# cat /etc/passwd | grep oracle
oracle:x:54321:54321::/home/oracle:/bin/bash
[root@localhost ~]#
[root@localhost ~]# mkdir -p /home/oracle
[root@localhost ~]# chown oracle:oinstall /home/oracle
[root@localhost ~]# passwd oracle
ユーザー oracle のパスワードを変更。
新しいパスワード:
新しいパスワードを再入力してください:
passwd: すべての認証トークンが正しく更新できました。
[root@localhost ~]# su - oracle
[oracle@localhost ~]$ cat .bash_profile
export ORACLE_BASE=/opt/oracle
export ORACLE_BASE_CONFIG=$ORACLE_BASE/dbs
export ORACLE_HOME=$ORACLE_BASE/product/21c/dbhome_1
export PATH=$PATH:$ORACLE_HOME/bin
export ORACLE_SID=ORCLCDB
export NLS_LANG=Japanese_Japan.UTF8
export ORA_NLS10=$ORACLE_HOME/nls/data
[oracle@localhost ~]$ . .bash_profile
[oracle@localhost ~]$

そして、忘れる前にやっときましょうw　glogin.sqlでSQL*Plusの環境を整えると。

[oracle@localhost ~]$ cat $ORACLE_HOME/sqlplus/admin/glogin.sql
--
-- Copyright (c) 1988, 2005, Oracle.  All Rights Reserved.
--
-- NAME
--   glogin.sql
--
-- DESCRIPTION
--   SQL*Plus global login "site profile" file
--
--   Add any SQL*Plus commands here that are to be executed when a
--   user starts SQL*Plus, or uses the SQL*Plus CONNECT command.
--
-- USAGE
--   This script is automatically run
--
set linesize 300
set pagesize 1000
set timi on
set time on
set tab off
define _EDITOR=vi
set sqlp "_user""@""_connect_identifier> "
[oracle@localhost ~]$

SQL*Plusで接続！！！

[oracle@localhost ~]$ sqlplus / as sysdba

SQL*Plus: Release 21.0.0.0.0 - Production on 火 3月 29 06:14:52 2022
Version 21.3.0.0.0

Copyright (c) 1982, 2021, Oracle.  All rights reserved.


Oracle Database 21c Enterprise Edition Release 21.0.0.0.0 - Production
Version 21.3.0.0.0
に接続されました。
06:14:52 SYS@ORCLCDB> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 ORCLPDB1                       READ WRITE NO
06:14:57 SYS@ORCLCDB>
06:14:58 SYS@ORCLCDB>
06:14:58 SYS@ORCLCDB>
06:15:26 SYS@ORCLCDB> select banner_full from v$version;

BANNER_FULL
-------------------------------------------------------------------------------
Oracle Database 21c Enterprise Edition Release 21.0.0.0.0 - Production
Version 21.3.0.0.0


経過: 00:00:00.00
06:15:40 SYS@ORCLCDB> exit

Lisenerの状態も見ておきましょう

[oracle@localhost ~]$ lsnrctl status

LSNRCTL for Linux: Version 21.0.0.0.0 - Production on 29-3月 -2022 07:09:29

Copyright (c) 1991, 2021, Oracle.  All rights reserved.

(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=localhost)(PORT=1521)))に接続中
リスナーのステータス
------------------------
別名                      LISTENER
バージョン                TNSLSNR for Linux: Version 21.0.0.0.0 - Production
開始日                    29-3月 -2022 03:57:55
稼働時間                  0 日 3 時間 11 分 34 秒
トレース・レベル          off
セキュリティ              ON: Local OS Authentication
SNMP                      OFF
パラメータ・ファイル      /opt/oracle/homes/OraDBHome21cEE/network/admin/listener.ora
ログ・ファイル            /opt/oracle/diag/tnslsnr/localhost/listener/alert/log.xml
リスニング・エンドポイントのサマリー...
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=localhost)(PORT=1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=localhost)(PORT=5500))
  (Security=(my_wallet_directory=/opt/oracle/admin/ORCLCDB/xdb_wallet))(Presentation=HTTP)(Session=RAW))
サービスのサマリー...
サービス"ORCLCDB"には、1件のインスタンスがあります。
  インスタンス"ORCLCDB"、状態READYには、このサービスに対する1件のハンドラがあります...
サービス"ORCLCDBXDB"には、1件のインスタンスがあります。
  インスタンス"ORCLCDB"、状態READYには、このサービスに対する1件のハンドラがあります...
サービス"db57eedbd976b81ce055000000000001"には、1件のインスタンスがあります。
  インスタンス"ORCLCDB"、状態READYには、このサービスに対する1件のハンドラがあります...
サービス"orclpdb1"には、1件のインスタンスがあります。
  インスタンス"ORCLCDB"、状態READYには、このサービスに対する1件のハンドラがあります...
コマンドは正常に終了しました。
[oracle@localhost ~]$

停止してみましょう！

おっと、systemctlで起動停止というところまではやってくれないのか... ということで、自分で止めましょうw　あとで作ろう。。w

[master@localhost ~]$ sudo service oracle stop
[sudo] master のパスワード:
Redirecting to /bin/systemctl stop oracle.service
Failed to stop oracle.service: Unit oracle.service not loaded.
[master@localhost ~]$ sudo su - oracle
[oracle@localhost ~]$ sqlplus / as sysdba

SQL*Plus: Release 21.0.0.0.0 - Production on 火 3月 29 07:16:55 2022
Version 21.3.0.0.0

Copyright (c) 1982, 2021, Oracle.  All rights reserved.

Oracle Database 21c Enterprise Edition Release 21.0.0.0.0 - Production
Version 21.3.0.0.0
に接続されました。
07:16:55 SYS@ORCLCDB> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
07:17:01 SYS@ORCLCDB>

インストール楽すぎて、ワロタ。

---

一気に桜が咲いた。がいつまでもつのだろう。今年は東北方面も開花が早そうで、GWはもう葉桜だろうな。
では

Temp落ち #3 - 手動PGA管理で作業領域として指定可能な最大サイズ

自動PGA管理は12cでどうなんだっけ？という確認の前に、
いままで何度か質問されたことがあり、FAQだと思っているので

手動PGA管理で利用する以下パラメータの最大サイズはいくつ？　

HASH_AREA_SIZE
SORT_AREA_SIZE
BITMAP_MERGE_AREA_SIZE
CREATE_BITMAP_AREA_SIZE

ということを書いておきたいと思います。

これからしばらく続く　Temp落ち　ネタで利用する環境で固定部分は以下のとおり
（初期化パラメータ等は必要に応じて載せるつもりです。）

環境は以下のとおり。
host osとguest osのバージョンやメモリーサイズなど

discus:˜ oracle$ sw_vers
ProductName:	Mac OS X
ProductVersion:	10.13.3
BuildVersion:	17D47

discus:˜ oracle$ system_profiler SPHardwareDataType | grep -E 'Processor Name|Cores|Memory'
      Processor Name: 6-Core Intel Xeon
      Total Number of Cores: 12
      Memory: 32 GB

discus:˜ oracle$ VBoxManage -v
5.2.6r120293

discus:˜ oracle$ VBoxManage showvminfo e3d4f948-b2e6-4db3-a89d-df637d87a372 | grep -E 'Memory size|OS type|Number of CPUs'
Memory size:     23569MB
Number of CPUs:  12
OS type:                             Linux26_64


orcl12c@SYS> select * from v$version;

BANNER                                                                               CON_ID
-------------------------------------------------------------------------------- ----------
Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production              0
PL/SQL Release 12.2.0.1.0 - Production                                                    0
CORE    12.2.0.1.0	Production                                                            0
TNS for Linux: Version 12.2.0.1.0 - Production                                            0
NLSRTL Version 12.2.0.1.0 - Production                                                    0


orcl12c@SYS> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 ORCL                           READ WRITE NO

さて、今日の本題

手動PGA管理で各SQL Work Area Sizeを決定する以下の初期化パラメータの最大サイズは？　いくつでしょう？　
すでにご存知のかたはスキップしていいですよ:)

マニュアルを読んでみるときづくのですが、手動PGA管理で各SQL Work Area Sizeを決定する4パラメータとも、「０以上、上限はOS依存」のような記述になっています。

そう、マニュアルを読んだだけではまったく参考にならないわけです。（え〜〜っ！）

そこで、みなさんサポートを頼るなり、ご自分でMOSを検索するなり、そこそこの苦労をして入手することになります。
私みたいな性格だと、どのマニュアルでもいいからまとめて載せてよーめんどくさいから。と、めんどくさい病の発作がでたりしますw

なので、環境があるのなら、you 試しちゃいなよー。が手っ取り早いかなーと（最終的にMOSとかサポートを頼るにしてもw）

上限はOS依存とだけしか記載されていませんが、私の観測範囲では、2GB - 1 が上限 となっています。
以下、Linux/Solaris/Windowsでの検証ログ。

Oracle® Databaseリファレンス　12cリリース2 (12.2) E72905-03より

HASH_AREA_SIZE
https://docs.oracle.com/cd/E82638_01/REFRN/HASH_AREA_SIZE.htm

SORT_AREA_SIZE
https://docs.oracle.com/cd/E82638_01/REFRN/SORT_AREA_SIZE.htm

BITMAP_MERGE_AREA_SIZE
https://docs.oracle.com/cd/E82638_01/REFRN/BITMAP_MERGE_AREA_SIZE.htm

CREATE_BITMAP_AREA_SIZE
https://docs.oracle.com/cd/E82638_01/REFRN/CREATE_BITMAP_AREA_SIZE.htm

Linux

orcl12c@SYS> !uname -r; cat /etc/redhat-release /etc/oracle-release
4.1.12-94.3.6.el7uek.x86_64
Red Hat Enterprise Linux Server release 7.3 (Maipo)
Oracle Linux Server release 7.3

orcl12c@SYS> create pfile from spfile;

File created.

orcl12c@SYS> --2GB  
orcl12c@SYS> select 2*1024*1024*1024 from dual;

2*1024*1024*1024
----------------
      2147483648

orcl12c@SYS> alter system set hash_area_size = 2147483648 scope=spfile;
alter system set hash_area_size = 2147483648 scope=spfile
                                  *
ERROR at line 1:
ORA-02017: integer value required

orcl12c@SYS> alter system set sort_area_size = 2147483648 scope=spfile;
alter system set sort_area_size = 2147483648 scope=spfile
                                  *
ERROR at line 1:
ORA-02017: integer value required

orcl12c@SYS> alter system set bitmap_merge_area_size = 2147483648 scope=spfile;
alter system set bitmap_merge_area_size = 2147483648 scope=spfile
                                          *
ERROR at line 1:
ORA-02017: integer value required

orcl12c@SYS> alter system set create_bitmap_area_size = 2147483648 scope=spfile;
alter system set create_bitmap_area_size = 2147483648 scope=spfile
                                           *
ERROR at line 1:
ORA-02017: integer value required

orcl12c@SYS> --2GB - 1
orcl12c@SYS> select 2*1024*1024*1024-1 from dual;

2*1024*1024*1024-1
------------------
        2147483647

orcl12c@SYS> alter system set hash_area_size = 2147483647 scope=spfile;

System altered.

orcl12c@SYS> alter system set sort_area_size = 2147483647 scope=spfile;

System altered.

orcl12c@SYS> alter system set bitmap_merge_area_size = 2147483647 scope=spfile;

System altered.

orcl12c@SYS> alter system set create_bitmap_area_size = 2147483647 scope=spfile;

System altered.

orcl12c@SYS> shutdown immediate
Database closed.
Database dismounted.
ORACLE instance shut down.
orcl12c@SYS> create spfile from pfile;

File created.

orcl12c@SYS>

Solaris 11 (x86)

SQL> !uname -r; cat /etc/release
5.11
                             Oracle Solaris 11.3 X86
  Copyright (c) 1983, 2015, Oracle and/or its affiliates.  All rights reserved.
                            Assembled 06 October 2015

SQL> 
SQL> create pfile from spfile;

ファイルが作成されました。

SQL> --2GB
SQL> select 2*1024*1024*1024 from dual;

2*1024*1024*1024
----------------
      2147483648

SQL> alter system set hash_area_size = 2147483648 scope=spfile;
alter system set hash_area_size = 2147483648 scope=spfile
                                  *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。


SQL> alter system set sort_area_size = 2147483648 scope=spfile;
alter system set sort_area_size = 2147483648 scope=spfile
                                  *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。


SQL> alter system set bitmap_merge_area_size = 2147483648 scope=spfile;
alter system set bitmap_merge_area_size = 2147483648 scope=spfile
                                          *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。


SQL> alter system set create_bitmap_area_size = 2147483648 scope=spfile;
alter system set create_bitmap_area_size = 2147483648 scope=spfile
                                           *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。


SQL> --2GB - 1
SQL> select 2*1024*1024*1024-1 from dual;

2*1024*1024*1024-1
------------------
	2147483647

SQL> alter system set hash_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> alter system set sort_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> alter system set bitmap_merge_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> alter system set create_bitmap_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
ERROR:
ORA-12514: TNS:
リスナーは接続記述子でリクエストされたサービスを現在認識していません


警告: Oracleにはもう接続されていません。
SQL> conn sys/oracle@orcl122 as sysdba
ERROR:
ORA-12514: TNS:
リスナーは接続記述子でリクエストされたサービスを現在認識していません


SQL> exit
bash-4.1$ export ORACLE_SID=orcl122
bash-4.1$ sqlplus / as sysdba

SQL*Plus: Release 12.2.0.1.0 Production on 月 2月 19 22:44:47 2018

Copyright (c) 1982, 2016, Oracle.  All rights reserved.

アイドル・インスタンスに接続しました。

SQL> startup
ORACLEインスタンスが起動しました。

Total System Global Area  838860800 bytes
Fixed Size		    8790120 bytes
Variable Size		  356519832 bytes
Database Buffers	  465567744 bytes
Redo Buffers		    7983104 bytes
データベースがマウントされました。
データベースがオープンされました。
SQL> show parameter _area_size

NAME				     TYPE	 VALUE
------------------------------------ ----------- ------------------------------
bitmap_merge_area_size               integer     2147483647
create_bitmap_area_size              integer     2147483647
hash_area_size                       integer     2147483647
sort_area_size                       integer     2147483647
workarea_size_policy                 string      AUTO
SQL> 
SQL> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
SQL> 
SQL> create spfile from pfile;

File created.

Microsoft Windows

Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production
に接続されました。
SQL>
SQL> $ver

Microsoft Windows [Version 10.0.16299.125]

SQL> create pfile from spfile;

ファイルが作成されました。

SQL> --2GB
SQL> select 2*1024*1024*1024 from dual;

2*1024*1024*1024
----------------
      2147483648

SQL> alter system set hash_area_size = 2147483648 scope=spfile;
alter system set hash_area_size = 2147483648 scope=spfile
                                  *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。

SQL> alter system set sort_area_size = 2147483648 scope=spfile;
alter system set sort_area_size = 2147483648 scope=spfile
                                  *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。

SQL> alter system set bitmap_merge_area_size = 2147483648 scope=spfile;
alter system set bitmap_merge_area_size = 2147483648 scope=spfile
                                          *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。

SQL> alter system set create_bitmap_area_size = 2147483648 scope=spfile;
alter system set create_bitmap_area_size = 2147483648 scope=spfile
                                           *
行1でエラーが発生しました。:
ORA-02017: 整数値が必要です。


SQL> --2GB - 1
SQL> select 2*1024*1024*1024-1 from dual;

2*1024*1024*1024-1
------------------
        2147483647

SQL> alter system set hash_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> alter system set sort_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> alter system set bitmap_merge_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> alter system set create_bitmap_area_size = 2147483647 scope=spfile;

システムが変更されました。

SQL> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
ERROR:ORA-12514: TNSリスナーは接続記述子でリクエストされたサービスを現在認識していません
SQL> 警告: Oracleにはもう接続されていません。
SQL> exit
Disconnected
C:\Users\discus>set ORACLE_SID=orcl122SQL> 
C:\Users\discus>sqlplus / as sysdba
SQL*Plus: Release 12.2.0.1.0 Production on 月 2月 19 22:28:45 2018
Copyright (c) 1982, 2016, Oracle.  All rights reserved.
SQL> 
アイドル・インスタンスに接続しました。
SQL> create spfile from pfile;
SQL> 
File created.
SQL> exit
Disconnected

C:\Users\discus>

ということで、

手動PGA管理でSQL Work Area Sizeを制御する初期化パラメータで指定可能な最大サイズは

2GB -1

ということになります。(HP-UXやAIXは未確認なので情報いただけたら、ここに追記しまーす。:)

次回へつづく。

---

・Temp落ち #1 - "Temp落ち" って？
・Temp落ち #2 - PGA (Program Global Area)

こんなのでいいのかなぁ。ズンドコキヨシ ObjectScript / MUMPS

---

2016/3/18追記#3

よ〜く見てたら、ズン！は４回だったw　結局この83文字のパターンマッチング版でよかったのか〜〜w　（おしまい）

S l="",w(0)="ズン！",w(1)="ドコ！" F  S l=l_w($R(2)) I l ?.E4"ズン！"1"ドコ！" W !,l,"キ・ヨ・シ！" Q

USER>S l="",w(0)="ズン！",w(1)="ドコ！" F  S l=l_w($R(2)) I l ?.E4"ズン！"1"ドコ！" W !,l,"キ・ヨ・シ！" Q

ズン！ズン！ドコ！ズン！ドコ！ドコ！ズン！ズン！ドコ！ズン！ズン！ドコ！ドコ！ズン！ドコ！ドコ！ドコ！ズン！ドコ！ズン！ドコ！ズン！ドコ！ドコ！ズン！ズン！ズン！ズン！ドコ！キ・ヨ・シ！

---

2016/3/18追記#2

旧構文のFORとIFを使えば82文字まで短縮できた。

S l="",w(0)="ズン！",w(1)="ドコ！" F  S l=l_w($R(2)) I l["ズン！ズン！ズン！ドコ！" W !,l,"キ・ヨ・シ！" Q

USER>S l="",w(0)="ズン！",w(1)="ドコ！" F  S l=l_w($R(2)) I l["ズン！ズン！ズン！ドコ！" W !,l,"キ・ヨ・シ！" Q

ドコ！ズン！ズン！ドコ！ドコ！ズン！ドコ！ズン！ズン！ズン！ズン！ズン！ドコ！キ・ヨ・シ！

調子に乗ってパターンマッチに書き換えたら１文字増えて83文字w　orz

S l="",w(0)="ズン！",w(1)="ドコ！" F  S l=l_w($R(2)) I l ?.E3"ズン！"1"ドコ！" W !,l,"キ・ヨ・シ！" Q

USER>S l="",w(0)="ズン！",w(1)="ドコ！" F  S l=l_w($R(2)) I l ?.E3"ズン！"1"ドコ！" W !,l,"キ・ヨ・シ！" Q

ズン！ズン！ドコ！ドコ！ズン！ズン！ドコ！ズン！ズン！ズン！ドコ！キ・ヨ・シ！

---

2016/3/18追記

85文字までに縮めたw　もうむりか？

S l="",w(0)="ズン！",w(1)="ドコ！" F {S l=l_w($R(2)) I l["ズン！ズン！ズン！ドコ！" {W !,l,"キ・ヨ・シ！" Q}}

USER>S l="",w(0)="ズン！",w(1)="ドコ！" F {S l=l_w($R(2)) I l["ズン！ズン！ズン！ドコ！" {W !,l,"キ・ヨ・シ！" Q}}

ズン！ズン！ドコ！ドコ！ズン！ズン！ドコ！ズン！ズン！ドコ！ズン！ドコ！ドコ！ズン！ズン！ズン！ドコ！キ・ヨ・シ！

---

こんなのでいいのかなぁ。ズンドコキヨシ

もっといいのが浮かびそうだっただけど、眠気で頭まわらなくなってきたので、一旦これでw

ズンドコキヨシまとめ

M言語というか、MUMPSというか、Caché ObjectScriptでやっつけてみた

S s=0 F {S r=$R(2) W !,$CASE(r,0:"ズン！",1:"ドコ！") S s=$CASE(r,0:$CASE(s,0:1,1:2,2:3,:3),1:$CASE(s,3:4,:0)) W:s=4 !,"キ・ヨ・シ！" Q:s=4}

USER>S s=0 F {S r=$R(2) W !,$CASE(r,0:"ズン！",1:"ドコ！") S s=$CASE(r,0:$CASE(s,0:1,1:2,2:3,:3),1:$CASE(s,3:4,:0)) W:s=4 !,"キ・ヨ・シ！" Q:s=4}

ズン！
ズン！
ドコ！
ドコ！
ドコ！
ズン！
ドコ！
ズン！
ズン！
ドコ！
ズン！
ドコ！
ドコ！
ズン！
ズン！
ドコ！
ズン！
ズン！
ズン！
ズン！
ズン！
ズン！
ズン！
ドコ！
キ・ヨ・シ！

USER>halt
[oracle@pleco ˜]$ 

shutdown immeidateしない、ほかの理由に遭遇！ は修正されていた！ (12c)

数年前に、shutdown immeidateしない、ほかの理由に遭遇！
というエントリを書いていたことをご存知の方も多いと思います。

リリースされたばかりのOracle Database 12c R1 12.1.0.1.0ではどうなったか知りたくないですか？　（俺だけかw)

Oracle Database 12c R1 12.1.0.1.0をリスナーも含め起動します。

※ /optの下がu01なのはこちらの事情なので突っ込みなしでお願いします m(_ _)m

[oracle@emperortetra ˜]$ lsnrctl start

LSNRCTL for Linux: Version 12.1.0.1.0 - Production on 06-9月 -2013 13:27:09

Copyright (c) 1991, 2013, Oracle.  All rights reserved.

/opt/u01/product/12.1.0/dbhome_1/bin/tnslsnrを起動しています。お待ちください...

TNSLSNR for Linux: Version 12.1.0.1.0 - Production
システム・パラメータ・ファイルは/opt/u01/product/12.1.0/dbhome_1/network/admin/listener.oraです。
ログ・メッセージを/opt/u01/diag/tnslsnr/emperortetra/listener/alert/log.xmlに書き込みました。
リスニングしています: (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521)))
リスニングしています: (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=emperortetra)(PORT=1521)))

(DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC1521)))に接続中
リスナーのステータス
------------------------
別名                      LISTENER
バージョン                TNSLSNR for Linux: Version 12.1.0.1.0 - Production
開始日                    06-9月 -2013 13:27:10
稼働時間                  0 日 0 時間 0 分 0 秒
トレース・レベル          off
セキュリティ              ON: Local OS Authentication
SNMP                      OFF
パラメータ・ファイル      /opt/u01/product/12.1.0/dbhome_1/network/admin/listener.ora
ログ・ファイル            /opt/u01/diag/tnslsnr/emperortetra/listener/alert/log.xml
リスニング・エンドポイントのサマリー...
  (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=emperortetra)(PORT=1521)))
リスナーはサービスをサポートしていません。
コマンドは正常に終了しました。
[oracle@emperortetra ˜]$ sqlplus / as sysdba

SQL*Plus: Release 12.1.0.1.0 Production on 金 9月 6 13:27:15 2013

Copyright (c) 1982, 2013, Oracle.  All rights reserved.

アイドル・インスタンスに接続しました。

SYS@orcl12c> startup
ORACLEインスタンスが起動しました。

Total System Global Area  534462464 bytes
Fixed Size                  2290416 bytes
Variable Size             473959696 bytes
Database Buffers           50331648 bytes
Redo Buffers                7880704 bytes
データベースがマウントされました。
データベースがオープンされました。
SYS@orcl12c> alter pluggable database all open;

プラガブル・データベースが変更されました。

SYS@orcl12c> 

別terminalでSQL*Plusを起動しshellに入っておきます。

そして、

今回は特別に！

なんと、もう一度、SQL*Plus経由で、shellに入っておきます。:)

[oracle@emperortetra ˜]$ 
[oracle@emperortetra ˜]$ sqlplus system

SQL*Plus: Release 12.1.0.1.0 Production on 金 9月 6 13:31:13 2013

Copyright (c) 1982, 2013, Oracle.  All rights reserved.

パスワードを入力してください: 
最終正常ログイン時間: 金 9月  06 2013 13:30:24 +09:00

Oracle Database 12c Enterprise Edition Release 12.1.0.1.0 - 64bit Production
With the Partitioning, OLAP, Advanced Analytics and Real Application Testing options
に接続されました。
SYSTEM@orcl12c> !
[oracle@emperortetra ˜]$ sqlplus system

SQL*Plus: Release 12.1.0.1.0 Production on 金 9月 6 13:31:22 2013

Copyright (c) 1982, 2013, Oracle.  All rights reserved.

パスワードを入力してください: 
最終正常ログイン時間: 金 9月  06 2013 13:31:14 +09:00

Oracle Database 12c Enterprise Edition Release 12.1.0.1.0 - 64bit Production
With the Partitioning, OLAP, Advanced Analytics and Real Application Testing options
に接続されました。
SYSTEM@orcl12c> 

前述の状態でpstreeでプロセスツリーを見ると以下のようになっています。

[oracle@emperortetra ˜]$ pstree -ualp oracle
VBoxClient,2099 --draganddrop
  ├─{VBoxClient},2104
  └─{VBoxClient},2105

...中略...

sshd,3854
  └─bash,3855
      └─sqlplus,3876 \040\040\040\040\040\040
          ├─bash,3878
          │   └─sqlplus,3891 \040\040\040\040\040\040
          │       ├─bash,4019
          │       └─oracle_3894_orc,3894 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
          └─oracle_3877_orc,3877 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))

tnslsnr,3304 LISTENER -inherit
  └─{tnslsnr},3305
[oracle@emperortetra ˜]$ 

確認してみましょう！。11gではshutdown timeoutすら効かず停止できない状態になっていたのですが.....

SYS@orcl12c> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
SYS@orcl12c> 

おおおおおおおお〜〜〜、shutdown immediateできた〜〜〜〜！　12cでは修正されたようですね。:)

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ
・shutdown immeidateしない、ほかの理由に遭遇！ おまけのおまけ（でた〜最近、よくあるパターンw）

・ablog - shutdown immeidate ...

Cross Platform Transportable Tablespace #12

ネタとしては地味ですがOracle Database 12cのTransportalbe tablespaceも軽めにチェック

以前のエントリ..2009年か〜〜遠い目
Cross Platform Transportable Tablespace #11

あれ、ちょいとズレてるけどご愛嬌:)

06:59:36 SYS@orcl12c> select * from v$version;

BANNER                                                                               CON_ID
-------------------------------------------------------------------------------- ----------
Oracle Database 12c Enterprise Edition Release 12.1.0.1.0 - 64bit Production              0
PL/SQL Release 12.1.0.1.0 - Production                                                    0
CORE	12.1.0.1.0	Production                                                                0
TNS for Linux: Version 12.1.0.1.0 - Production                                            0
NLSRTL Version 12.1.0.1.0 - Production                                                    0

プラットフォームの情報も変化はない。Mac OSの文字もそのまま..

06:52:31 SYS@pdborcl> select * from v$transportable_platform;

PLATFORM_ID PLATFORM_NAME                                                                                         ENDIAN_FORMAT      CON_ID
----------- ----------------------------------------------------------------------------------------------------- -------------- ----------
          1 Solaris[tm] OE (32-bit)                                                                               Big                     0
          2 Solaris[tm] OE (64-bit)                                                                               Big                     0
          7 Microsoft Windows IA (32-bit)                                                                         Little                  0
         10 Linux IA (32-bit)                                                                                     Little                  0
          6 AIX-Based Systems (64-bit)                                                                            Big                     0
          3 HP-UX (64-bit)                                                                                        Big                     0
          5 HP Tru64 UNIX                                                                                         Little                  0
          4 HP-UX IA (64-bit)                                                                                     Big                     0
         11 Linux IA (64-bit)                                                                                     Little                  0
         15 HP Open VMS                                                                                           Little                  0
          8 Microsoft Windows IA (64-bit)                                                                         Little                  0
          9 IBM zSeries Based Linux                                                                               Big                     0
         13 Linux x86 64-bit                                                                                      Little                  0
         16 Apple Mac OS                                                                                          Big                     0
         12 Microsoft Windows x86 64-bit                                                                          Little                  0
         17 Solaris Operating System (x86)                                                                        Little                  0
         18 IBM Power Based Linux                                                                                 Big                     0
         19 HP IA Open VMS                                                                                        Little                  0
         20 Solaris Operating System (x86-64)                                                                     Little                  0
         21 Apple Mac OS (x86-64)                                                                                 Little                  0

20行が選択されました。

con_idはお約束で追加されていますが、ビューは大きく変わってないようですね。

12cで試している方のエントリを見つけたのでメモ:
Oracle 12c: Transport tablespaces across platforms

---

Cross Platform Transportable Tablespace #11

Oracle Database 12c New Feature : Invisible Columnsの怪w s/怪w/謎/

Oracle® Database New Features Guide 12c Release 1 (12.1) - 1.5.5.3 Invisible Columns
Oracle® Database Administrator's Guide 12c Release 1 (12.1) - Understand Invisible Columns

---

予告通り Invisible Columnの小ネタを。
（祭りに呼び出されて書けないかかもしれない、という状況にはならずw この時間に自宅にいるのはラッキーw)

本題とは関係ないですが、改行されないのはご愛嬌:)

SYS@orcl12c> startup pluggable database pdborcl;
ラガブル・データベースがオープンされました。SYS@orcl12c> 
SYS@orcl12c> 
SYS@orcl12c> conn scott@pdborcl
パスワードを入力してください: 
接続されました。
SCOTT@pdborcl> 

Invisible columnを含む表を作成します。（問題なく作成されました。当たり前か..)

SCOTT@pdborcl> create table hoge (a number, b number, c number invisible);

表が作成されました。

SQL*Plusのdescコマンドで見てみます。マニュアルの通り、Invisible columnはリストされません。

SCOTT@pdborcl> desc hoge
 名前                                    NULL?    型
 ----------------------------------------- -------- ----------------------------
 A                                                  NUMBER
 B                                                  NUMBER

さあ、ここから、気持ち悪い事が起きますよ〜〜。よ〜〜〜く見ててくださいね〜〜。

列は隠れていますが、存在を知って、Invisible Columnでもカラムを指定すればデータを登録できるんです。見えてないだけなんです！

SCOTT@pdborcl> insert into hoge(a,b,c) values(1,2,4);

1行が作成されました。

カラム指定しないとa列と、b列しかないものとして扱われ、見慣れたエラー、「ORA-00913: 値の個数が多すぎます。」となります。

いい感じの気持ち悪さでしょ :)

SCOTT@pdborcl> insert into hoge values(11,12,14);
insert into hoge values(11,12,14)
            *
行1でエラーが発生しました。:
ORA-00913: 値の個数が多すぎます。

2列分なら正常に登録できます。見えるのはa列とb列の２列なので当然と言えば当然。

SCOTT@pdborcl> insert into hoge values(11,12);

1行が作成されました。

SELECTリストに * を指定すれば、ほらほら、自然です。 a列とb列だけがリストされています。

SCOTT@pdborcl> select * from hoge;

         A          B
---------- ----------
         1          2
        11         12

でも...c列の存在を知っている人には....見えちゃうんです。

SCOTT@pdborcl> select a, b, c from hoge;

         A          B          C
---------- ---------- ----------
         1          2          4
        11         12 [null]

同様に削除や更新もできちゃいます。見えないものが見えてる人にはw。
(その存在を知らない人には見えないわですが...)

SCOTT@pdborcl> update hoge set c = 14 where c is null;

1行が更新されました。

SCOTT@pdborcl> select a, b, c from hoge where c = 14;

         A          B          C
---------- ---------- ----------
        11         12         14

SCOTT@pdborcl> delete from hoge where c = 14;

1行が削除されました。

SCOTT@pdborcl> select a, b, c from hoge;

         A          B          C
---------- ---------- ----------
         1          2          4

ORDER BY句でも、その存在さえ知っていればいろいろイタズラできますね。

SCOTT@pdborcl> select a,b,c from hoge order by c desc;

         A          B          C
---------- ---------- ----------
        11         12         14
         1          2          4

おもしろいですね。

SCOTT@pdborcl> select * from hoge order by c desc;

         A          B
---------- ----------
        11         12
         1          2

Invisible columnには索引も作れます！

SCOTT@pdborcl> create index hoge_ix on hoge(c);

索引が作成されました。

SCOTT@pdborcl> set autot trace exp 
SCOTT@pdborcl> select * from hoge where c = 14;

実行計画
----------------------------------------------------------
Plan hash value: 3349209795

-----------------------------------------------------------------------------------------------
| Id  | Operation                           | Name    | Rows  | Bytes | Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                    |         |     1 |    39 |     2   (0)| 00:00:01 |
|   1 |  TABLE ACCESS BY INDEX ROWID BATCHED| HOGE    |     1 |    39 |     2   (0)| 00:00:01 |
|*  2 |   INDEX RANGE SCAN                  | HOGE_IX |     1 |       |     1   (0)| 00:00:01 |
-----------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - access("C"=14)

Note
-----
   - dynamic statistics used: dynamic sampling (level=2)

SCOTT@pdborcl>

次のようなイタズラもできます！　うひゃw うひゃw　

相手の腕試をしするにはぴったりなイタズラです（嘘

SCOTT@pdborcl> alter table hoge modify (c number not null);

表が変更されました。

SCOTT@pdborcl> 
SCOTT@pdborcl> insert into hoge(a, b) values(100,111);
insert into hoge(a, b) values(100,111)
*
行1でエラーが発生しました。:
ORA-01400: ("SCOTT"."HOGE"."C")にはNULLは挿入できません。

イタズラはこれくらいにして、Invisible Columnをディクショナリビューから覗いてみましょう。
Invisible Indexもディクショナリビューからいろいろと情報を得ることができましたよね！　
（多分、同じように見れるのでは...と思っていたが...

desc[ribe]コマンドではInvisible Columnは見えませんが、 ALL/DBA/USER_TAB_COLUMNSからは見る事ができます。

racle® Database Reference 12c Release 1 (12.1) - ALL_TAB_COLUMNS

ただし、見る事はできるのですが、その列がInvisible Columnかどうかを確認する列がないんですよ。（ぱっと見）

例えば、Invisible IndexだとALL/DBA/USER_INDEXES確認できます

SCOTT@pdborcl> select index_name,visibility from user_indexes where table_name='HOGE';

INDEX_NAME                     VISIBILIT
------------------------------ ---------
HOGE_IX                        INVISIBLE
HOGE_PK                        VISIBLE

そこで疑問！
SQL*PLusのdesc[ribe]コマンドはどのような情報を基にVisible Columeだけを表示してるんでしょうねぇ〜。

これ、探すのにてこずりましたよ！

以下のマニュアルにも記載されていますが、Visible/InvisibleにするとColumn Orderが変化することにも関連しているようです。
Oracle® Database Administrator's Guide 12c Release 1 (12.1) - Understand Invisible Columns

desc[ribe]ではInvisible Columnは見えません

SCOTT@pdborcl> desc hoge
 名前                                    NULL?    型
 ----------------------------------------- -------- ----------------------------
 A                                                  NUMBER
 B                                                  NUMBER

どのような情報を見てInvisibleであると判断しているのか....

SCOTT@pdborcl> select column_name,data_type,nullable,column_id from user_tab_columns where table_name='HOGE' order by column_id;

COLUMN_NAME                    DATA_TYPE  N  COLUMN_ID
------------------------------ ---------- - ----------
A                              NUMBER     Y          1
B                              NUMBER     Y          2
C                              NUMBER     N [null]

COLUMN_IDがNULLである列がInvisible Columns !!!!

SCOTT@pdborcl> l
  1  select
  2  	column_name
  3  	,data_type
  4  	,nullable
  5  	,column_id
  6  from
  7  	user_tab_columns
  8  where
  9  	table_name='HOGE'
 10  	and column_id is not null
 11  order by
 12* 	column_id
SCOTT@pdborcl> /

COLUMN_NAME                    DATA_TYPE  N  COLUMN_ID
------------------------------ ---------- - ----------
A                              NUMBER     Y          1
B                              NUMBER     Y          2

いずれ、ALL/DBA/USER_TAB_COLUMNSに、VISIBILITYという列が追加されるんじゃないかと想像してます :)

それまでは俺俺 USER_TAB_COLUMNSビューでも作っておくと便利かも...しれない。

SCOTT@pdborcl> create view my_tab_columns as
   2  select
   3      user_tab_columns.*
   4      ,case when user_tab_columns.column_id is null 
   5         then 'INVISIBLE' else 'VISIBLE' end as VISIBILITY
   6  from
   7      user_tab_columns
   8  ;

ビューが作成されました。

SCOTT@pdborcl> select column_name,data_type,nullable,visibility from my_tab_columns where table_name='HOGE' order by column_id;

COLUMN_NAME                    DATA_TYPE  N VISIBILIT
------------------------------ ---------- - ---------
A                              NUMBER     Y VISIBLE
B                              NUMBER     Y VISIBLE
C                              NUMBER     N INVISIBLE

このような特性を理解した上で、どのような場面で使うと便利なのか、じ〜〜〜〜っくり考えてみたいと...と思いつつ...寝ます。パタリ。 1:48am

Oracle Database 12c R1 : コンテナデータベースとプラガブルデータベースを歩きやすくしてみる

世界を見渡せば、かなりの方がOracle Database 12cのインストール手順を公開し始めているのでインストール後の話を書いておきますね。

インストール時にPluggable Databaseも同時に作成してもtnsnames.oraにはContainer Databaseへの接続定義しか無かったんです。(私のインストール手順に問題がなければ..なんですが）
無くてもEasy connectを使えば接続できるので問題はないんですが...

ただ、Easy connectで毎回タイプするのも面倒(少々長いし）なので、tnsnames.oraにPluggable Database接続用定義を作成しておきましょう。

定義内容はいままでと変わらず。 SERVICE_NAMEの箇所を接続先のPluggable Database名にするだけ。
（Pluggable Database名と書いたが、マニュアル読みきれてないので表現は間違っているかもしれません。間違っていたら後で修正します）

[oracle@emperortetra]$ cat $ORACLE_HOME/network/admin/tnsnames.ora
# tnsnames.ora Network Configuration File: /opt/u01/product/12.1.0/dbhome_1/network/admin/tnsnames.ora
# Generated by Oracle configuration tools.

# for Container Database : orcl12c
ORCL12C =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = emperortetra)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl12c)
    )
  )

# for Pluggable Database : pdborcl
PDBORCL =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = emperortetra)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = pdborcl)
    )
  )

本題である、歩きやすくするための設定がこれ。

複数のPluggable DatabaseとContainer Database間を旅することも多くなりそうですから、今、自分はどこにいるのか把握しやすくしておいたほうが吉かと。

12c以前から定番で設定している内容ではあるのですが。赤字部分がポイント

目立たないけど、地味に大切なのが、 set tab off　だと思っているのは私だけだろうか！w　
（ここのところ、set tab offじゃない人のコピペしてきた、位置ズレまくりの実行計画見せられててイライラしている影響もある :)

それ以外の設定も、設定してるだけで、「むむむ、この方できるかも！」　と、
思わせる（思わせるだけですからね！w つかみはOK的な感じなので、あとはあなた次第）設定内容なので大切と言えば大切。
(login.sqlでもOK）

[oracle@emperortetra]$ cat $ORACLE_HOME/sqlplus/admin/glogin.sql
--
-- Copyright (c) 1988, 2005, Oracle.  All Rights Reserved.
--
-- NAME
--   glogin.sql
--
-- DESCRIPTION
--   SQL*Plus global login "site profile" file
--
--   Add any SQL*Plus commands here that are to be executed when a
--   user starts SQL*Plus, or uses the SQL*Plus CONNECT command.
--
-- USAGE
--   This script is automatically run
--
set linesize 180
set pagesize 10000
set timi on
set time on
define _EDITOR=vi
col table_name for a30
col column_name for a30
col segment_name for a30
col tablespace_name for a30
col index_name for a30
col partition_name for a30
col sub_partition_name for a30
set sqlp "_USER'@'_CONNECT_IDENTIFIER> "
set tab off
[oracle@emperortetra]$ 

リスナーを起動してステータスを見てみましょう　（u01が/optの下にあるのは内緒w じゃないw
まだ、データベースを起動していないのでこんな感じです。

[oracle@emperortetra]$ lsnrctl status

LSNRCTL for Linux: Version 12.1.0.1.0 - Production on 06-7月 -2013 09:10:04

Copyright (c) 1991, 2013, Oracle.  All rights reserved.

(DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC1521)))に接続中
リスナーのステータス
------------------------
別名                      LISTENER
バージョン                TNSLSNR for Linux: Version 12.1.0.1.0 - Production
開始日                    06-7月 -2013 09:06:38
稼働時間                  0 日 0 時間 3 分 26 秒
トレース・レベル          off
セキュリティ              ON: Local OS Authentication
SNMP                      OFF
パラメータ・ファイル      /opt/u01/product/12.1.0/dbhome_1/network/admin/listener.ora
ログ・ファイル            /opt/u01/diag/tnslsnr/emperortetra/listener/alert/log.xml
リスニング・エンドポイントのサマリー...
  (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=emperortetra)(PORT=1521)))
リスナーはサービスをサポートしていません。
コマンドは正常に終了しました。
[oracle@emperortetra]$ 

Container Databaseの起動（12cより前のOracle Databaseと同じですね）

Container Databaseである orcl12c がSQL*Plusのプロンプトに表示されていますよね！！　:)

[oracle@emperortetra]$ sqlplus / as sysdba

SQL*Plus: Release 12.1.0.1.0 Production on 土 7月 6 09:25:22 2013

Copyright (c) 1982, 2013, Oracle.  All rights reserved.

アイドル・インスタンスに接続しました。

09:25:22 SYS@orcl12c> startup
ORACLEインスタンスが起動しました。

Total System Global Area 1653518336 bytes
Fixed Size                  2289016 bytes
Variable Size            1040188040 bytes
Database Buffers          603979776 bytes
Redo Buffers                7061504 bytes
データベースがマウントされました。
データベースがオープンされました。
09:25:32 SYS@orcl12c> 



Pluggable Databaseを起動します!

09:25:34 SYS@orcl12c> alter pluggable database pdborcl open;

プラガブル・データベースが変更されました。

経過: 00:00:00.86


Pluggable DatabaseのSYS、SYSTEMおよび、SCOTTユーザに接続してみます！
09:25:53 SYSTEM@orcl12c> conn sys@pdborcl as sysdba
パスワードを入力してください: 
接続されました。
09:26:06 SYS@pdborcl> 
09:26:07 SYS@pdborcl> 
09:26:07 SYS@pdborcl> conn system@pdborcl
パスワードを入力してください: 
接続されました。
09:26:34 SYSTEM@pdborcl> 
09:26:34 SYSTEM@pdborcl> 
09:26:35 SYSTEM@pdborcl> conn scott@pdborcl
パスワードを入力してください: 
接続されました。
09:26:50 SCOTT@pdborcl> 
09:26:51 SCOTT@pdborcl> 
09:26:51 SCOTT@pdborcl> 

SQL*Plusのプロンプトに接続先の情報を表示しておくと便利ですよね。Database間を歩きやすく、迷子になりにくくなりますよ！ :)

おまけ
Container Databaseおよび、Pluggable Database起動後のlistenerのステータスは以下の通り。

[oracle@emperortetra]$ lsnrctl status

LSNRCTL for Linux: Version 12.1.0.1.0 - Production on 06-7月 -2013 09:28:09

Copyright (c) 1991, 2013, Oracle.  All rights reserved.

(DESCRIPTION=(ADDRESS=(PROTOCOL=IPC)(KEY=EXTPROC1521)))に接続中
リスナーのステータス
------------------------
別名                      LISTENER
バージョン                TNSLSNR for Linux: Version 12.1.0.1.0 - Production
開始日                    06-7月 -2013 09:06:38
稼働時間                  0 日 0 時間 21 分 31 秒
トレース・レベル          off
セキュリティ              ON: Local OS Authentication
SNMP                      OFF
パラメータ・ファイル      /opt/u01/product/12.1.0/dbhome_1/network/admin/listener.ora
ログ・ファイル            /opt/u01/diag/tnslsnr/emperortetra/listener/alert/log.xml
リスニング・エンドポイントのサマリー...
  (DESCRIPTION=(ADDRESS=(PROTOCOL=ipc)(KEY=EXTPROC1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=emperortetra)(PORT=1521)))
  (DESCRIPTION=(ADDRESS=(PROTOCOL=tcps)(HOST=emperortetra)(PORT=5500))(Security=(my_wallet_directory=/opt/u01/admin/orcl12c/xdb_wallet))(Presentation=HTTP)(Session=RAW))
サービスのサマリー...
サービス"orcl12c"には、1件のインスタンスがあります。
  インスタンス"orcl12c"、状態READYには、このサービスに対する1件のハンドラがあります...
サービス"orcl12cXDB"には、1件のインスタンスがあります。
  インスタンス"orcl12c"、状態READYには、このサービスに対する1件のハンドラがあります...
サービス"pdborcl"には、1件のインスタンスがあります。
  インスタンス"orcl12c"、状態READYには、このサービスに対する1件のハンドラがあります...
コマンドは正常に終了しました。
[oracle@emperortetra]$ 

Enjoy Oracle Database 12c R1 :)

rownum使って満足しちゃってると.....おまけのおまけ FETCH FIRST N ROWS ONLY編

Oracle Database 12c R1 12.1.0.1.0 がリリースされたので、自分用のメモとしても使うネタから :)

---

実行環境は　Oracle Database 12c R1 12.1.0.1.0 EE/Oracle Linux 6.4/VirtualBox for OS X
11g R2と同じデータをインポートし統計情報を再取得しています。

---

まず、rownum から！

おおおおお〜、　まあ想定通りではあるのですが、11gとは違う点が一つ。

TABLE ACCESS BY INDEX ROWID BATCHEDと見慣れないオペレーションが...興味深いですね。これ :)

別途調べるTODO :)

23:14:41 SCOTT@pdborcl> r
  1  select /*+ leading(tc) use_nl(tc tb ta) */ *
  2  from
  3  	tc join tb
  4  	on
  5  		tc.version = tb.version
  6  		and tc.branch# = tb.branch#
  7  	join ta
  8  	on
  9  		tb.version = ta.version
 10  where
 11  	tc.version between 1 and 10
 12* 	and rownum <= 1000

1000行が選択されました。

経過: 00:00:00.13

実行計画
----------------------------------------------------------
Plan hash value: 1463769645

-------------------------------------------------------------------------------------------------
| Id  | Operation                               | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                        |       |  1000 |  2952K|  4813   (1)| 00:00:01 |
|*  1 |  COUNT STOPKEY                          |       |       |       |            |          |
|   2 |   NESTED LOOPS                          |       |       |       |            |          |
|   3 |    NESTED LOOPS                         |       |  2002 |  5910K|  4813   (1)| 00:00:01 |
|   4 |     NESTED LOOPS                        |       |  4004 |  7894K|  2810   (1)| 00:00:01 |
|   5 |      TABLE ACCESS BY INDEX ROWID BATCHED| TC    |  4004 |  3953K|   585   (0)| 00:00:01 |
|*  6 |       INDEX RANGE SCAN                  | PK_TC |       |       |    14   (0)| 00:00:01 |
|   7 |      TABLE ACCESS BY INDEX ROWID        | TB    |     1 |  1008 |     1   (0)| 00:00:01 |
|*  8 |       INDEX UNIQUE SCAN                 | PK_TB |     1 |       |     0   (0)| 00:00:01 |
|*  9 |     INDEX UNIQUE SCAN                   | PK_TA |     1 |       |     0   (0)| 00:00:01 |
|  10 |    TABLE ACCESS BY INDEX ROWID          | TA    |     1 |  1004 |     1   (0)| 00:00:01 |
-------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(ROWNUM<=1000)
   6 - access("TC"."VERSION">=1 AND "TC"."VERSION"<=10)
   8 - access("TC"."VERSION"="TB"."VERSION" AND "TC"."BRANCH#"="TB"."BRANCH#")
       filter("TB"."VERSION"<=10 AND "TB"."VERSION">=1)
   9 - access("TB"."VERSION"="TA"."VERSION")
       filter("TA"."VERSION">=1 AND "TA"."VERSION"<=10)


統計
----------------------------------------------------------
          0  recursive calls
          0  db block gets
       2418  consistent gets
          0  physical reads
          0  redo size
    1059870  bytes sent via SQL*Net to client
       1270  bytes received via SQL*Net from client
         68  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
       1000  rows processed

次に、Oracle Database 12c R1 12.1.0.1.0 から実装された FETCH FIRST N ROWS ONLYとの比較

FETCH FIRST N ROWS ONLYを利用した場合TCを全表走査してしまったので、rownum利用時と同じオブジェクト参照させるためヒントでPK_TC索引を利用するようチューニングしてあります
ただ..なぜか、TABLE ACCESS BY INDEX ROWID BATCHEDではなくTABLE ACCESS BY INDEX ROWIDとなっています。

さらに不思議なことに、COSTが異常に跳ね上がっています。Rowsの見積もり件数で大きな差があることが影響しているように見えるんだが、なんでこんなに違うんだろう！
いろいろ試してみると、不思議なことがおきそうな気配w

Buffer Getsはほぼ同じなので、全表走査になりやすい？場合、索引が利用できそうなら使わせたほうがいいですな。多分。

23:12:22 SCOTT@pdborcl> r
  1  select /*+ leading(tc) use_nl(tc tb ta) index(tc pk_tc) */ *
  2  from
  3  	tc join tb
  4  	on
  5  		tc.version = tb.version
  6  		and tc.branch# = tb.branch#
  7  	join ta
  8  	on
  9  		tb.version = ta.version
 10  where
 11  	tc.version between 1 and 10
 12* fetch first 1000 rows only

1000行が選択されました。

経過: 00:00:00.13

実行計画
----------------------------------------------------------
Plan hash value: 3242622317

------------------------------------------------------------------------------------------
| Id  | Operation                        | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                 |       |   300K|   456M|  1141K  (1)| 00:00:45 |
|*  1 |  VIEW                            |       |   300K|   456M|  1141K  (1)| 00:00:45 |
|*  2 |   WINDOW NOSORT STOPKEY          |       |   300K|   864M|  1141K  (1)| 00:00:45 |
|   3 |    NESTED LOOPS                  |       |       |       |            |          |
|   4 |     NESTED LOOPS                 |       |   300K|   864M|  1141K  (1)| 00:00:45 |
|   5 |      NESTED LOOPS                |       |   600K|  1155M|   841K  (1)| 00:00:33 |
|   6 |       TABLE ACCESS BY INDEX ROWID| TC    |  1200K|  1156M|   174K  (1)| 00:00:07 |
|*  7 |        INDEX RANGE SCAN          | PK_TC |  1200K|       |  3278   (1)| 00:00:01 |
|   8 |       TABLE ACCESS BY INDEX ROWID| TB    |     1 |  1008 |     1   (0)| 00:00:01 |
|*  9 |        INDEX UNIQUE SCAN         | PK_TB |     1 |       |     0   (0)| 00:00:01 |
|* 10 |      INDEX UNIQUE SCAN           | PK_TA |     1 |       |     0   (0)| 00:00:01 |
|  11 |     TABLE ACCESS BY INDEX ROWID  | TA    |     1 |  1004 |     1   (0)| 00:00:01 |
------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter("from$_subquery$_006"."rowlimit_$$_rownumber"<=1000)
   2 - filter(ROW_NUMBER() OVER ( ORDER BY  NULL )<=1000)
   7 - access("TC"."VERSION">=1 AND "TC"."VERSION"<=10)
   9 - access("TC"."VERSION"="TB"."VERSION" AND "TC"."BRANCH#"="TB"."BRANCH#")
       filter("TB"."VERSION"<=10 AND "TB"."VERSION">=1)
  10 - access("TB"."VERSION"="TA"."VERSION")
       filter("TA"."VERSION">=1 AND "TA"."VERSION"<=10)


統計
----------------------------------------------------------
          0  recursive calls
          0  db block gets
       2420  consistent gets
          0  physical reads
          0  redo size
    1044954  bytes sent via SQL*Net to client
       1270  bytes received via SQL*Net from client
         68  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
       1000  rows processed

FETCH FISRSTを利用すると、rownumとは異なり、内部でROW_NUMBER() OVER( OVER BY NULL) <= N
のような変換が発生するんですね！！！！　

rownumの弱点はどうなったか確認してみます。

12c でも rownum は rownumですね！　という確認から。

23:37:32 SCOTT@pdborcl> r
  1  select /*+ leading(tc) use_nl(tc tb ta) */ *
  2  from
  3  	tc join tb
  4  	on
  5  		tc.version = tb.version
  6  		and tc.branch# = tb.branch#
  7  	join ta
  8  	on
  9  		tb.version = ta.version
 10  where
 11  	tc.version between 11 and 20
 12* 	and rownum <= 1000

レコードが選択されませんでした。

経過: 00:00:08.21

実行計画
----------------------------------------------------------
Plan hash value: 1463769645

-------------------------------------------------------------------------------------------------
| Id  | Operation                               | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                        |       |  1000 |  2952K| 37940   (1)| 00:00:02 |
|*  1 |  COUNT STOPKEY                          |       |       |       |            |          |
|   2 |   NESTED LOOPS                          |       |       |       |            |          |
|   3 |    NESTED LOOPS                         |       |  1101 |  3250K| 37940   (1)| 00:00:02 |
|   4 |     NESTED LOOPS                        |       | 22019 |    42M| 26928   (1)| 00:00:02 |
|   5 |      TABLE ACCESS BY INDEX ROWID BATCHED| TC    | 38230 |    36M|  5683   (1)| 00:00:01 |
|*  6 |       INDEX RANGE SCAN                  | PK_TC |       |       |   109   (0)| 00:00:01 |
|   7 |      TABLE ACCESS BY INDEX ROWID        | TB    |     1 |  1008 |     1   (0)| 00:00:01 |
|*  8 |       INDEX UNIQUE SCAN                 | PK_TB |     1 |       |     0   (0)| 00:00:01 |
|*  9 |     INDEX UNIQUE SCAN                   | PK_TA |     1 |       |     0   (0)| 00:00:01 |
|  10 |    TABLE ACCESS BY INDEX ROWID          | TA    |     1 |  1004 |     1   (0)| 00:00:01 |
-------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(ROWNUM<=1000)
   6 - access("TC"."VERSION">=11 AND "TC"."VERSION"<=20)
   8 - access("TC"."VERSION"="TB"."VERSION" AND "TC"."BRANCH#"="TB"."BRANCH#")
       filter("TB"."VERSION">=11 AND "TB"."VERSION"<=20)
   9 - access("TB"."VERSION"="TA"."VERSION")
       filter("TA"."VERSION">=11 AND "TA"."VERSION"<=20)


統計
----------------------------------------------------------
          0  recursive calls
          0  db block gets
    1174942  consistent gets
     176197  physical reads
          0  redo size
        913  bytes sent via SQL*Net to client
        533  bytes received via SQL*Net from client
          1  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
          0  rows processed

FETCH FIRST N ROWS ONLYでも弱点は同じです！

23:36:02 SCOTT@pdborcl> r
  1  select /*+ leading(tc) use_nl(tc tb ta) index(tc pk_tc) */ *
  2  from
  3  	tc join tb
  4  	on
  5  		tc.version = tb.version
  6  		and tc.branch# = tb.branch#
  7  	join ta
  8  	on
  9  		tb.version = ta.version
 10  where
 11  	tc.version between 11 and 20
 12* fetch first 1000 rows only

レコードが選択されませんでした。

経過: 00:00:07.36

実行計画
----------------------------------------------------------
Plan hash value: 3242622317

------------------------------------------------------------------------------------------
| Id  | Operation                        | Name  | Rows  | Bytes | Cost (%CPU)| Time     |
------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                 |       | 29999 |    45M|  1141K  (1)| 00:00:45 |
|*  1 |  VIEW                            |       | 29999 |    45M|  1141K  (1)| 00:00:45 |
|*  2 |   WINDOW NOSORT STOPKEY          |       | 29999 |    86M|  1141K  (1)| 00:00:45 |
|   3 |    NESTED LOOPS                  |       |       |       |            |          |
|   4 |     NESTED LOOPS                 |       | 29999 |    86M|  1141K  (1)| 00:00:45 |
|   5 |      NESTED LOOPS                |       |   599K|  1155M|   841K  (1)| 00:00:33 |
|   6 |       TABLE ACCESS BY INDEX ROWID| TC    |  1200K|  1156M|   174K  (1)| 00:00:07 |
|*  7 |        INDEX RANGE SCAN          | PK_TC |  1200K|       |  3278   (1)| 00:00:01 |
|   8 |       TABLE ACCESS BY INDEX ROWID| TB    |     1 |  1008 |     1   (0)| 00:00:01 |
|*  9 |        INDEX UNIQUE SCAN         | PK_TB |     1 |       |     0   (0)| 00:00:01 |
|* 10 |      INDEX UNIQUE SCAN           | PK_TA |     1 |       |     0   (0)| 00:00:01 |
|  11 |     TABLE ACCESS BY INDEX ROWID  | TA    |     1 |  1004 |     1   (0)| 00:00:01 |
------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter("from$_subquery$_006"."rowlimit_$$_rownumber"<=1000)
   2 - filter(ROW_NUMBER() OVER ( ORDER BY  NULL )<=1000)
   7 - access("TC"."VERSION">=11 AND "TC"."VERSION"<=20)
   9 - access("TC"."VERSION"="TB"."VERSION" AND "TC"."BRANCH#"="TB"."BRANCH#")
       filter("TB"."VERSION">=11 AND "TB"."VERSION"<=20)
  10 - access("TB"."VERSION"="TA"."VERSION")
       filter("TA"."VERSION">=11 AND "TA"."VERSION"<=20)


統計
----------------------------------------------------------
          0  recursive calls
          0  db block gets
    1174942  consistent gets
     175116  physical reads
          0  redo size
        913  bytes sent via SQL*Net to client
        533  bytes received via SQL*Net from client
          1  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
          0  rows processed

最後に、ハッシュ結合にした場合のrownum vs fetch first n rows onlyの比較

NL結合にすべきか、ハッシュ結合にすべきかどうかは、悩むんですよ。状況に合わせて使い分ける必要があるのは、11gでも12cでも同じだと思います。理由は前回のエントリを参照のこと。

rownumでハッシュ結合にした場合、11g R2では黙っていても索引を利用していたのですが、12c R1では全表走査になる傾向が見られます。
11gの実行計画と同じオブジェクトを参照するようにヒントでチューニングしてありますが、やはりここでもTABLE ACCESS BY INDEX ROWID BATCHEDが行われていますね。

実に興味深い。

23:46:06 SCOTT@pdborcl> r
  1  select /*+ leading(tc) use_hash(tc tb ta) index(ta pk_ta) */ *
  2  from
  3  	tc join tb
  4  	on
  5  		tc.version = tb.version
  6  		and tc.branch# = tb.branch#
  7  	join ta
  8  	on
  9  		tb.version = ta.version
 10  where
 11  	tc.version between 1 and 10
 12* 	and rownum <= 1000

1000行が選択されました。

経過: 00:00:34.63

実行計画
----------------------------------------------------------
Plan hash value: 3316229909

--------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name  | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |
--------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |       |  1000 |  4923K|       |   199K  (1)| 00:00:08 |
|*  1 |  COUNT STOPKEY                         |       |       |       |       |            |          |
|*  2 |   HASH JOIN                            |       |  2002 |  9857K|       |   199K  (1)| 00:00:08 |
|   3 |    TABLE ACCESS BY INDEX ROWID BATCHED | TA    |    10 | 10040 |       |     4   (0)| 00:00:01 |
|*  4 |     INDEX RANGE SCAN                   | PK_TA |    10 |       |       |     1   (0)| 00:00:01 |
|*  5 |    HASH JOIN                           |       |  4004 |  7894K|  1170M|   199K  (1)| 00:00:08 |
|*  6 |     TABLE ACCESS FULL                  | TC    |  1200K|  1156M|       |   139K  (1)| 00:00:06 |
|   7 |     TABLE ACCESS BY INDEX ROWID BATCHED| TB    | 10001 |  9844K|       |  1486   (0)| 00:00:01 |
|*  8 |      INDEX RANGE SCAN                  | PK_TB | 10000 |       |       |    26   (0)| 00:00:01 |
--------------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(ROWNUM<=1000)
   2 - access("TB"."VERSION"="TA"."VERSION")
   4 - access("TA"."VERSION">=1 AND "TA"."VERSION"<=10)
   5 - access("TC"."VERSION"="TB"."VERSION" AND "TC"."BRANCH#"="TB"."BRANCH#")
   6 - filter("TC"."VERSION"<=10 AND "TC"."VERSION">=1)
   8 - access("TB"."VERSION">=1 AND "TB"."VERSION"<=10)


統計
----------------------------------------------------------
       1258  recursive calls
          0  db block gets
     515770  consistent gets
     516798  physical reads
          0  redo size
    1062679  bytes sent via SQL*Net to client
       1270  bytes received via SQL*Net from client
         68  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
       1000  rows processed

FETCH FIRST N ROWS ONLYを利用した場合

00:20:36 SCOTT@pdborcl> r
  1  select /*+ leading(tc) use_hash(tc tb ta) index(ta pk_ta) index(tb pk_tb) */ *
  2  from
  3  	tc join tb
  4  	on
  5  		tc.version = tb.version
  6  		and tc.branch# = tb.branch#
  7  	join ta
  8  	on
  9  		tb.version = ta.version
 10  where
 11  	tc.version between 1 and 10
 12* fetch first 1000 rows only

1000行が選択されました。

経過: 00:00:32.69

実行計画
----------------------------------------------------------
Plan hash value: 3430218324

-------------------------------------------------------------------------------------------------
| Id  | Operation                       | Name  | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                |       |   300K|   456M|       |   199K  (1)| 00:00:08 |
|*  1 |  VIEW                           |       |   300K|   456M|       |   199K  (1)| 00:00:08 |
|*  2 |   WINDOW NOSORT STOPKEY         |       |   300K|   864M|       |   199K  (1)| 00:00:08 |
|*  3 |    HASH JOIN                    |       |   300K|   864M|       |   199K  (1)| 00:00:08 |
|   4 |     TABLE ACCESS BY INDEX ROWID | TA    |    10 | 10040 |       |     4   (0)| 00:00:01 |
|*  5 |      INDEX RANGE SCAN           | PK_TA |    10 |       |       |     1   (0)| 00:00:01 |
|*  6 |     HASH JOIN                   |       |   600K|  1155M|  1170M|   199K  (1)| 00:00:08 |
|*  7 |      TABLE ACCESS FULL          | TC    |  1200K|  1156M|       |   139K  (1)| 00:00:06 |
|   8 |      TABLE ACCESS BY INDEX ROWID| TB    | 10001 |  9844K|       |  1486   (0)| 00:00:01 |
|*  9 |       INDEX RANGE SCAN          | PK_TB | 10000 |       |       |    26   (0)| 00:00:01 |
-------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter("from$_subquery$_006"."rowlimit_$$_rownumber"<=1000)
   2 - filter(ROW_NUMBER() OVER ( ORDER BY  NULL )<=1000)
   3 - access("TB"."VERSION"="TA"."VERSION")
   5 - access("TA"."VERSION">=1 AND "TA"."VERSION"<=10)
   6 - access("TC"."VERSION"="TB"."VERSION" AND "TC"."BRANCH#"="TB"."BRANCH#")
   7 - filter("TC"."VERSION"<=10 AND "TC"."VERSION">=1)
   9 - access("TB"."VERSION">=1 AND "TB"."VERSION"<=10)


統計
----------------------------------------------------------
       1456  recursive calls
          0  db block gets
     516181  consistent gets
     514506  physical reads
          0  redo size
    1045990  bytes sent via SQL*Net to client
       1270  bytes received via SQL*Net from client
         68  SQL*Net roundtrips to/from client
         75  sorts (memory)
          0  sorts (disk)
       1000  rows processed

Top N に関してはrownumでも fetch first N rows onlyでも弱点は弱点なのでrownumと同じ考え方でチューニングの方向を決めないと、ね。

---

・rownum使って満足しちゃってると..... #1
・rownum使って満足しちゃってると..... #2
・rownum使って満足しちゃってると..... #3
・rownum使って満足しちゃってると..... #4
・rownum使って満足しちゃってると.....おまけ

Oracle Database 12c R1 12.1.0.1.0 released!

http://www.oracle.com/technetwork/jp/database/enterprise-edition/downloads/index.html

Oracle Database 12c release 1 12.1.0.1.0 がやっと公開されました :)

ダウンロードは朝一でしたが、帰宅してからインストール、力尽きたので、寝ます。＜イマココ

ちなみに、Linuxは、CentOS5.8 x86_64です。Oracle11g R2をインストールしていたのですが、そのまま別ORACLE_HOMEへインストールしてみました。　

問題なく？インストールできたようですが、6系とかSolarisにしたほうが良かったかなぁ...w

なんか、沢山のバックグランドプロセスが... まだマニュアルもまともに読んでないので、これからです :)

そして、噂のpga_aggregate_limit

SQL> show parameter pga

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
pga_aggregate_limit                  big integer 3596M
pga_aggregate_target                 big integer 1798M
SQL> 

db file scattered read と db file parallel read と db file sequential read (その６）

続きです。

system callからも読み取れますが、各待機イベントでは
db file sequential read - 単一ブロック読み込み
db file parallel read - 不連続ブロックの複数ブロックの読み込み
db file scattered read - 連続したブロックの複数ブロック読み込み

が行われ、読み込まれたブロックはバッファキャッシュに乗せられるわけです。

注）
今回は発生しないようにしていますが、Oracle11g R2では実行計画上フルスキャンとなっていても、はdb file scattered readまたはdirect path read（バッファキャッシュを経由しない)になる場合があります。(smart flash cacheが無い場合）

db file scattered read vs direct path read関連の話題は以下のブログを参考に :)
10046 trace name context forever - Oracle OpenWorld 2012 Unconference presented by JPOUG
10046 trace name context forever - Smart Flash Cache 簡単なパフォーマンス比較
技術情報| Insight Techology, Inc. Part 7 - 11gR2からのフルスキャン
Ask Tom "Direct path reads 11gR2" - Thanks for the question regarding "Direct path reads 11gR2", version 11.2.0.1

direct path readが発生していないので :)
...キャッシュヒット率１００％ならば発生しないってこと、ですよね。

試してみます！

バッファキャッシュには以下のSQL文でアクセスする表以外のオブジェクトも含め事前に乗せてあります。
以下SQL文では表、索引ともバッファキャッシュヒット率１００％になるようにしてあります。

v$bhの状態（STATUS=freeがないので空きブロックの無い状態）

STATUS       COUNT(1)
---------- ----------
xcur             8904
cr                 21

SQLトレースを見ると物理読み込みは発生していないこと、db file * read待機イベントが発生していないことが確認できます！

SQLトレース（tkprofにて整形後）

select
	/*+
		leading(t2 t1)
		use_nl(t2 t1)
		index(t2 pk_high_clustering_factor)
	*/
	t2.id
	,t2.name
	,t1.name
from
	low_clustering_factor t1
	inner join high_clustering_factor t2
	on
		t1.id = t2.id
where
	t2.id between 30001 and 35000

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1      0.00       0.00          0          0          0           0
Execute      1      0.00       0.00          0          0          0           0
Fetch      163      0.06       0.07          0       5252          0        2421
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      165      0.06       0.07          0       5252          0        2421

Misses in library cache during parse: 0
Optimizer mode: ALL_ROWS
Parsing user id: 84  

Rows     Row Source Operation
-------  ---------------------------------------------------
   2421  NESTED LOOPS  (cr=5252 pr=0 pw=0 time=63861 us)
   2421   NESTED LOOPS  (cr=2831 pr=0 pw=0 time=67887 us cost=5012 size=1530612 card=2501)
   2421    TABLE ACCESS BY INDEX ROWID HIGH_CLUSTERING_FACTOR (cr=2589 pr=0 pw=0 time=51456 us cost=2510 size=765612 card=2502)
   2421     INDEX RANGE SCAN PK_HIGH_CLUSTERING_FACTOR (cr=168 pr=0 pw=0 time=7260 us cost=8 size=0 card=2502)(object id 82774)
   2421    INDEX UNIQUE SCAN PK_LOW_CLUSTERING_FACTOR (cr=242 pr=0 pw=0 time=0 us cost=0 size=0 card=1)(object id 82772)
   2421   TABLE ACCESS BY INDEX ROWID LOW_CLUSTERING_FACTOR (cr=2421 pr=0 pw=0 time=0 us cost=1 size=306 card=1)


Elapsed times include waiting on following events:
  Event waited on                             Times   Max. Wait  Total Waited
  ----------------------------------------   Waited  ----------  ------------
  SQL*Net message to client                     163        0.00          0.00
  SQL*Net message from client                   163        0.02          2.51
  SQL*Net more data to client                   161        0.00          0.00
********************************************************************************

select
	/*+
		leading(t1 t2)
		use_nl(t1 t2)
		index(t1 pk_low_clustering_factor)
	*/
	t1.id
	,t1.name
	,t2.name
from
	low_clustering_factor t1
	inner join high_clustering_factor t2
	on
		t1.id = t2.id
where
	t1.id between 1 and 5000

call     count       cpu    elapsed       disk      query    current        rows
------- ------  -------- ---------- ---------- ---------- ----------  ----------
Parse        1      0.00       0.00          0          0          0           0
Execute      1      0.00       0.00          0          0          0           0
Fetch      173      0.04       0.05          0       3367          0        2566
------- ------  -------- ---------- ---------- ---------- ----------  ----------
total      175      0.04       0.05          0       3367          0        2566

Misses in library cache during parse: 0
Optimizer mode: ALL_ROWS
Parsing user id: 84  

Rows     Row Source Operation
-------  ---------------------------------------------------
   2566  NESTED LOOPS  (cr=3367 pr=0 pw=0 time=44887 us)
   2566   NESTED LOOPS  (cr=801 pr=0 pw=0 time=32245 us cost=5231 size=1530000 card=2500)
   5000    TABLE ACCESS BY INDEX ROWID LOW_CLUSTERING_FACTOR (cr=564 pr=0 pw=0 time=17496 us cost=229 size=1530000 card=5000)
   5000     INDEX RANGE SCAN PK_LOW_CLUSTERING_FACTOR (cr=181 pr=0 pw=0 time=3624 us cost=11 size=0 card=5000)(object id 82772)
   2566    INDEX UNIQUE SCAN PK_HIGH_CLUSTERING_FACTOR (cr=237 pr=0 pw=0 time=0 us cost=0 size=0 card=1)(object id 82774)
   2566   TABLE ACCESS BY INDEX ROWID HIGH_CLUSTERING_FACTOR (cr=2566 pr=0 pw=0 time=0 us cost=1 size=306 card=1)


Elapsed times include waiting on following events:
  Event waited on                             Times   Max. Wait  Total Waited
  ----------------------------------------   Waited  ----------  ------------
  SQL*Net message to client                     173        0.00          0.00
  SQL*Net message from client                   172        0.07          2.01
  SQL*Net more data to client                   171        0.00          0.00

db file * read祭りだった際には明らかに増加していた physical reads prefetch warmupやphysical reads cache prefetchも含め、
物理読み込みが発生しない状況であれば、それらの待機イベントも発生しないのは当然と言えば当然ですよね。 :)

SQL実行前のシステム統計(physical readとprefetch関連のみ）


---------------------------------------------------------------- ----------
index crx upgrade (prefetch)                                              0
physical read IO requests                                              2201
physical read bytes                                                18030592
physical read flash cache hits                                            0
physical read requests optimized                                          0
physical read total IO requests                                        2201
physical read total bytes                                          18030592
physical read total multi block requests                                  0
physical reads                                                         2201
physical reads cache                                                   2201
physical reads cache prefetch                                           741
physical reads direct                                                     0
physical reads direct (lob)                                               0
physical reads direct temporary tablespace                                0
physical reads for flashback new                                          0
physical reads prefetch warmup                                            0
physical reads retry corrupt                                              0
prefetch clients - 16k                                                    0
prefetch clients - 2k                                                     0
prefetch clients - 32k                                                    0
prefetch clients - 4k                                                     0
prefetch clients - 8k                                                     0
prefetch clients - default                                                0
prefetch clients - keep                                                   0
prefetch clients - recycle                                                0
prefetch warmup blocks aged out before use                                0
prefetch warmup blocks flushed out before use                             0
prefetched blocks aged out before use                                     0

SQL文実行後のシステム統計(physical readとprefetch関連のみ）

NAME                                                                  VALUE
---------------------------------------------------------------- ----------
index crx upgrade (prefetch)                                              0
physical read IO requests                                              2201
physical read bytes                                                18030592
physical read flash cache hits                                            0
physical read requests optimized                                          0
physical read total IO requests                                        2201
physical read total bytes                                          18030592
physical read total multi block requests                                  0
physical reads                                                         2201
physical reads cache                                                   2201
physical reads cache prefetch                                           741
physical reads direct                                                     0
physical reads direct (lob)                                               0
physical reads direct temporary tablespace                                0
physical reads for flashback new                                          0
physical reads prefetch warmup                                            0
physical reads retry corrupt                                              0
prefetch clients - 16k                                                    0
prefetch clients - 2k                                                     0
prefetch clients - 32k                                                    0
prefetch clients - 4k                                                     0
prefetch clients - 8k                                                     0
prefetch clients - default                                                0
prefetch clients - keep                                                   0
prefetch clients - recycle                                                0
prefetch warmup blocks aged out before use                                0
prefetch warmup blocks flushed out before use                             0
prefetched blocks aged out before use                                     0

物理読み込みが発生しない状況を作りdb file * read関連の物理読み込みが発生しない状況で、physical reads prefetch warmup/cache prefetchが発生していないことは確認しました。

次回はphysical reads prefetch warmupってどんな時に発生しやすいのか確認してみます。その際、発生する待機イベントってなんだろう？ (もうわかってるでしょ、でしょ？）

つづく

”SSD”、”SSD”、ってプロジェクトでお金握ってる人の耳元で毎日つぶやいていれば、

いつの日か、「あ、そうだ！　SSDがあるじゃまいか」と、自分から言うようになるんじゃないかなと思っているんだが、だれか実践してくれないかなw　

---

バックナンバー

・db file scattered read と db file parallel read と db file sequential read (その１）
・db file scattered read と db file parallel read と db file sequential read (その２）
・db file scattered read と db file parallel read と db file sequential read (その３）
・db file scattered read と db file parallel read と db file sequential read (その４）
・db file scattered read と db file parallel read と db file sequential read (その５）

db file scattered read と db file parallel read と db file sequential read (その４）

db file scattered read と db file parallel read と db file sequential read の続きです。

再びリクエストにお答えしてw、SQLとレースを有効した状態でstraceして該当待機イベントでどのようなsystem callになっているのか確認してみたよ ＞　@yoheia :)

db file sequential read

WAIT #4: nam='db file sequential read' ela= 53584 file#=7 block#=375476 blocks=1 obj#=82773 tim=1365258291285100

....
pread64(17, "\6\242\0\0\372\267\5\0\\]\216\0\0\0\1\6\226y\0\0\1\0\0\0UC\1\0009]\216\0"..., 8192, 3070181376) = 8192

db file scattered read

WAIT #4: nam='db file scattered read' ela= 14462 file#=7 block#=374752 blocks=26 obj#=82773 tim=1365258291450333

....
pread64(17, "\6\242\0\0\340\267\5\0005]\216\0\0\0\1\6}\372\0\0\1\0\0\0UC\1\0002]\216\0"..., 212992, 3069968384) = 212992

db file parallel read

WAIT #4: nam='db file parallel read' ela= 25040 files=1 blocks=11 requests=11 obj#=82773 tim=1365258291641614

....
io_submit(1261568, 11, {{0x7981c8, 0, 0, 0, 17}, {0x79834c, 0, 0, 0, 17}, {0x7984d0, 0, 0, 0, 17}, {0x798654, 0, 0, 0, 17}, {0x7987d8, 0, 0, 0, 17}, {0x79895c, 0, 0, 0, 17}, {0x798ae0, 0, 0, 0, 17}, {0x798c64, 0, 0, 0, 17}, {0x798de8, 0, 0, 0, 17}, {0x798f6c, 0, 0, 0, 17}, {0x7990f0, 0, 0, 0, 17}}) = 11
io_getevents(1261568, 11, 128, {{0x79834c, 0x79834c, 8192, 0}, {0x7984d0, 0x7984d0, 8192, 0}, {0x7981c8, 0x7981c8, 8192, 0}, {0x798654, 0x798654, 8192, 0}, {0x7987d8, 0x7987d8, 8192, 0}, {0x798ae0, 0x798ae0, 8192, 0}, {0x798c64, 0x798c64, 8192, 0}, {0x798de8, 0x798de8, 8192, 0}, {0x7990f0, 0x7990f0, 8192, 0}, {0x798f6c, 0x798f6c, 8192, 0}, {0x79895c, 0x79895c, 8192, 0}}, {600, 0}) = 11

このdb file parallel readも狙って出せるくらいだから、たまたまそういう状況では発生しちゃうわけですよ。

以下のSQLトレースは、全てHIGH_CLUSTERING_FACTOR（表）に対する待機イベントですが、何が起きているか想像するとワクワクしてきませんか? (変態だな）

WAIT #4: nam='db file parallel read' ela= 10307 files=1 blocks=14 requests=14 obj#=82773 tim=1364725159669764　
WAIT #4: nam='db file scattered read' ela= 1931 file#=7 block#=374755 blocks=29 obj#=82773 tim=1364725159671819
WAIT #4: nam='db file parallel read' ela= 5874 files=1 blocks=14 requests=14 obj#=82773 tim=1364725159733551　
WAIT #4: nam='db file sequential read' ela= 337 file#=7 block#=374065 blocks=1 obj#=82773 tim=1364725159733959　

ということで、いろいろと、力尽きたので今日はここまで。

次回へつづく。

---

バックナンバー

・db file scattered read と db file parallel read と db file sequential read (その１）
・db file scattered read と db file parallel read と db file sequential read (その２）
・db file scattered read と db file parallel read と db file sequential read (その３）

R(relation)の線が無いERDを見てて..思いついたこと....でもメンテする気がなけりゃ同じだけどな

ExcelでメンテされてないERDとか、リリース当初からERDのR(relation)の線がない(ヒアリングするrelationは確かにあるんだよ)ERDとか見てて...寂しくなった。
ERD見る意味ないじゃん。というか、なんでそんなERDメンテするのに工数取ってんの？
とか、そんなERDベースにテストデータどうやって作るのさ...急に呼ばれて飛び出てきたのに...
ということをもやもや考えてた日々がしばらくありまして...

Oracle SQL Developer ModelerでリバースエンジニアリングしてERD作ろうと思っても...

そういう所って外部参照制約なんてないんですよ。

そもそも外部参照制約作れないだろって所もあるわけですけど...それはない前提で...

ERDをリバースエンジニアリングで作成しようと思うと、エンティティ図になってしまうという残念な結果になるのは目に見えてるわけです。はい。(><)

外部参照制約作成していれば.....

こんな感じですぐにできるので、面倒くさくなくて素敵なんですね。

だた、参照整合性嫌いだし。とか、毎日夜間バッチで整合性チェックしてるからいいの！
ってところは多いわけです。

....で....ある日、電球がピカりんこと光った訳ですよ....

Oracle SQL Developer Data Modelerのリバースエンジニアリングって 、外部参照制約がdisableかつnovalidateで制約が効かない(一部制限あり*1）状態でもERDではrelation作成してくれるかも〜〜〜〜。と。

忘れないうちにすぐ試す！
外部参照制約はdropしないで、disable かつ novalidate済み！

できた〜〜〜〜っ！

Enjoy! Oracle SQL Data Modeler and Developer !

---

*1:
外部参照整合性をdisable かつ novalidateにしていても外部参照整合性が作成されているだけで親表は子表より先にdropできなくなるのでその点はお忘れなく！

試験環境は以下のとおり
Oracle11g R2 for linux x86
Oracle SQL Developer 3.3.20 for OS X
Oracle DataModeler 3.1.4 for OS X

jdk-7u13にアップデート

http://docs.oracle.com/javase/

やはり、来たね VirtualBoxアップデート :)

この時期に仕事やっつけてないと、クリスマスが大変だものね〜 :) と

https://www.virtualbox.org/wiki/Changelog

VirtualBoxのゲストさん、いらっしゃ〜〜い

VirtualBox で いろんなGuestOS起動してみた。（MacOS Xは以前書きましたけど、他のOSもまとめて書いておきますね）

HostはMac/OS X Mountain Lionでございます。

VirtualBoxは、4.2.4でございます。

GuestOSのみなさま :)

まずは、Mac on Mac から

Mac OS X Leopard 10.5

Oracle Solaris11.1

HAIKU Alpha4

OpenSUSE 12.2

Ubuntu 12.10

Fedora 17

CentOSとかWindowsもね

CentOS 5 and 6

Windows XP and 7

VirtualBox 4.2.4 Released

余裕がなくてアップデート１つ飛ばしてしまった　＞＜　

OS X関連 bug fix含んでいるので更新など...

対応ゲストOS一覧はここ.
https://www.virtualbox.org/wiki/Guest_OSes

https://www.virtualbox.org/wiki/Changelog

VirtualBox 4.2 Released !!!

VirtualBoxリリーススピードがすごいっす。。

VIrutalBox 4.2リリース！　グループ化したVMは一括起動できるんで便利ですね〜

一括起動するとする際には、グループ内の並び順にで順次起動されてます。この機能が追加されるとたぶん更なる要求があるかもしれませんね。順に起動するだけでなく任意に一括起動とか、各VMの起動間隔したいとか　:)

2012/9/23更新（相変わらずミスが多い ><)

VirtualBox 4.1.22 、 4.2近くに来てるし〜:)

4.1.22 今回は随分間隔短いリリースだな (^^;;;

4.2.0 も RC4な

Index Only Accessネタのおまけのおまけ

Caché de Index Only Access できるのか？

CachéってSQLもサポートしてるので、Index Only Accessサポートしてるのかな〜と素朴な疑問から調べてみたもののマニュアルには記載されていない。
書かれていなきゃどうなるか、試すのが手っ取り早いですね。
（ダウンロードするにはフォームからリクエストする必要があります。１セッション限定の試用ライセンスのようです。他の制限は該当ページ読んでくださいな。）

---

OracleのIndex Only Accessは以下のエントリを参考にしてください。

・いん！、イン！、Index どっぷり Inde Only Access生活w - Oracle OpenWorld Unconference presented by JPOUG

・JPOUG SET EVENTS 20120721 - 「(続)いん！、イン！、Index 大人の事情縛りのSQLチューニング」資料公開

MySQL/PostgreSQLのIndex Only Accessは以下のエントリを参考にしてください。
・Index Only Accessネタのおまけ

---

いつもはMacBook Air使うんですが、今回は都合により母艦のVirtualBoxを使いました (^^;;

MacPro Mid 2012 12Core/24GB (OS X Mountain Lion Server)
VirtualBox4.1.20 for MacOS X
GuestOS：CentOS5.8 x86_64 (CPU数とメモリサイズはMacBook Airのx86環境と同じ）

Caché 2012.1 for Linux x86_64

まず、ターミナルで接続して表、索引、データ登録、他のデータベースで言う統計情報取得から。

[oracle@pleco ˜]$ csession cache -U samples

ノード: pleco.macdeoracle.jp インスタンス: CACHE

SAMPLES>

SAMPLES>d $System.SQL.Shell()
SQL Command Line Shell
----------------------------------------------------

The command prefix is currently set to: <<nothing>>.
Enter q to quit, ? for help.
SAMPLES>>
SAMPLES>>create table tab3(unique_id numeric(10) not null, item_code char(15) not null, data varchar(500), is_delete numeric(1), status_code char(2)) 
1.      create table tab3(unique_id numeric(10) not null, item_code char(15) not null, data varchar(500), is_delete numeric(1), status_code char(2))

0 Rows Affected
statement prepare time: 0.0118s, elapsed execute time: 0.2405s.
---------------------------------------------------------------------------
SAMPLES>>
SAMPLES>>alter table tab3 add constraint tab3_pk primary key(unique_id)
3.      alter table tab3 add constraint tab3_pk primary key(unique_id)

0 Rows Affected
statement prepare time: 0.0092s, elapsed execute time: 4.9465s.
---------------------------------------------------------------------------
SAMPLES>>
SAMPLES>>create table tab311 (unique_id numeric(10) not null,sub_item_code char(10),data varchar(500),is_delete numeric(1))
4.      create table tab311 (unique_id numeric(10) not null,sub_item_code char(10),data varchar(500),is_delete numeric(1))

0 Rows Affected
statement prepare time: 0.0115s, elapsed execute time: 0.1953s.
---------------------------------------------------------------------------
SAMPLES>>create table tab31 (item_code char(15) not null,sub_item_code char(10),data varchar(500),is_delete numeric(1))
5.      create table tab31 (item_code char(15) not null,sub_item_code char(10),data varchar(500),is_delete numeric(1))

0 Rows Affected
statement prepare time: 0.0133s, elapsed execute time: 0.1985s.
---------------------------------------------------------------------------
SAMPLES>>
SAMPLES>>alter table tab31 add constraint tab31_pk primary key(item_code)
7.      alter table tab31 add constraint tab31_pk primary key(item_code)

0 Rows Affected
statement prepare time: 0.0102s, elapsed execute time: 0.2589s.
---------------------------------------------------------------------------
SAMPLES>>alter table tab311 add constraint tab311_pk primary key(unique_id)
8.      alter table tab311 add constraint tab311_pk primary key(unique_id)

0 Rows Affected
statement prepare time: 0.0116s, elapsed execute time: 0.2627s.
---------------------------------------------------------------------------
SAMPLES>>create index tab311_ix on tab311(sub_item_code)
9.      create index tab311_ix on tab311(sub_item_code)

0 Rows Affected
statement prepare time: 0.0111s, elapsed execute time: 0.2870s.
---------------------------------------------------------------------------
SAMPLES>>q

確認は管理ポータルで！（どこみればよいか分からなかったので楽な方法で..)

Oracleなら統計情報取得、他のRDBMSならアナライズ（昔はオラクルもアナライズだったんですけどね）、Cachéの世界では「テーブルチューニング」というそうな。
（管理ポータルから実行しています）

表と索引ができたのでデータ登録。
これまたOracleとは勝っても違うし、DSMの時代(DIGITAL STANDARD MUMPS)から大きく拡張されてるのでかなり辛いな〜MUMPS思い出すというより別物に近い感じw。あの当時はSQL使えねーしというより必要ねーし、だったしね (^^;;;

以下、データ作成中のログ..
グルグル回しているのは気にしないでねw

[oracle@pleco ˜]$ csession cache -U samples

ノード: pleco.macdeoracle.JP インスタンス: CACHE

SAMPLES>
SAMPLES>
SAMPLES>s rs=##class(%SQL.Statement).%ExecDirect(,"start transaction")
TL1:SAMPLES>s sql="insert into SQLUser.tab3 values(?,to_char((?#500000)+1,'FM099999999999999'),repeat('*',250-length(to_char(?)))||to_char(?),0,'00')"
TL1:SAMPLES>s stmt=##class(%SQL.Statement).%New() s stat=stmt.%Prepare(sql)
TL1:SAMPLES>f i=1:1:1000000 {s rs=stmt.%Execute(i,i,i,i)}
TL1:SAMPLES>s rs=##class(%SQL.Statement).%ExecDirect(,"commit")
SAMPLES>d $System.SQL.Shell()

SQL Command Line Shell
----------------------------------------------------

The command prefix is currently set to: <<nothing>>.
Enter q to quit, ? for help.
SAMPLES>>select count(1) from tab3
7.      select count(1) from tab3

Aggregate_1
1000000

1 Rows(s) Affected
statement prepare time: 0.0009s, elapsed execute time: 2.6558s.
---------------------------------------------------------------------------
SAMPLES>>select min(unique_id) as "min", max(unique_id) as "max" from tab3
8.      select min(unique_id) as "min", max(unique_id) as "max" from tab3

min     max
1       1000000

1 Rows(s) Affected
statement prepare time: 0.1423s, elapsed execute time: 0.0006s.
---------------------------------------------------------------------------
SAMPLES>>select min(item_code) "min",max(item_code) "max" from tab3       
9.      select min(item_code) "min",max(item_code) "max" from tab3

min             max
000000000000001 000000000500000

1 Rows(s) Affected
statement prepare time: 0.1324s, elapsed execute time: 3.4683s.
---------------------------------------------------------------------------
SAMPLES>>
SAMPLES>>q

SAMPLES>halt
[oracle@pleco ˜]$ 

SAMPLES>d $System.SQL.SetAutoCommit(2)
SAMPLES>s rs=##class(%SQL.Statement).%ExecDirect(,"start transaction")
TL1:SAMPLES>s sql="insert into SQLUser.tab31 values(to_char(?,'FM099999999999999'),to_char((?#500000)+1,'FM0999999999'),repeat('*',250-length(to_char(?)))||to_char(?),0)"
TL1:SAMPLES>s stmt=##class(%SQL.Statement).%New() s stat=stmt.%Prepare(sql)
TL1:SAMPLES>f i=1:1:2000000 {s rs=stmt.%Execute(i,i,i,i)}
TL1:SAMPLES>s rs=##class(%SQL.Statement).%ExecDirect(,"commit")

SAMPLES>d $System.SQL.Shell()
SQL Command Line Shell
----------------------------------------------------

The command prefix is currently set to: <<nothing>>.
Enter q to quit, ? for help.
SAMPLES>>select count(1) from tab31 
2.      select count(1) from tab31

Aggregate_1
2000000

1 Rows(s) Affected
statement prepare time: 0.1349s, elapsed execute time: 6.0684s.
---------------------------------------------------------------------------
SAMPLES>>select min(item_code) "item_code(MIN)",max(item_code) "item_code(MAX)" from tab31
3.      select min(item_code) "item_code(MIN)",max(item_code) "item_code(MAX)" from tab31

item_code(MIN)  item_code(MAX)
000000000000001 000000002000000

1 Rows(s) Affected
statement prepare time: 0.1361s, elapsed execute time: 0.0010s.
---------------------------------------------------------------------------
SAMPLES>>select min(sub_item_code) "sub_item_code(MIN)",max(sub_item_code) "sub_item_code(MAX)" from tab31
4.      select min(sub_item_code) "sub_item_code(MIN)",max(sub_item_code) "sub_item_code(MAX)" from tab31

sub_item_code(MIN)      sub_item_code(MAX)
0000000001              0000500000

1 Rows(s) Affected
statement prepare time: 0.1391s, elapsed execute time: 6.7417s.
---------------------------------------------------------------------------
SAMPLES>>q
SAMPLES>

SAMPLES>d $System.SQL.SetAutoCommit(2)
SAMPLES>s rs=##class(%SQL.Statement).%ExecDirect(,"start transaction")
TL1:SAMPLES>s sql="insert into SQLUser.tab311 values(?,to_char((?#500000)+1,'FM0999999999'),repeat('*',250-length(to_char(?)))||to_char(?),0)"
TL1:SAMPLES>s stmt=##class(%SQL.Statement).%New() s stat=stmt.%Prepare(sql)
TL1:SAMPLES>f i=1:1:2000000 {s rs=stmt.%Execute(i,i,i,i)}
TL1:SAMPLES>s rs=##class(%SQL.Statement).%ExecDirect(,"commit")

SAMPLES>d $System.SQL.Shell()

SQL Command Line Shell
----------------------------------------------------

The command prefix is currently set to: <<nothing>>.
Enter q to quit, ? for help.
SAMPLES>>select count(1) from tab311
5.      select count(1) from tab311

Aggregate_1
2000000

1 Rows(s) Affected
statement prepare time: 0.0009s, elapsed execute time: 3.7845s.
---------------------------------------------------------------------------
SAMPLES>>select min(sub_item_code) "sub_item_code(MIN)", max(sub_item_code) "sub_item_code(MAX)" from tab311
6.      select min(sub_item_code) "sub_item_code(MIN)", max(sub_item_code) "sub_item_code(MAX)" from tab311

sub_item_code(MIN)      sub_item_code(MAX)
0000000001              0000500000

1 Rows(s) Affected
statement prepare time: 0.1558s, elapsed execute time: 0.0004s.
---------------------------------------------------------------------------
SAMPLES>>q

本題からはずれるのですが... SQL使ってるとはいっても、ベースはMUMPSというかM言語だからね〜というお話を。。

tab3表及び主キー制約で作成された索引に対応するglobals。索引を見るとSparse Multidimensional Arrayをうまく利用しているのがよくわかる :)
Cachéの表や索引の実態はSparse Multidimensional Arrayなんだお。

1:      ^User.tab3D    =     1512812
2:      ^User.tab3D(512813)    =     $lb("",1,"000000000000002","*****************   ...中略... *******************************1",0,"00")
3:      ^User.tab3D(512814)    =     $lb("",2,"000000000000003","*****************   ...中略... *******************************2",0,"00")
4:      ^User.tab3D(512815)    =     $lb("",3,"000000000000004","*****************   ...中略... *******************************3",0,"00")
...以下略... 

tab3表の主キー索引

1:      ^User.tab3I("tab3pk",1,512813)    =     ""
2:      ^User.tab3I("tab3pk",2,512814)    =     ""
3:      ^User.tab3I("tab3pk",3,512815)    =     ""
...以下略...

次は、tab31表と主キー索引

1:      ^User.tab31D    =     2000000
2:      ^User.tab31D(1)    =     $lb("","000000000000001","0000000002","*****************   ...中略... *************************1",0)
3:      ^User.tab31D(2)    =     $lb("","000000000000002","0000000003","*****************   ...中略... *************************2",0)
4:      ^User.tab31D(3)    =     $lb("","000000000000003","0000000004","*****************   ...中略... *************************3",0)
...以下略... 

1:      ^User.tab31I("tab31pk"," 000000000000001",1)    =     ""
2:      ^User.tab31I("tab31pk"," 000000000000002",2)    =     ""
3:      ^User.tab31I("tab31pk"," 000000000000003",3)    =     ""
...以下略... 

最後に、tab311表と主キー索引及び、非ユニーク索引に対応したSparse Multidimensional Arrayの内容

1:      ^User.tab311D    =     2000000
2:      ^User.tab311D(1)    =     $lb("",1,"0000000002","*********************************   ...中略... ************************1",0)
3:      ^User.tab311D(2)    =     $lb("",2,"0000000003","*********************************   ...中略... ************************2",0)
4:      ^User.tab311D(3)    =     $lb("",3,"0000000004","*********************************   ...中略... ************************3",0)
...以下略... 

1:      ^User.tab311I("tab311ix"," 0000000001",500000)    =     ""
2:      ^User.tab311I("tab311ix"," 0000000001",1000000)    =     ""
3:      ^User.tab311I("tab311ix"," 0000000001",1500000)    =     ""
4:      ^User.tab311I("tab311ix"," 0000000001",2000000)    =     ""
5:      ^User.tab311I("tab311ix"," 0000000002",1)    =     ""
6:      ^User.tab311I("tab311ix"," 0000000002",500001)    =     ""
7:      ^User.tab311I("tab311ix"," 0000000002",1000001)    =     ""
8:      ^User.tab311I("tab311ix"," 0000000002",1500001)    =     ""
9:      ^User.tab311I("tab311ix"," 0000000003",2)    =     ""
10:      ^User.tab311I("tab311ix"," 0000000003",500002)    =     ""
11:      ^User.tab311I("tab311ix"," 0000000003",1000002)    =     ""
12:      ^User.tab311I("tab311ix"," 0000000003",1500002)    =     ""
13:      ^User.tab311I("tab311ix"," 0000000004",3)    =     ""
14:      ^User.tab311I("tab311ix"," 0000000004",500003)    =     ""
15:      ^User.tab311I("tab311ix"," 0000000004",1000003)    =     ""
16:      ^User.tab311I("tab311ix"," 0000000004",1500003)    =     ""
...以下略... 

実行するクエリはOracle/MySQL/PostgreSQLで実行したものと同じです。

select
    t1.unique_id,
    t1.item_code,
    (
        select
            max(t3.unique_id)
        from
            tab31 t2 join tab311 t3
            on
                t2.sub_item_code = t3.sub_item_code
                and t3.is_delete = 0
        where
            t2.item_code = t1.item_code
            and t2.is_delete = 0
    ) current_sub_item
from
    tab3 t1
where
    t1.unique_id between 1 and 10000
    and t1.is_delete = 0
    and t1.status_code = '00'

以下、管理ポータルのSQL実行プラン表示で取得した実行計画とコスト。
Index Only AccessではないのでCacheのSQLの世界で表アクセスを意味するオペレーションである、Read Master mapがスカラー問合せ部分に現れている。
ちなみに、索引アクセスを意味するオペレーションは、Read index mapのようだ。

実行プランが以下に表示されます:
クエリ文字列

SELECT t1 . unique_id , t1 . item_code , ( SELECT MAX ( t3 . unique_id ) FROM tab31 t2 JOIN tab311 t3 ON t2 . sub_item_code = t3 . sub_item_code AND t3 .
is_delete = ? WHERE t2 . item_code = t1 . item_code AND t2 . is_delete = ? ) current_sub_item FROM tab3 t1 WHERE t1 . unique_id BETWEEN ? AND ? AND t1 .
is_delete = ? AND t1 . status_code = ?

クエリプラン
相対コスト = 74082

    Call module B, which populates bitmap temp-file A.
    Read bitmap temp-file A, looping on ID.
    For each row:
        Read master map SQLUser.tab3.IDKEY, using the given idkey value.
        Output the row. 

module B
    Read index map SQLUser.tab3.tab3_pk, looping on unique_id (with a range condition) and ID.
    For each row:
        Add ID bit to bitmap temp-file A. 

subquery
    Call module E.
    Determine subquery result.

module E
    Read index map SQLUser.tab31.tab31_pk, using the given %SQLUPPER(item_code), and looping on ID.
    For each row:
        Read master map SQLUser.tab31.IDKEY, using the given idkey value.
        Read index map SQLUser.tab311.tab311_ix, using the given %SQLUPPER(sub_item_code), and looping on ID.
        For each row:
            Read master map SQLUser.tab311.IDKEY, using the given idkey value.
            Accumulate the max(unique_id). 

では、Index Only Accessによるチューニング。 Covering Indexを２つ作成します。(Oracle/MySQL/PostgreSQLで作成した索引と同じ名称にしてあります）

[oracle@pleco ˜]$ csession cache -U samples

ノード: pleco.macdeoracle.JP インスタンス: CACHE

SAMPLES>d $System.SQL.Shell()
SQL Command Line Shell
----------------------------------------------------

The command prefix is currently set to: <<nothing>>.
Enter q to quit, ? for help.
SAMPLES>>create index tab31_demo_ix on tab31(item_code, is_delete, sub_item_code)
1.      create index tab31_demo_ix on tab31(item_code, is_delete, sub_item_code)

0 Rows Affected
statement prepare time: 4.8277s, elapsed execute time: 9.6483s.
---------------------------------------------------------------------------
SAMPLES>>create index tab311_demo_ix on tab311(sub_item_code, is_delete, unique_id)
2.      create index tab311_demo_ix on tab311(sub_item_code, is_delete, unique_id)

0 Rows Affected
statement prepare time: 0.0130s, elapsed execute time: 8.6777s.
---------------------------------------------------------------------------
SAMPLES>>

索引は正しく作成されています。（管理ポータルから確認した結果）

お〜〜〜〜〜っ！。 CacheのSQLワールドでもIndex Only Accessになってる〜〜〜。　（ヒントのような仕組みはないようなのですが、狙い通りの索引が利用されていますね）
スカラー副問合せの実行計画から Read Master Map（表に対応するSparse Multidimensional Array）をアクセスする操作が消え、Read index Map（索引に対応するSparse Multidimensional Array）をアクセスする操作だけになっていることが確認できた。 :)

以下、管理ポータルの「SQL実行」＞「実行計画」で取得した実行計画

クエリプラン
相対コスト = 74082

    Call module B, which populates bitmap temp-file A.
    Read bitmap temp-file A, looping on ID.
    For each row:
        Read master map SQLUser.tab3.IDKEY, using the given idkey value.
        Output the row. 

module B
    Read index map SQLUser.tab3.tab3_pk, looping on unique_id (with a range condition) and ID.
    For each row:
        Add ID bit to bitmap temp-file A. 

subquery
    Call module E.
    Determine subquery result.

module E
    Read index map SQLUser.tab31.tab31_demo_ix, using the given %SQLUPPER(item_code) and is_delete, and looping on %SQLUPPER(sub_item_code) and ID.
    For each row:
        Read index map SQLUser.tab311.tab311_demo_ix, using the given %SQLUPPER(sub_item_code) and is_delete, and looping on unique_id and ID.
        For each row:
            Accumulate the max(unique_id). 

VirtualBox 4.1.20 released!

Mac OS X hosts: adaptions to Mountain Lionとの記載もあるので即アップデート

VirtualBox 4.1.18 released!

https://www.virtualbox.org/wiki/Changelog

定期的にアップデートされてて素敵:)

VirtualBox 4.1.16 released

https://www.virtualbox.org/wiki/Changelog

https://www.virtualbox.org/wiki/Downloads

Mac OS X hosts: addressed issues running on Mountain Lion Preview 3 と Moutain Lion対応も順調のようですな〜 :)

とりあえず、MacOS X Lion阪はアップデートdone.

VirtualBox 4.1.14 と OS X Mountain Lion対応？ 4.1.15がリリースされてた

今気づいたけど、4.1.14だけだと思ったら、MacOS X Mountain Lion対応の VirtualBox 4.1.15も出てたのね。:)

https://www.virtualbox.org/wiki/Downloads

とりあえずアップデート

VirtualBox 4.1.12 released

https://www.virtualbox.org/wiki/Changelog

おやおや、今気づいたけど、VirtualBoxについてのダイアログ。バー部分が角張ってるよね。4.1.10から上部だけ角張ってる。

4.1.8まではラウンドだったのに…気になる

以下、4.1.8

VirtualBox 4.1.10 released - あれ前回は 4.1.8だったけど一つ飛んだね

https://www.virtualbox.org/

少々時間空いたな〜と思っていたら、4.1.8の次は、一つ飛ばして4.1.10ですね。:)

Oracle OpenWorld Tokyo 2012 Unconference当日のデモ環境は VirtualBox4.1.10で、GuestOSはCentOS5.8、データベースはOracle11g R2で。もちろんホストOSはOS Xですよ:)

shutdown immeidateしない、ほかの理由に遭遇！ （FYI)

ず〜〜〜〜っと、追記しようと思ってたんだけど書いてなかったので、徹夜明けで早起きした次いでなんで書いておきます。

もう一年近く前のネタなんだけどね。「shutdown immeidateしない、ほかの理由に遭遇！」

＞ yoheia-a さんありがとう :)

私か書いた記事がキッカケで調べなきゃいけなくなったらしいんだけどね。 ;)

http://d.hatena.ne.jp/yohei-a/20110627/1309180675

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ
・shutdown immeidateしない、ほかの理由に遭遇！ おまけのおまけ（でた〜最近、よくあるパターンw）

VIrtualBox 4.1.8 released :)

クリスマス前にリリース！　されてたのでupdate. Linuxのは後で。

https://www.virtualbox.org/wiki/Downloads

特に問題なく起動したし：）

PL/SQL de Conditional Compile #6

随分前にPL/SQL de Conditional Compile #5ってエントリ書いてたのを思い出して、11g R1/R2用のを見てみたらソースに丁寧なコメント（マニュアルよりいいんじゃね？w )が書かれていてうれしくなった。

オラクルさんとして見せたくない部分は見えないようになっているけど、見せても問題ないところはコードが見える(all_sourceビュー）わけで、それはそれでうれしいわけです。はい。マニュアルが意外に不親切だったりするので。

（マニュアル、良くなりましたよ。昔より。　＞　褒めておかないとね、だれとなくw。）...文字サイズも多くしておきましたw

● Oracle11g R1 11.1 の DBMS_DB_VERSION

package dbms_db_version is
  version constant pls_integer := 11; -- RDBMS version number
  release constant pls_integer := 1;  -- RDBMS release number

  /* The following boolean constants follow a naming convention. Each
     constant gives a name for a boolean expression. For example,
     ver_le_9_1  represents version <=  9 and release <= 1
     ver_le_10_2 represents version <= 10 and release <= 2
     ver_le_10   represents version <= 10

     A typical usage of these boolean constants is

         $if dbms_db_version.ver_le_10 $then
           version 10 and ealier code
         $elsif dbms_db_version.ver_le_11 $then
           version 11 code
         $else
           version 12 and later code
         $end

     This code structure will protect any reference to the code
     for version 12. It also prevents the controlling package
     constant dbms_db_version.ver_le_11 from being referenced
     when the program is compiled under version 10. A similar
     observation applies to version 11. This scheme works even
     though the static constant ver_le_11 is not defined in
     version 10 database because conditional compilation protects
     the $elsif from evaluation if the dbms_db_version.ver_le_10 is
     TRUE.
  */

  ver_le_9_1    constant boolean := FALSE;
  ver_le_9_2    constant boolean := FALSE;
  ver_le_9      constant boolean := FALSE;
  ver_le_10_1   constant boolean := FALSE;
  ver_le_10_2   constant boolean := FALSE;
  ver_le_10     constant boolean := FALSE;
  ver_le_11_1   constant boolean := TRUE;
  ver_le_11     constant boolean := TRUE;

end dbms_db_version;

● Oracle11g R2 11.2 の DBMS_DB_VERSION

package dbms_db_version is
  version constant pls_integer := 11; -- RDBMS version number
  release constant pls_integer := 2;  -- RDBMS release number

  /* The following boolean constants follow a naming convention. Each
     constant gives a name for a boolean expression. For example,
     ver_le_9_1  represents version <=  9 and release <= 1
     ver_le_10_2 represents version <= 10 and release <= 2
     ver_le_10   represents version <= 10

     A typical usage of these boolean constants is

         $if dbms_db_version.ver_le_10 $then
           version 10 and ealier code
         $elsif dbms_db_version.ver_le_11 $then
           version 11 code
         $else
           version 12 and later code
         $end

     This code structure will protect any reference to the code
     for version 12. It also prevents the controlling package
     constant dbms_db_version.ver_le_11 from being referenced
     when the program is compiled under version 10. A similar
     observation applies to version 11. This scheme works even
     though the static constant ver_le_11 is not defined in
     version 10 database because conditional compilation protects
     the $elsif from evaluation if the dbms_db_version.ver_le_10 is
     TRUE.
  */

  ver_le_9_1    constant boolean := FALSE;
  ver_le_9_2    constant boolean := FALSE;
  ver_le_9      constant boolean := FALSE;
  ver_le_10_1   constant boolean := FALSE;
  ver_le_10_2   constant boolean := FALSE;
  ver_le_10     constant boolean := FALSE;
  ver_le_11_1   constant boolean := FALSE;
  ver_le_11_2   constant boolean := TRUE;
  ver_le_11     constant boolean := TRUE;

end dbms_db_version;

version 12 and later codeなんて箇所、いいですね〜w

---

・PL/SQL de Conditional Compile #1
・PL/SQL de Conditional Compile #2
・PL/SQL de Conditional Compile #3
・PL/SQL de Conditional Compile #4
・PL/SQL de Conditional Compile #5

VIrtualBox 4.1.4 released

http://www.virtualbox.org/wiki/Changelog

LinuxとMacのVirtualBoxを4.1.4アップデートするなど。毎月一回のお約束:)

VirtualBox 4.1.2 released! 月１ペースか。:)

http://www.virtualbox.org/wiki/Changelog

ほんと良いペースですねー。

CentOS6.0 on VirtualBox4.1.0 for MacOS X(Snow Leopard)

まだLionじゃなくて、Snow Leopardなのですが…

VirtualBox4.1.0でCentOS6.0をGuestOSとして構築してみた。この続きは暇を見て…。

Macユーザ増えたよな〜 :) とアクセスログ見て

このブログを書き始めたころは、タイトルとは裏腹にWindowsとかIEからのアクセスが多かったのですが、ここ１、２年でずいぶん変ってきたな〜、とか、IEの減りっぷりって凄いとか思いながらアクセスログみてると思います。

次のグラフは当ブログのアクログからIEの世代交替状況を見たものです。来年はどうなってるか楽しみですねー。さすがにIE10はまだありませんが、IE7など以前のはとっとと消えてほしいですね。

次のグラフは、当ブログを参照しているブラウザの種類（バージョンに関係なく）でまとめたものです。
IEの減りっぷりは見事というか、IE9の出遅れ感が強いだけで、これからIE10とかで盛り返してくるのか見物ですね〜。ただIE6/7/8使っているところって大人の事情で金縛り状態のところが多いから切り替わるためには１、２年のタイムラグはありそうな気がします。　だって昨年でさえ、IE6/7対応縛りでjavascriptがおそーいとか無茶やってるとこ多数あったしw

最後のグラフは、OS別（バージョンに関係なく）でまとめたものです。
いろいろな勉強会とか参加してて特にここ２、３年で随分Macユーザ増えましたよねー、ほんと。
以前はWindowノートが半分以上だったところでも、最近MBAだらけとかいうとこ多いっす。

Lionがでたとおもったら、VirtualBox 4.1も出てたのね。

http://www.virtualbox.org/wiki/Changelog

Lion入れるより先にVirtualBox 4.1にしてみたw

VirtualBox 4.0.12 リリース、活発だな〜 :)

気づいたら、4.0.12がリリースされてる。:) すげ〜活発な。　　アップデートdone.

VirtualBox 4.0.8でました〜

VirtualBox 4.0.8がリリースされたので早速アップデート :)

Mac OS X関連のbug fixも含まれてますねー。
http://www.virtualbox.org/wiki/Downloads

Changelog for VirtualBox 4.0.8

• Mac OS X hosts: fixed incompatibility with recent Mac OS X versions in 64-bit mode (bug #8474)
• Mac OS X hosts: fixed incompatibility with hosts with more than 16 cores (bug #8389)
• Mac OS X hosts: fixed painting corruptions on a second monitor in 64-bit mode (bug #7606)
• GUI: restored functionality to set an empty host key to disallow any host key combination (4.0.6 regression; bug #8793)
• VBoxManage: added controlvm screenshotpng subcommand for saving the screenshot of a running VM in PNG format
• VBoxHeadless: fixed potential crash during shutdown (Windows hosts only)
• NAT: built-in services use the correct Ethernet addresses in Ethernet header and in ARP requests
• Host-only networking: fixed adapter reference counting
• E1000: fixed rare guest crashes with Linux SMP guests (bug #8755)
• SATA: fixed guest disk corruption under rare circumstances (only relevant for guests with more than 2GB RAM; bug #8826)
• Storage: fixed data corruption after a snapshot was taken with asynchronous I/O enabled (bug #8498)
• Floppy: several improvement
• HPET: another fix for time jumps (bug #8707)
• USB: removed assumption that string descriptors are null-terminated (Windows hosts only)
• 3D support: fixed a potential crash when resizing the guest window
• 3D support: fixed GNOME 3 rendering under Ubuntu 11.04 and Fedora 15
• Snapshots: fixed another bug which could lose entries in the media registry when restoring a snapshot (bug #8363)
• Shared Folders: don't stop mounting the other valid folders if one host folder is inaccessible (4.0.6 regression)
• Linux Additions: check whether gcc and make are installed before building kernel modules (bug #8795)
• Solaris Additions: added support for X.Org Server 1.10
• Guest Additions: fixed inappropriate Guest Additions update notification when using vendor-specific
• version suffixes (bug #8844)

各Guest OSのGuest Additions scriptの実行もお忘れなく！

VirtualBox de Oracle Linux 6

http://blogs.oracle.com/linux/2011/02/oracle_linux_6_dvds_now_available.html

ってことだったので、VirtualBox 使ってお試し環境作っておいた。問題もなくinstall done…

IE9テスト用Windows7 64bit環境をVirtualBox VMで

うちの奥さんが関わっているサイトでもIE9対応とかありそうだし、私もいろいろ確認したいこともあり、VirtualBox4.x for LInux x86_64でWindow7 64bit 環境を作った。VMのおかげてでいろいろ楽できるな〜。

以下、MacBook AirのTerminalからX forwording使って接続した様子。:) MacOS/Linux/Windowsの共演w

shutdown immeidateしない、ほかの理由に遭遇！ おまけのおまけ（でた〜最近、よくあるパターンw）

さて、前回のおまけで終了〜。　のつもりだったがリスナー経由の時は問題ないな〜と気づいて気が変わり。おまけのおまけとなりましたw

前回まではBEQで繋いでたな〜、と思ってリスナー経由の専用サーバー接続で同じことを試してみたらshutdown immeidateが待機させられない事に気づいた。

お〜〜〜〜っ。oracleのサーバープロセスがdefunctのにならないっつーことは…

ということで、早速試してみた。

※１つめの端末でSQL*Plusを起動してOracleをスタートアップ（なお事前にリスナーは起動済みです）

[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:10:11 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:10:11 > conn / as sysdba
接続されました。
23:21:54 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area 1603411968 bytes
Fixed Size                  2160112 bytes
Variable Size             436210192 bytes
Database Buffers         1157627904 bytes
Redo Buffers                7413760 bytes
データベースがマウントされました。
データベースがオープンされました。
23:22:04 SYS> 

※２つめの端末でSQL*Plusを起動してリスナー経由（この例では専用サーバー接続）でOracleへ接続後、host command(!)でshellへ入っておく。

[oracle@lampeye ˜]$ 
[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:22:45 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:22:45 > conn scott/tiger@lampeye
接続されました。
23:22:53 SCOTT> !
[oracle@lampeye ˜]$ 

※この状態で、プロセスツリーをチェックしてみると…Bequeath Protocol接続の時は、PID=5398の子プロセスとしてOracleのサーバープロセスがforkされていたのに、居ないのよ…

[oracle@lampeye ˜]$ ps -ef | grep gnome-terminal
oracle    4976     1  0 23:08 ?        00:00:01 gnome-terminal
oracle    5440  5031  0 23:23 pts/3    00:00:00 grep gnome-terminal
[oracle@lampeye ˜]$ 
[oracle@lampeye ˜]$ pstree -p 4976 -ual 
gnome-terminal,4976,oracle
  ├─bash,4982
  │   └─sqlplus,5154       
  │       └─oracle,5376 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
  ├─bash,5007
  │   └─sqlplus,5398       
  │       └─bash,5413
  ├─bash,5031
  │   └─pstree,5441 -p 4976 -ual
  ├─bash,5161
  ├─gnome-pty-helpe,4981
  └─{gnome-terminal},4983
[oracle@lampeye ˜]$ 

※じゃ、どこに行ったのよ…と、調べてみると…リスナー経由だとサーバープロセスの親プロセスはINIT

23:29:17 SYS> select s.username,p.username,p.spid from v$process p join v$session s on p.addr = s.paddr where s.username='SCOTT'

USERNAME                       USERNAME        SPID
------------------------------ --------------- ------------------------
SCOTT                          oracle          5400

経過: 00:00:00.01
23:29:18 SYS> 

[oracle@lampeye ˜]$ ps -f -p 5400
UID        PID  PPID  C STIME TTY          TIME CMD
oracle    5400     1  0 23:22 ?        00:00:00 oraclelampeye (LOCAL=NO)
[oracle@lampeye ˜]$ 

※これならshutdown immeidateは待たされずに実行される！

23:35:22 SYS> 
23:35:22 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
23:35:33 SYS> 

ということは、SQL*PlusからBequeath Protocol接続の場合、host commandでshellへ入ったままにしているとshutdown immeidateが待機させられるのな…

じゃ、sqlnet.ora　に　BEQUEATH_DETACH=yes　を設定すれば回避できそーな気がする
Oracle Database Net Servicesリファレンス 11g リリース1（11.1）- 5.2.1 BEQUEATH_DETACH

早速、検証…

sqlnet.oraにBEQUEATH_DETACH=yesを追記。

[oracle@lampeye ˜]$ 
[oracle@lampeye ˜]$ cat  $ORACLE_HOME/network/admin/sqlnet.ora
# sqlnet.ora Network Configuration File: /opt/u01/app/oracle/product/11.1.0/db_1/network/admin/sqlnet.ora
# Generated by Oracle configuration tools.

NAMES.DIRECTORY_PATH= (TNSNAMES, EZCONNECT)
BEQUEATH_DETACH=yes

[oracle@lampeye ˜]$ 

※１つめの端末でSQL*Plusを起動し、Oracleをstartup…

[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:39:14 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:39:14 > conn / as sysdba
アイドル・インスタンスに接続しました。
23:39:17 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area 1603411968 bytes
Fixed Size                  2160112 bytes
Variable Size             436210192 bytes
Database Buffers         1157627904 bytes
Redo Buffers                7413760 bytes
データベースがマウントされました。
データベースがオープンされました。
23:39:26 SYS> 

※２つめの端末でSQL*Plusを起動、BEQ接続でSCOTTユーザへ接続後、host command(!)でshellへ入っておく…

[oracle@lampeye ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 水 2月 16 23:39:39 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

23:39:39 > conn scott/tiger
接続されました。
23:39:45 SCOTT> !
[oracle@lampeye ˜]$ 

※この状態でプロセスツリーを見てみると…お〜〜〜、SQL*Plusの子プロセスではなくなっている…

[oracle@lampeye ˜]$ pstree -p 4976 -ual 
gnome-terminal,4976,oracle
  ├─bash,4982
  │   └─sqlplus,5596       
  ├─bash,5007
  │   └─sqlplus,5664       
  │       └─bash,5686
  ├─bash,5031
  │   └─pstree,5711 -p 4976 -ual
  ├─bash,5161
  ├─gnome-pty-helpe,4981
  └─{gnome-terminal},4983
[oracle@lampeye ˜]$ 

※じゃ〜、どこの子になっちゃったのか調べてみましょう…

23:41:08 SYS> select s.username,p.username,p.spid from v$process p join v$session s on p.addr = s.paddr where s.username IN ('SYS','SCOTT');

USERNAME                       USERNAME        SPID
------------------------------ --------------- ------------------------
SYS                            oracle          5685
SCOTT                          oracle          5666

経過: 00:00:00.03
23:41:40 SYS> 

お〜、やはり、SQL*Plusの子じゃなくて、INITの養子となってしまったようですw

[oracle@lampeye ˜]$ ps -f -p 5685 5666
UID        PID  PPID  C STIME TTY      STAT   TIME CMD
oracle    5666     1  0 23:39 ?        Ss     0:00 oraclelampeye (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
oracle    5685     1  0 23:40 ?        Ss     0:00 oraclelampeye (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq)))
[oracle@lampeye ˜]$ 

これなら、shutdown immeidateも待たされないでしょうね :)

23:42:52 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
23:43:07 SYS> 

immeidateしない、ほかの理由に遭遇！　ネタはこれで、ほんとにほんとのおしまい :)

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！ おまけ

前回までで状況も把握できたし、そうなった場合の回避策も見えたのですが、子プロセスの生成とかdefunctなゾンピ君の刈り取りってどーなってんだろーと気になり…

子プロセスの生成を状況を以下の順で見てみる…

1. shellに入っただけ
2. SQL*Plus起動
3. SCOTTユーザへ接続
4. host command(!)でshellへ入る

shellに入っただけ

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ ps -e -u oracle | grep gnome-terminal
 3337 ?        00:00:09 gnome-terminal
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)
                            ├─bash(3737)───pstree(4063)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)

SQL*Plus起動

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 木 2月 10 14:54:44 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

14:54:44 > 

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)───sqlplus(4064)
                            ├─bash(3737)───pstree(4066)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)

SCOTTユーザへ接続

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 木 2月 10 14:54:44 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

14:54:44 > conn scott/tiger
接続されました。
14:54:57 SCOTT> 

scottユーザに接続した状態…
このようにSQL*Plusの子プロセスが１つであればshutdown immeidateが待機させられることはないんだけど…ね。

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)───sqlplus(4064)───oracle(4067)
                            ├─bash(3737)───pstree(4068)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)

host command(!)でshellに入った

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.7.0 - Production on 木 2月 10 14:54:44 2011

Copyright (c) 1982, 2008, Oracle.  All rights reserved.

14:54:44 > conn scott/tiger
接続されました。
14:54:57 SCOTT> !
[oracle@pleco ˜]$ 

SQL*Plusからホストコマンド(!)でshellに入った状態…
SQL*Plusの子プロセスが複数でoracle以外のがある状態で、他のSQL*Plusからshutdown immediateを実行されちゃうと、以下にあるpid=4067が<defunct>状態のまま刈り取られない。＝＝＝＞Oracleがshutdown immeidateで停止しない。ってことになるのな。

[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ pstree -p 3337 -u
gnome-terminal(3337,oracle)─┬─bash(3377)───sqlplus(4064)─┬─bash(4069)
                            │                            └─oracle(4067)
                            ├─bash(3737)───pstree(4093)
                            ├─gnome-pty-helpe(3342)
                            └─{gnome-terminal}(3344)
[oracle@pleco ˜]$ 
[oracle@pleco ˜]$ 

じゃ、実験！

以下のようにshutdown immeidateが待機させられている状態を作る。赤字（pid=3627)の子プロセスがdefunctつまりゾンビになるわけね。

shutdown immeidateを実行するSQL*Plusとは別にSQL*Plusを起動し、host command(!)でshellに入っておきます…

16:09:28 > conn scott/tiger
接続されました。
16:12:45 SCOTT> !
[oracle@pleco ˜]$ 

[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)─┬─bash(3628)
                            │                            └─oracle(3627)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3672)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)

この状態で、もう一つのSQL*Plusからsysユーザでshutdown immeidateを実行します…shutdown immeidateは待機させられます。
この時、pid=3627の子プロセスはdefunct状態になってますが、刈り取られていません。この影響でshutdown immediateが待機させられています。
SQL*Plusからshellに入っていない場合、つまり、SQL*Plusのプロセス(pid=3493)の子プロセスが１つしかない場合は、shutdown immeidateが待機させられることはない…この辺りに問題がありそうな気がします…

16:12:59 SYS> 
16:12:59 SYS> 
16:13:00 SYS> shutdown immediate

[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)─┬─bash(3628)
                            │                            └─oracle(3627)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3672)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)

試しに親プロセスであるSQL*Plus(pid=3493)にSIGCHLDシグナルを送ってみましょう。

[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ kill -SIGCHLD 3493
・・・・以下略w・・・・

ん〜〜〜〜〜。ゾンビを刈り取ってくれません＞＜

試しにshellからexitしてみます…

16:09:28 > conn scott/tiger
接続されました。
16:12:45 SCOTT> !
[oracle@pleco ˜]$ exit
exit

16:18:24 SCOTT> 

[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)───oracle(3627)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3673)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)

shellからはexitしました。SQL*Plus(pid=3493)の子プロセスがoracleだけ(pid=3627)のゾンビだけになりました。oracleのゾンビ(pid=3627)が残っているうちはshutdown immeidateは待機させられたままです！　

では、もう一回、親プロセスであるSQL*PlusにSIGCHLDシグナルを送ってみましょう！　今度はうまく行きそうな気がします！

[oracle@pleco ˜]$ kill -SIGCHLD 3493
[oracle@pleco ˜]$ pstree -p 3372 -u
gnome-terminal(3372,oracle)─┬─bash(3378)───sqlplus(3493)
                            ├─bash(3403)───sqlplus(3427)───oracle(3599)
                            ├─bash(3520)───pstree(3675)
                            ├─gnome-pty-helpe(3377)
                            └─{gnome-terminal}(3379)
[oracle@pleco ˜]$ 

やった〜〜〜〜〜〜 :) SQL*Plus(pid=3493)の子プロセス（pid=3627)のゾンビが見事に刈り取られました！

その瞬間……待機させられていたshutdown immeidateは見事終了！！！！

16:12:59 SYS> 
16:12:59 SYS> 
16:13:00 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
16:18:42 SYS> 

shutdown immeidateしない、ほかの理由に遭遇！ ネタはこれにて :)

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！ #3

もう一つ検証し忘れてた!。

この現象に気づいたとき、SQL*Plusから接続していたユーザがsysユーザや、systemユーザだけだったので、それ以外のユーザで接続している場合は大丈夫なんじゃね？都市伝説の検証…

これまでと同様に２つのSQL*Plusを起動しておきます。

１つめのSQL*Plusでは、sysユーザに接続しておきます…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 07:26:10 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

07:26:10 > conn / as sysdba
接続されました。

２つめのSQL*Plusでは、scottユーザ（sysユーザ、systemユーザ以外の一般ユーザ）に接続し、host command(!)でshellに入ったままにしておきます…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 07:26:23 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

07:26:23 > conn scott/tiger
接続されました。
07:26:29 SCOTT> !
[oracle@leaffish ˜]$ 

では、sysユーザでshutdown immeidateを実行してみます…

07:26:10 > conn / as sysdba
接続されました。
07:26:16 SYS>
07:26:16 SYS> 
07:26:17 SYS> shutdown immediate

お〜〜〜、shutdown immeidateが待機させられています。

「SQL*Plusから接続していたユーザがsysユーザや、systemユーザだけだったので、それ以外のユーザで接続している場合は大丈夫なんじゃね？都市伝説」は都市伝説。
Oracleへ接続するユーザに関係なく、SQL*Plusからhost command(!)でshellに入ったままのセッションがある状態で他のセッションからshutdown immeidateを実行した場合、shutdown immeidateは、shutdown timeoutせずにshutdownを待機し続けるのは事実。

まとめると…

現象：

• shutdown immeidate文を実行したがshutdown timeout（１時間）も発生せずshutdownが待機させれれたままになり停止できない。

発生条件(Updated 16-Feb-2011)：

• Linux/Unix系のOracle11g R2 11.2.0.1.0 （ちなみにそれ以外のリリースでは11.1.0.7.0で同様の現象を確認しています、他のリリースでは未検証。）
• shutdown immeidateを発行するセッション以外に、SQL*Plusからhost command(! はたま host)でshellに入ったままになっているセッションがある場合。かつ、Bequeath ProtocolでOracleへ接続している。

確認ポイント：

• アラートログに　"SHUTDOWN: Active processes prevent shutdown operation"が繰り返される。
• ps -ef | grep ora などでプロセスをみると <defunct>な子プロセスがあり、親プロセスがSQL*Plusである。
• ls -lrt で最後にリストされるトレースファイル（shutdownを実行しているプロセスのトレースファイル）に"ksukia: Attempt <連番?> to re-kill process OS PID=<pid>"のメッセージが繰り返し出力され続ける。

対処(Updated 16-Feb-2011)：

• shutdown aboartするしかない。<defunct>なプロセスの親であるSQL*Plusのプロセスをkill -SIGTERMとか-SIGKILLで終了させる。それでもshutdownが待機しているようなら、最後の手段、shutdown abortということで。
  SQL*Plus起動してる人が連絡取れる場所にいるのならその方にexitしてもらうのもありw
• その他の方法として、sqlnet.oraに、BEQUEATH_DETACH=yes を設定して、サーバープロセスをSQL*Plusの子ではなく、INITの子になってもらう（これがおすすめかも）

現象と回避方法を確認したリリース(Updated 16-Feb-2011)：

• Oracle11g R1 11.1.0.7.0 for Linux (32bit/64bit)
• Oracle11g R1 11.1.0.7.0 for HP-UX(itanium)
• Oracle11g R2 11.2.0.1.0 for Linux (32bit/64bit)
• Oracle11g R2 11.2.0.1.0 for Solaris x86-64

KROWNっぽいまとめ方にしてみました :) (他のUnix系リリースでも作りはおなじでしょうね)

でもさあ、SQL*Plusからホストコマンド、使うんだよね結構。shellに入って、SQL*Plusから入っていたこと忘れて、また、SQL*Plus起動しちゃって…さらにshellに入って…以下繰り返しw。 注意しましょうね。→　自分。

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！ #2

さて、昨日のつづきです。

Oracle11g R2 11.2.0.1.0 for Linux x86 をVirtualBox4.0 for MacOS XのCentOS5.5にインストールしてあります。

昨日は、SQL*Plusの!(host command)でshellへ入っている状態で、かつ、別端末のSQL*plusからshutdown immeidate文を発行してしまうとSQL*Plusのプロセスの子プロセスに<defunct>なプロセスが登場して、shutdown immeidateを待機させてしまうところまでを再現してみました。

今日は、shutdown immediate文を発行するsysユーザ以外のsysユーザがSQL*Plusから接続しているだけでもshutdown immediateを待機させるんじゃないか？疑惑の確認と、shutdown immeidateの待機させるだけじゃなく、shutdown timeoutも抑止しちゃってるよね疑惑などを検鏡検証してみようと思います。

短期遠征先から帰宅している予定だったのによそーーーーー外の１日延泊となってしまった次いでに、VirtuslBox4.0のCentOS5.5のOracle11g R2でたっぷり検証してみましょうw

では、最初に、shutdown immeidateを実行するsysユーザ以外のsysユーザがSQL*Plusから接続しているだけでも実行に他の端末のSQL*Plusでsysユーザが接続しているだけでもshutdown immeidateがを待機させるんじゃないか？疑惑するんじゃね？疑惑の検証から。

まず、SQL*Plusでsysユーザに接続している端末を２つ用意して…

一つめのSQL*Plusで〜す。

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:09:00 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:09:00 > conn / as sysdba
接続されました。
00:09:11 SYS> 
00:09:12 SYS> 
00:09:12 SYS> 

２つめのSQL*Plusで〜す。

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:08:39 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:08:39 > conn / as sysdba
接続されました。
00:08:44 SYS> 
00:08:45 SYS> 
00:08:45 SYS> 

この状態で１つめのSQL*Plusのsysユーザでshutdown immeidate文を実行します…

00:22:43 SYS> 
00:22:43 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
00:22:57 SYS> 

待機させられることなく、shutdown immeidate文が実行されました。Oracle11g R2 11.2.0.1.0 for Linuxでは”疑惑”だけだったようですね。一安心w。他のバージョンだとどうなんだろ＝＞TODO.
（昨日の記事では、systemユーザがSQL*Plusで接続している場合、他の端末のSQL*Plusのsysユーザがshutdown immeidateを実行した場合の検証もしていましたよね。これでshutdown immeidate文を実行するセッション以外にsysユーザやsystemユーザのセッションが存在していてもshutdown immeidateが待機させられることは、すくなくともOracle11g R2 11.2.0.1.0 for Linuxでは発生しないことは確かなようです。）

つづいて、SQL*Plusのhost command(!)からshellへ入ったままのセッションが存在している状態でshutdown immeidate文を別セッションから実行してしまうとshutdown immediateを待機させるだけでなく、shutdown timeoutも妨害してしまい１時間を経過してもハングしたままじゃね疑惑を検証してみたいと思います。

同じように２つのSQL*Plusを起動し、ともにsysユーザで接続して、一方のセッションではhost command (!)でshellへ入ったままにしておきます。

１つめのSQL*Plusです…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:36:01 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:36:01 > conn / as sysdba
接続されました。
00:36:04 SYS> 
00:36:04 SYS> 

２つめのSQL*Plusです〜、こちらはhost commandでshellへ入っておきます。

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 水 2月 9 00:35:51 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:35:51 > conn / as sysdba
接続されました。
00:35:54 SYS> 
00:35:56 SYS> !
[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ 

この状態で１つめのSQL*Plusのセッションからshutdown immeidate文を実行してみます…

00:39:34 SYS> 
00:39:34 SYS> shutdown immediate

見事にshutdown immeidateは待機させられます。すばらし〜。
このまま放置してみます。Oracle10g以降の機能であるshutdown timeoutが働いて１時間程度でshutdownはキャンセルされるはずです。しばしの間、ご歓談くださいませ。:)

・・・・・・・・・中略・・・・・・・・・・・

ながらくお待たせいたしました〜、shutdown immeidateを実行してから２時間以上経過しましたが、shutdown timeoutでshutdownがキャンセルされるどころか、止まる気配すらありません…

以下、アラートログの内容です。

Wed Feb 09 00:39:41 2011
Shutting down instance (immediate)
Stopping background process SMCO
Shutting down instance: further logons disabled
Stopping background process QMNC
Stopping background process MMNL
Stopping background process MMON
License high water mark = 2
All dispatchers and shared servers shutdown
Wed Feb 09 00:44:51 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 00:50:05 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 00:55:20 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:00:36 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:05:48 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:10:57 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 01:16:12 2011
SHUTDOWN: Active processes prevent shutdown operation

・・・中略・・・

Wed Feb 09 02:28:17 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:33:21 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:38:25 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:43:28 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:48:32 2011
SHUTDOWN: Active processes prevent shutdown operation
Wed Feb 09 02:53:38 2011
SHUTDOWN: Active processes prevent shutdown operation

ということで、「shutdown immeidateのを待機させるだけじゃなく、shutdown timeoutも抑止しちゃってるよね！疑惑」は、疑惑じゃなくて真実。

次回へつづく。

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

shutdown immeidateしない、ほかの理由に遭遇！

別途検証して別エントリにする予定だけど（遠征先で時間ないので…）、この状態でshutdown immeidateが待機するとshutdown timeoutしないというのも特徴みたい…

Oracleのバージョンは11g R2 11.2.0.1.0 for Linux (32bit)だけどUnix/Linux系なら発生するよ、きっと。

そういえば、以前こんなエントリ書いてましたっけ「shutdown timeout」

では、早速再現テスト。

まず、SQL*Plusを起動、SYSユーザに接続してOracleインスタンスを起動します…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 00:46:11 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:46:11 > conn / as sysdba
アイドル・インスタンスに接続しました。
00:46:16 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area  422670336 bytes
Fixed Size                  1336960 bytes
Variable Size             373295488 bytes
Database Buffers           41943040 bytes
Redo Buffers                6094848 bytes
データベースがマウントされました。
データベースがオープンされました。
00:47:17 SYS> 

別端末でSQL*Plusを起動してSYSTEMユーザまたはSYSユーザに接続.
(別途詳しく検証する予定だけど、今のところSYSTEM/SYSユーザ以外では発生してないので）

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 00:50:18 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:50:18 > conn system
パスワードを入力してください: 
接続されました。
00:50:23 SYSTEM> 

次にOracleを起動したSQL*PlusのSYSユーザでshutdown immeidateを発行する…

00:51:22 SYS> shutdown immediate
データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
00:51:34 SYS> 

この状態だとOracleインスタンスは正常にshutdown immeidateで停止できる。あたりまえだけど。

では、再現テストですよん。

では次のパターンはどうか？

前述した手順と同じく、SYSで接続してOracleインスタンスを起動する…

[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 00:54:47 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

00:54:47 > conn / as sysdba
アイドル・インスタンスに接続しました。
00:54:52 SYS> startup
ORACLEインスタンスが起動しました。

Total System Global Area  422670336 bytes
Fixed Size                  1336960 bytes
Variable Size             373295488 bytes
Database Buffers           41943040 bytes
Redo Buffers                6094848 bytes
データベースがマウントされました。
データベースがオープンされました。
00:55:46 SYS> 

前述した手順と同様に、別端末でSQL*Plusを起動し、SYSTEMユーザ(SYSユーザでもいいよ）へ接続する。
さらに、! (SQL*Plusのhost command）でshellに入っておく…。ここがポイント

[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 2月 8 01:01:42 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

01:01:42 > conn system
パスワードを入力してください: 
接続されました。
01:01:47 SYSTEM> !
[oracle@leaffish ˜]$ 

shutdow immeidateの待機を再現させますよー、Oracleインスタンスを起動したSQL*PlusのSYSユーザでshutdown immeidate文を発行する…

01:03:04 SYS> 
01:03:05 SYS> shutdown immediate

いつまでたってもOracleインスタンスは停止しない。この例では載せていないがマニュアルに記載されているshutdown timeoutも１時間たっても２時間たっても発生しないようだ…（別途検証予定）

アラートログを確認してみると…５分毎に、”SHUTDOWN: Active processes prevent shutdown operation”というログを出力し続けてる…

Tue Feb 08 01:03:07 2011
Shutting down instance (immediate)
Shutting down instance: further logons disabled
Stopping background process QMNC
Stopping background process MMNL
Stopping background process MMON
License high water mark = 2
All dispatchers and shared servers shutdown
Tue Feb 08 01:08:17 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:13:24 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:18:31 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:23:37 2011
SHUTDOWN: Active processes prevent shutdown operation
Tue Feb 08 01:28:43 2011
SHUTDOWN: Active processes prevent shutdown operation

プロセスのトレースファイルで最新のものでファイルサイズが増えつつけているものがある…
tailでのぞいてみると…

PID=3542のOSプロセスをkillできずにループしているように見える…

[oracle@leaffish trace]$ ll -lrt

・・・中略・・・

-rw-r----- 1 oracle oinstall      61  2月  8 01:00 discus_mman_3483.trm
-rw-r----- 1 oracle oinstall     863  2月  8 01:00 discus_mman_3483.trc
-rw-r----- 1 oracle oinstall      61  2月  8 01:00 discus_dbrm_3477.trm
-rw-r----- 1 oracle oinstall     904  2月  8 01:00 discus_dbrm_3477.trc
-rw-r----- 1 oracle oinstall      45  2月  8 01:01 discus_ora_3539.trm
-rw-r----- 1 oracle oinstall     669  2月  8 01:01 discus_ora_3539.trc
-rw-r----- 1 oracle oinstall  235323  2月  8 01:08 alert_discus.log
-rw-r----- 1 oracle oinstall    6420  2月  8 01:12 discus_ora_3513.trm
-rw-r----- 1 oracle oinstall   60565  2月  8 01:12 discus_ora_3513.trc
[oracle@leaffish trace]$ 
[oracle@leaffish trace]$ tail -f discus_ora_3513.trc
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:15.641
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:16.663
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:17.678
ksukia: Starting kill, flags = 1
ksukia: Attempt 119 to re-kill process OS PID=3542.
ksukia: killed 1 out of 1 processes.

*** 2011-02-08 01:13:18.699
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:19.709
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:20.735
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:21.750
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:22.756
ksukia: Starting kill, flags = 1
ksukia: Attempt 120 to re-kill process OS PID=3542.
ksukia: killed 1 out of 1 processes.

*** 2011-02-08 01:13:23.779
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:24.790
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

*** 2011-02-08 01:13:25.821
ksukia: Starting kill, flags = 1
ksukia: killed 0 out of 1 processes.

[oracle@leaffish trace]$ 

killできないと繰り返しログに吐かれているプロセス　PID=3542とは何者？…
psとpstreeコマンドでみてみると…

SQL*Plusの!(host command)でshellに入る生成されるプロセスらしい…、このプロセスSYSTEMユーザやSYSユーザ以外接続している場合はなぜか今のところ生成されいないように見える…

この<defunct>なプロセスは何屋さん？　shutdown immediateをimmediateじゃない状態にするのは大量のundoデータだけじゃないのね〜＞＜

それもSQL*Plusの!(host command）は便利なので、私も多用していまして、ついつい、SQL*Plusに接続して、!でshellに入って、SQL*Plusから入ったのを忘れてさらに、SQL*Plus起動して、！でshellに入って…なんてことやってしまうことは多々あります。＞＜

これが原因で、shutdown immeidateが待機させられるなんて〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜＞＜。

[oracle@leaffish ˜]$ ps -ef | grep 3542
oracle    3542  3541  0 01:01 ?        00:00:00 [oracle] <defunct>
oracle    3785  3056  0 01:24 pts/5    00:00:00 grep 3542
[oracle@leaffish ˜]$ 
[oracle@leaffish ˜]$ pstree -up oracle

・・・中略・・・

gnome-terminal(2806)─┬─bash(2812)───sqlplus(3398)───oracle(3513)
                     ├─bash(2909)───tail(3055)
                     ├─bash(2937)
                     ├─bash(3031)───sqlplus(3541)─┬─bash(3543)
                     │                            └─oracle(3542)
                     ├─bash(3056)───pstree(3772)
                     ├─gnome-pty-helpe(2811)
                     └─{gnome-terminal}(2813)

・・・以下略・・・

もう少し検証してみましょう！　

shellからだけexitしてみるも……Oracleはまだ停止しない…

01:01:42 > conn system
パスワードを入力してください: 
接続されました。
01:01:47 SYSTEM> !
[oracle@leaffish ˜]$ exit
exit

01:30:56 SYSTEM> 

じゃ、SQL*Plusからもexitしよう

01:01:42 > conn system
パスワードを入力してください: 
接続されました。
01:01:47 SYSTEM> !
[oracle@leaffish ˜]$ exit
exit

01:30:56 SYSTEM> exit
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production
With the Partitioning, OLAP, Data Mining and Real Application Testing optionsとの接続が切断されました。
[oracle@leaffish ˜]$ 

次の瞬間……

データベースがクローズされました。
データベースがディスマウントされました。
ORACLEインスタンスがシャットダウンされました。
01:32:10 SYS> 

なんだと〜〜〜〜〜〜〜〜。いつからこーなんだー。　怖くてSQL*Plusから!(host command)でshellに入れないじゃないか〜〜〜＞＜

次回へつづく。

---

・shutdown immeidateしない、ほかの理由に遭遇！
・shutdown immeidateしない、ほかの理由に遭遇！ #2
・shutdown immeidateしない、ほかの理由に遭遇！ #3
・shutdown immeidateしない、ほかの理由に遭遇！ おまけ

CentOS5.5のVirtualBox4.0のWindowsXP ProfessionalのVirtualPC2007のWindowsXPのIE7（長過ぎw)

うちの奥さんがIE7以上の動作確認などもしたいということだったので、タイミングよく公開されたInternet Explorer Application Compatibility VPC ImageのXP向けIE7とVirtualPCを使ってIE7のテスト環境を作ってみた。

CentOS5.5(HostOS)のVirtualBox4.0のWindowsXP Professional(GuestOS)のVirtualPC2007に前述のWindowsXP+IE7(英語版＋日本語フォント）の環境になっとります。これで奥さん用IE7確認環境のできあがり。

フォント追加がめんどくさいので日本語フォントを含んだのもあるといいんですけどね〜 :)

CentOS5.5のVirtualBoxも4.0にアップデートした

MacOS X版VirtualBoxにつづき、CentOS5.5のVirtualBoxも3.2から4.0にアップデートした。

ついでなので、CentOS5.5にのVirtualBoxのSolaris10をMacOS XのTerminalからX11 forwadingを使ってMac側で起動してみた。（どんな次いでだw)

まず最初はCentOSのVirtualBoxを3.2から4.0へアップデート。MacOS Xの場合特に気にすることもないのだが、Linuxの場合、3.2がインストールされたままだと4.0でアップデートできないので、一旦、VirtualBox 3.2はアンインストールする必要がある。アンインストールがうまくいったら4.0をインストールがうまくいく。（新規で4.0をインストールする場合は気にする必要ないですよ…）

ちなみに、うちのは64bit版です　;)

[root@lampeye Desktop]# cat /etc/redhat-release
CentOS release 5.5 (Final)
[root@lampeye Desktop]#
[root@lampeye Desktop]# uname -r
2.6.18-194.26.1.el5
[root@lampeye Desktop]#
[root@lampeye Desktop]# rpm -e VirtualBox-3.2-3.2.12_68302_rhel5-1.x86_64
[root@lampeye Desktop]# rpm -ivh VirtualBox-4.0-4.0.0_69151_rhel5-1.x86_64.rpm
警告: VirtualBox-4.0-4.0.0_69151_rhel5-1.x86_64.rpm: ヘッダ V4 DSA signature: NOKEY, key ID 98ab5139
準備中...                ########################################### [100%]
   1:VirtualBox-4.0         ########################################### [100%]

Creating group 'vboxusers'. VM users must be member of that group!

No precompiled module for this kernel found -- trying to build one. Messages
emitted during module compilation will be logged to /var/log/vbox-install.log.

Stopping VirtualBox kernel modules [  OK  ]
Uninstalling old VirtualBox DKMS kernel modules [  OK  ]
Trying to register the VirtualBox kernel modules using DKMS [失敗]
  (Failed, trying without DKMS)
Recompiling VirtualBox kernel modules [  OK  ]
Starting VirtualBox kernel modules [  OK  ]


[root@lampeye Desktop]#

ちゃんとやっとこうかな〜と思って、やり直しておいた(2011/1/10更新)

[root@lampeye Desktop]# cat /etc/redhat-release
CentOS release 5.5 (Final)
[root@lampeye Desktop]#
[root@lampeye Desktop]# uname -r
2.6.18-194.26.1.el5
[root@lampeye Desktop]#
[root@lampeye Desktop]# wget -q http://download.virtualbox.org/virtualbox/debian/oracle_vbox.asc
[root@lampeye Desktop]# rpm --import oracle_vbox.asc
[root@lampeye Desktop]# rpm --checksig VirtualBox-4.0-4.0.0_69151_rhel5-1.x86_64.rpm
VirtualBox-4.0-4.0.0_69151_rhel5-1.x86_64.rpm: (sha1) dsa sha1 md5 gpg OK
[root@lampeye Desktop]# rpm -e VirtualBox-3.2-3.2.12_68302_rhel5-1.x86_64
[root@lampeye Desktop]# rpm -ivh VirtualBox-4.0-4.0.0_69151_rhel5-1.x86_64.rpm
準備中...                ########################################### [100%]
   1:VirtualBox-4.0         ########################################### [100%]

Creating group 'vboxusers'. VM users must be member of that group!

No precompiled module for this kernel found -- trying to build one. Messages
emitted during module compilation will be logged to /var/log/vbox-install.log.

Stopping VirtualBox kernel modules [  OK  ]
Uninstalling old VirtualBox DKMS kernel modules [  OK  ]
Trying to register the VirtualBox kernel modules using DKMS [失敗]
  (Failed, trying without DKMS)
Recompiling VirtualBox kernel modules [  OK  ]
Starting VirtualBox kernel modules [  OK  ]
[root@lampeye Desktop]# 

これで3.2から4.0へ移行は完了！ :)

では本題、MacOS XのTerminalからX11 forwordingを使ってCentOS5.5のVirtualBox4.0を起動し、GuestOSとしてSolaris10を起動してみます。（なお、このVM、以前、MacOS XのVirtualBox3.2で作成したものをCentOS5.5にコピーというか移動したもの…）

discus:˜ discus$
discus:˜ discus$
discus:˜ discus$ ssh -Y discus@lampeye
discus@lampeye's password: 
Warning: No xauth data; using fake authentication data for X11 forwarding.
Last login: Sun Jan  9 11:19:09 2011 from 192.168.1.30
[discus@lampeye ˜]$ 
[discus@lampeye ˜]$ VirtualBox &
[1] 4796
[discus@lampeye ˜]$ 

うまくいくもんですね〜 :)

---

・VirtualBox 4.0にアップデートした

VirtualBox 4.0にアップデートした

VirtualBox4.0にアップデートしてみたMacOS Xのだけだけど。あとでLinuxのもやるよー

VirtualBox de Oracle11g R2 RAC #23

VirtualBox de Oracle11g R2 RACのつづき。

さて、いよいよVirtualBox de Oracle11g R2 RACの最終回。簡単なTAFのテスト！

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

簡単なTransparent Application Failover (TAF)の確認

MacOS X Snow LeopardにあるOracle Instant Client 10g R2 for MacOS Xのtnsnames.oraを編集し以下の定義を追加しておきました！

ORCLTAF =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (FAILOVER_MODE =
        (TYPE = SELECT)
        (METHOD = BASIC)
        (RETRIES = 180)
        (DELAY = 5)
      )
    )
  )

TAF定義の接続識別子で接続します。

discus:˜ oracle$ 
discus:˜ oracle$ sqlplus /nolog

SQL*Plus: Release 10.2.0.4.0 - Production on 木 1月 6 04:47:16 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

> conn scott/tiger@orcltaf
接続されました。
SCOTT> 
SCOTT> 
SCOTT> select count(*) from user_objects;

  COUNT(*)
----------
	 0

orcl1インスタンスで、sysユーザで接続し、セッションの状態を確認してみます。

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 木 1月 6 04:48:42 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SYS> 
SYS> 
SYS> conn / as sysdba
接続されました。
SYS> 
SYS> select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8    gv$session sess join gv$instance inst
  9    on sess.inst_id = inst.inst_id
 10  where
 11    sess.username = 'SCOTT'
 12  /

INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl1		 SCOTT				SELECT	      BASIC	 NO

SYS> 

SCOTTはorcl1インスタンスに接続されクエリが実行されたようですね！
failoverさせるため、orcl1インスタンスをabortで強制停止してみます。

SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。

SYS> !srvctl stop instance -d orcl -i orcl1 -o abort
SYS> 
SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行されていません。
インスタンスorcl2はノードdiscus264で実行中です。

SYS> 
SYS> l
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8    gv$session sess join gv$instance inst
  9    on sess.inst_id = inst.inst_id
 10  where
 11*   sess.username = 'SCOTT'
SYS> /
select
*
行1でエラーが発生しました。:
ORA-03135: 接続が失われました
プロセスID: 5563
セッションID: 13、シリアル番号: 25

おっと〜、sysユーザでorcl1インスタンスに接続していたのでした〜。exitしちゃいます。

SCOTTユーザで、failoverさせるためクエリを再実行します。

SCOTT> r
  1* select count(*) from user_objects

  COUNT(*)
----------
	 0

SCOTT> 

インスタンス：orcl2へ接続し直し確認。お〜うまくいけてますね！
orcl1のセッションだったscottユーザのセッションがfailoverしorcl2のセッションになっています。また今回設定したTAFのモードではクエリはエラーにはならず、生存インスタンスへ透過的にfailoverされます。

[oracle@discus264 ˜]$ 
[oracle@discus264 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 木 1月 6 04:55:48 2011

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

> conn / as sysdba
接続されました。
SYS> select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8   gv$session sess join gv$instance inst
  9   on sess.inst_id = inst.inst_id
 10  where
 11   sess.username = 'SCOTT'
 12  /


INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl2		 SCOTT				SELECT	      BASIC	 YES

SYS> 

ちなみにcrsctl status resource -tで確認すると

・・・中略・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        OFFLINE OFFLINE                               Instance Shutdown   
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ˜]$ 

となっています。今回のようにデータベースインスタンスだけを停止した場合はこんな状態になるんですね。:)

ついでなので更新トランザクションも試してみましょうかね。
停止したデータベースインスタンスを起動し、scottユーザでupdate文を実行します。

discus:˜ oracle$ 
discus:˜ oracle$ sqlplus scott/tiger@orcltaf

SQL*Plus: Release 10.2.0.4.0 - Production on 木 1月 6 05:20:27 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP
and Data Mining options
に接続されました。
SCOTT> 
SCOTT> 
SCOTT> insert into hoge values('abc');

1行が作成されました。

SCOTT> 

orcl2インスタンスにsysユーザで接続して状態を確認してみます。
scottユーザはorcl1インスタンスに接続してinsert文を実行したようですね。まだ、failoverしていません。

SYS> 
SYS> l
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8   gv$session sess join gv$instance inst
  9   on sess.inst_id = inst.inst_id
 10  where
 11*  sess.username = 'SCOTT'
SYS> /

INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl1		 SCOTT				SELECT	      BASIC	 NO

では、先ほどと同じようにorcl1インスタンスを強制停止してみます

SYS> !srvctl stop instance -d orcl -i orcl1 -o abort

SYS> 
SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行されていません。
インスタンスorcl2はノードdiscus264で実行中です。

scottユーザで再度insert文を実行してみました。TAF特有のエラーメッセージが返されましたね。

SCOTT> r
  1* insert into hoge values('abc')
insert into hoge values('abc')
*
行1でエラーが発生しました。:
ORA-25402: トランザクションをロールバックしてください。

セッションの状態を確認してみると…セッションはfailoverしています！

SYS> r
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8   gv$session sess join gv$instance inst
  9   on sess.inst_id = inst.inst_id
 10  where
 11*  sess.username = 'SCOTT'

INSTANCE_NAME	 USERNAME			FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl2		 SCOTT				SELECT	      BASIC	 YES

scottユーザのトランザクションをロールバック後、リトライしてみると…

SCOTT> 
SCOTT> rollback;

ロールバックが完了しました。

SCOTT> insert into hoge values('abc');

1行が作成されました。

SCOTT> 
SCOTT> 

うまくいきましたね　:)

ということで、VirtualBox de Oracle11g R2 RAC for Linux x86_64環境のできあがり〜。（完）

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19
・VirtualBox de Oracle11g R2 RAC #20
・VirtualBox de Oracle11g R2 RAC #21
・VirtualBox de Oracle11g R2 RAC #22

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #22

VirtualBox de Oracle11g R2 RACのつづき。

ラス前です :) cluster databaseの起動停止確認。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Clusterの開始と停止の確認

Grid Infrastructureは自動起動にしてますが、手動起動、停止を確認しておきます。

rootユーザにてcrsctlコマンドでclusterを起動します。データベースインスタンスはOracle所有者でsrvctlコマンドを利用して起動してみます。
(ちなみに、rootユーザには、grid infrastructureのHOMEのbinへパスを通してあります。）

[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************
discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl start cluster -all
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************


discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.FRA.dg
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        OFFLINE OFFLINE                                                   
      2        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[root@discus164 ˜]# 

データベースインスタンスを起動します。

[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl start database -d orcl
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
logout

[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource ora.orcl.db 
NAME=ora.orcl.db
TYPE=ora.database.type
TARGET=ONLINE             , ONLINE
STATE=ONLINE on discus164, ONLINE on discus264

[root@discus164 ˜]# 

起動しましたね :)

最後に、データベースインスタンスは起動したままの状態で、clusterを停止／起動し、再び、データベースインスタンスが起動した状態になるかを確認しておきます。
Oracle Restartってんでしたっけ？　この機能。

まず、データベースインスタンスは起動したまま、Grid Infrastructureを停止(全ノードを停止）します。

[root@discus164 ˜]# crsctl stop cluster -all
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています
CRS-2673: 'ora.crsd'('discus264')の停止を試行しています
CRS-2790: 'discus264'上にある、Cluster Ready Services管理下のリソースのシャットダウンを開始しています
CRS-2673: 'ora.LISTENER.lsnr'('discus264')の停止を試行しています
CRS-2790: 'discus164'上にある、Cluster Ready Services管理下のリソースのシャットダウンを開始しています
CRS-2673: 'ora.LISTENER.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN2.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN3.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.CRS.dg'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN1.lsnr'('discus264')の停止を試行しています
CRS-2673: 'ora.orcl.db'('discus164')の停止を試行しています
CRS-2673: 'ora.CRS.dg'('discus264')の停止を試行しています
CRS-2673: 'ora.orcl.db'('discus264')の停止を試行しています
CRS-2673: 'ora.registry.acfs'('discus264')の停止を試行しています
CRS-2673: 'ora.registry.acfs'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER.lsnr'('discus264')の停止が成功しました
CRS-2673: 'ora.discus264.vip'('discus264')の停止を試行しています
CRS-2677: 'ora.LISTENER_SCAN1.lsnr'('discus264')の停止が成功しました
CRS-2673: 'ora.scan1.vip'('discus264')の停止を試行しています
CRS-2677: 'ora.discus264.vip'('discus264')の停止が成功しました
CRS-2677: 'ora.scan1.vip'('discus264')の停止が成功しました
CRS-2677: 'ora.LISTENER_SCAN3.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.scan3.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.discus164.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER_SCAN2.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.scan2.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.scan3.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.discus164.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.scan2.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.registry.acfs'('discus264')の停止が成功しました
CRS-2677: 'ora.registry.acfs'('discus164')の停止が成功しました
CRS-2677: 'ora.CRS.dg'('discus264')の停止が成功しました
CRS-2677: 'ora.CRS.dg'('discus164')の停止が成功しました
CRS-2677: 'ora.orcl.db'('discus264')の停止が成功しました
CRS-2673: 'ora.DATA.dg'('discus264')の停止を試行しています
CRS-2673: 'ora.FRA.dg'('discus264')の停止を試行しています
CRS-2677: 'ora.FRA.dg'('discus264')の停止が成功しました
CRS-2677: 'ora.orcl.db'('discus164')の停止が成功しました
CRS-2673: 'ora.DATA.dg'('discus164')の停止を試行しています
CRS-2673: 'ora.FRA.dg'('discus164')の停止を試行しています
CRS-2677: 'ora.DATA.dg'('discus264')の停止が成功しました
CRS-2673: 'ora.asm'('discus264')の停止を試行しています
CRS-2677: 'ora.asm'('discus264')の停止が成功しました
CRS-2673: 'ora.eons'('discus264')の停止を試行しています
CRS-2673: 'ora.ons'('discus264')の停止を試行しています
CRS-2677: 'ora.DATA.dg'('discus164')の停止が成功しました
CRS-2677: 'ora.ons'('discus264')の停止が成功しました
CRS-2673: 'ora.net1.network'('discus264')の停止を試行しています
CRS-2677: 'ora.net1.network'('discus264')の停止が成功しました
CRS-2677: 'ora.FRA.dg'('discus164')の停止が成功しました
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2677: 'ora.eons'('discus264')の停止が成功しました
CRS-2792: 'discus264'上にある、Cluster Ready Services管理下のリソースのシャットダウンが完了しました
CRS-2673: 'ora.eons'('discus164')の停止を試行しています
CRS-2673: 'ora.ons'('discus164')の停止を試行しています
CRS-2677: 'ora.crsd'('discus264')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus264')の停止を試行しています
CRS-2673: 'ora.ctssd'('discus264')の停止を試行しています
CRS-2673: 'ora.evmd'('discus264')の停止を試行しています
CRS-2673: 'ora.asm'('discus264')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus264')の停止が成功しました
CRS-2677: 'ora.evmd'('discus264')の停止が成功しました
CRS-2677: 'ora.ctssd'('discus264')の停止が成功しました
CRS-2677: 'ora.asm'('discus264')の停止が成功しました
CRS-2673: 'ora.cssd'('discus264')の停止を試行しています
CRS-2677: 'ora.cssd'('discus264')の停止が成功しました
CRS-2673: 'ora.diskmon'('discus264')の停止を試行しています
CRS-2677: 'ora.diskmon'('discus264')の停止が成功しました
CRS-2675: 'ora.ons'('discus164')の停止に失敗しました
CRS-2679: 'ora.ons'('discus164')のクリーニングを試行しています
CRS-2681: 'ora.ons'('discus164')のクリーニングが成功しました
CRS-2673: 'ora.net1.network'('discus164')の停止を試行しています
CRS-2677: 'ora.net1.network'('discus164')の停止が成功しました
CRS-2677: 'ora.eons'('discus164')の停止が成功しました
CRS-2792: 'discus164'上にある、Cluster Ready Services管理下のリソースのシャットダウンが完了しました
CRS-2677: 'ora.crsd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus164')の停止を試行しています
CRS-2673: 'ora.ctssd'('discus164')の停止を試行しています
CRS-2673: 'ora.evmd'('discus164')の停止を試行しています
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus164')の停止が成功しました
CRS-2677: 'ora.evmd'('discus164')の停止が成功しました
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2677: 'ora.ctssd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssd'('discus164')の停止を試行しています
CRS-2677: 'ora.cssd'('discus164')の停止が成功しました
CRS-2673: 'ora.diskmon'('discus164')の停止を試行しています
CRS-2677: 'ora.diskmon'('discus164')の停止が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************
discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status database -d orcl
PRCD-1027 : データベースorclの取得に失敗しました
PRCR-1070 : リソース ora.orcl.dbが登録されているかどうかの確認に失敗しました
Cannot communicate with crsd
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
logout

では、起動しま〜す。

[oracle@discus164 ˜]$ 
[root@discus164 ˜]# crsctl start cluster -all
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  OFFLINE      discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  INTERMEDIATE discus164                FAILED OVER         
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  OFFLINE                                                   
      2        ONLINE  OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164 

ora.LISTENER_SCAN1.lsnr/ora.discus264.vipの両リソースがノードdiscus164からノードdiscus264へ移動し、ノードdiscus164でデータベースインスタンスが起動しました…

・・・中着・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    

最後にノードdiscus264でもデータベースインスタンスが起動し、crsctl stop cluster -allで停止する以前の状況になっています。 :)

・・・中略・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164  

ということで起動／停止の確認終了！

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19
・VirtualBox de Oracle11g R2 RAC #20
・VirtualBox de Oracle11g R2 RAC #21

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #21

VirtualBox de Oracle11g R2 RACのつづき。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oralce Grid InsfastructureとDatabase構成の確認

OUIやらなんやらがいろいろと構成してくれたりしてくれてるので確認方法の確認って感じですが…

Oracle所有者にて実行…

[oracle@discus164 ˜]$
[oracle@discus164 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status instance -d orcl -n discus164
インスタンスorcl1はノードdiscus164で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status instance -d orcl -n discus264
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status nodeapps
VIP discus164-vipは有効です
VIP discus164-vipはノードで実行中です: discus164
VIP discus264-vipは有効です
VIP discus264-vipはノードで実行中です: discus264
ネットワークは有効です
ネットワークはノードで実行中です: discus164
ネットワークはノードで実行中です: discus264
GSDは無効です
GSDはノードで実行されていません: discus164
GSDはノードで実行されていません: discus264
ONSは有効です
ONSデーモンはノードで実行中です: discus164
ONSデーモンはノードで実行中です: discus264
eONSは有効です
eONSデーモンはノードで実行中です:discus164
eONSデーモンはノードで実行中です:discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status vip -n discus164
VIP discus164-vipは有効です
VIP discus164-vipはノードで実行中です: discus164
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status vip -n discus264
VIP discus264-vipは有効です
VIP discus264-vipはノードで実行中です: discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status asm -a
ASMはdiscus164,discus264で実行中です
ASMは有効です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status listener -n discus164
リスナーLISTENERはノードで有効です: discus164
リスナーLISTENERはノードで実行中です: discus164
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status listener -n discus264
リスナーLISTENERはノードで有効です: discus264
リスナーLISTENERはノードで実行中です: discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status scan
SCAN VIP scan1は有効です
SCAN VIP scan1はノードdiscus264で実行されています
SCAN VIP scan2は有効です
SCAN VIP scan2はノードdiscus164で実行されています
SCAN VIP scan3は有効です
SCAN VIP scan3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status scan_listener
SCANリスナーLISTENER_SCAN1は有効です
SCANリスナーLISTENER_SCAN1はノードdiscus264で実行されています
SCANリスナーLISTENER_SCAN2は有効です
SCANリスナーLISTENER_SCAN2はノードdiscus164で実行されています
SCANリスナーLISTENER_SCAN3は有効です
SCANリスナーLISTENER_SCAN3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status srvpool -a
サーバー・プール名: Free
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: Generic
アクティブ・サーバー数: 2
アクティブ・サーバー名: discus164,discus264
NAME=discus164 STATE=ONLINE
NAME=discus264 STATE=ONLINE
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status server -n discus164,discus264 -a
サーバー名: discus164
サーバーの状態: ONLINE
アクティブなサーバー・プール: Generic ora.orcl
サーバーの状態の詳細: 
サーバー名: discus264
サーバーの状態: ONLINE
アクティブなサーバー・プール: Generic ora.orcl
サーバーの状態の詳細: 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status oc4j
OC4Jは無効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g DATA -a
ディスク・グループDATAはdiscus164,discus264で実行中です
ディスク・グループDATAは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g CRS -a
ディスク・グループCRSはdiscus164,discus264で実行中です
ディスク・グループCRSは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g FRA -a
ディスク・グループFRAはdiscus164,discus264で実行中です
ディスク・グループFRAは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 

構成の確認…

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config database -d orcl -a
一意のデータベース名: orcl
データベース名: orcl
Oracleホーム: /u01/app/oracle/product/11.2.0/dbhome_1
Oracleユーザー: oracle
spfile: +DATA/orcl/spfileorcl.ora
ドメイン: macdeoracle.info
開始オプション: open
停止オプション: immediate
データベース・ロール: PRIMARY
管理ポリシー: AUTOMATIC
サーバー・プール: orcl
データベース・インスタンス: orcl1,orcl2
ディスク・グループ: DATA,FRA
サービス: 
データベースは有効です
データベースは管理者によって管理されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config nodeapps -a -g -s
VIPが存在します。:discus164
VIPが存在します。: /discus164-vip/192.168.1.190/255.255.255.0/eth0
VIPが存在します。:discus264
VIPが存在します。: /discus264-vip/192.168.1.191/255.255.255.0/eth0
GSDが存在します。
ONSデーモンは存在します。ローカル・ポート6100、リモート・ポート6200
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config asm -a
ASMホーム: /u01/app/11.2.0/grid
ASMリスナー: LISTENER
ASMは有効です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config listener -a
名前: LISTENER
ネットワーク: 1、所有者: grid
ホーム: <CRS home>
  ノードdiscus264,discus164の/u01/app/11.2.0/grid
エンド・ポイント: TCP:1521
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config scan
SCAN名: discus-rac64-scan.macdeoracle.jp、ネットワーク: 1/192.168.1.0/255.255.255.0/eth0
SCAN VIP名: scan1、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.200
SCAN VIP名: scan2、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.201
SCAN VIP名: scan3、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.202
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config scan_listener
SCANリスナーLISTENER_SCAN1は存在します。ポート: TCP:1521
SCANリスナーLISTENER_SCAN2は存在します。ポート: TCP:1521
SCANリスナーLISTENER_SCAN3は存在します。ポート: TCP:1521
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config srvpool
サーバー・プール名: Free
重要度: 0、最小: 0、最大: -1
候補サーバー名: 
サーバー・プール名: Generic
重要度: 0、最小: 0、最大: -1
候補サーバー名: discus164,discus264
[oracle@discus164 ˜]$ 

Grid Infrastructureユーザにて実行…

[grid@discus164 ˜]$ crsctl check cluster -all
**************************************************************
discus164:
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
**************************************************************
discus264:
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
**************************************************************
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check ctss
CRS-4700: クラスタ時刻同期化サービスはオブザーバ・モードになっています。
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check css
CRS-4529: Cluster Synchronization Servicesがオンラインです
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl status serverpool
NAME=Free
ACTIVE_SERVERS=

NAME=Generic
ACTIVE_SERVERS=discus164 discus264

NAME=ora.orcl
ACTIVE_SERVERS=discus164 discus264

[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   8f431fe5d1304fd9bf6ad331d3aef536 (ORCL:CRSVOL1) [CRS]
1の投票ディスクを検出しました。
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    

[grid@discus164 ˜]$ 

あれ、perlでエラーメッセージでてるけどご愛嬌 :)

[grid@discus164 ˜]$ asmcmd
ASMCMD> 
ASMCMD> 
ASMCMD> lsdg -g
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Inst_ID  State    Type    Rebal  Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
      1  MOUNTED  EXTERN  N         512   4096  1048576      4092     3694                0            3694              0             N  CRS/
      2  MOUNTED  EXTERN  N         512   4096  1048576      4092     3694                0            3694              0             N  CRS/
      1  MOUNTED  NORMAL  N         512   4096  1048576     43006    37436                0           18718              0             N  DATA/
      2  MOUNTED  NORMAL  N         512   4096  1048576     43006    37436                0           18718              0             N  DATA/
      1  MOUNTED  NORMAL  N         512   4096  1048576     43006    42336                0           21168              0             N  FRA/
      2  MOUNTED  NORMAL  N         512   4096  1048576     43006    42336                0           21168              0             N  FRA/
ASMCMD> 
ASMCMD> lsct -g
Instance_ID  DB_Name  Status     Software_Version  Compatible_version  Instance_Name  Disk_Group
          1  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM1          CRS       
          1  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM1          DATA      
          2  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM2          CRS       
          2  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM2          DATA      
          1  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl1          DATA      
          1  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl1          FRA       
          2  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl2          DATA      
          2  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl2          FRA       
ASMCMD> 
ASMCMD> ls -g
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Inst_ID  Name
      1  CRS/
      2  CRS/
      1  DATA/
      2  DATA/
      1  FRA/
      2  FRA/
ASMCMD> 
ASMCMD> lsof 
DB_Name  Instance_Name  Path                                    
+ASM     +ASM1          +crs.255.4294967295                          
orcl     orcl1          +data/orcl/controlfile/current.256.739409625 
orcl     orcl1          +data/orcl/datafile/sysaux.260.739409693     
orcl     orcl1          +data/orcl/datafile/system.259.739409647     
orcl     orcl1          +data/orcl/datafile/undotbs1.261.739409729   
orcl     orcl1          +data/orcl/datafile/undotbs2.263.739409753   
orcl     orcl1          +data/orcl/datafile/users.264.739409767      
orcl     orcl1          +data/orcl/onlinelog/group_1.257.739409631   
orcl     orcl1          +data/orcl/onlinelog/group_2.258.739409637   
orcl     orcl1          +data/orcl/onlinelog/group_3.265.739412213   
orcl     orcl1          +data/orcl/onlinelog/group_4.266.739412217   
orcl     orcl1          +data/orcl/tempfile/temp.262.739409741       
orcl     orcl1          +fra/orcl/controlfile/current.256.739409629  
orcl     orcl1          +fra/orcl/onlinelog/group_1.257.739409635     
orcl     orcl1          +fra/orcl/onlinelog/group_2.258.739409643     
orcl     orcl1          +fra/orcl/onlinelog/group_3.259.739412215     
orcl     orcl1          +fra/orcl/onlinelog/group_4.260.739412225     
ASMCMD>     

最後にSQL*Plusから

SYS> l
  1  select
  2    inst_id
  3   ,instance_name
  4   ,parallel
  5   ,status
  6   ,database_status
  7   ,active_state
  8   ,host_name
  9  from
 10*   gv$instance
SYS> 
SYS> /

   INST_ID INSTANCE_NAME    PAR STATUS	     DATABASE_STATUS   ACTIVE_ST HOST_NAME
---------- ---------------- --- ------------ ----------------- --------- ------------------------------
	 1 orcl1	    YES OPEN	     ACTIVE	       NORMAL	 discus164.macdeoracle.jp
	 2 orcl2	    YES OPEN	     ACTIVE	       NORMAL	 discus264.macdeoracle.jp

SYS> 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19
・VirtualBox de Oracle11g R2 RAC #20

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #20

VirtualBox de Oracle11g R2 RACのつづき。

データベースも無事？作成できたので、今回はNet Serviceの確認を。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Net Serviceの確認

まず、クライアントになるMacOS X Snow LeopardのOracle10g R2 Instant Client側の設定(tnsnames.ora)から。

tnsnames.oraにVirtualBox上に構築したRACに接続するため以下ように定義した。
接続識別子ORCLはVirtualBox上に構築した際、自動生成された部分を複製し、残り２つの定義はRACの各ノードを個別に狙って接続するため接続識別子ORCL1/ORCL2を定義した。

discus:˜ oracle$ diff -u $TNS_ADMIN/tnsnames.ora.org $TNS_ADMIN/tnsnames.ora
--- /Users/Shared/instantclient_10_2/tnsnames.ora.org	2011-01-04 22:34:28.000000000 +0900
+++ /Users/Shared/instantclient_10_2/tnsnames.ora	2011-01-04 22:57:31.000000000 +0900
@@ -10,3 +10,32 @@
     )
   )
 
+# Oracle11g R2 11.2.0.1.0 RAC for Linux x86_64 / VirtualBox 
+ORCL =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+    )
+  )
+
+ORCL2 =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+      (INSTANCE_NAME = orcl2)
+    )
+  )
+
+ORCL1 =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+      (INSTANCE_NAME = orcl1)
+    )
+  )
discus:˜ oracle$

接続テスト

事前にscan vipがどのような状態か確認しておく。

[oracle@discus164 ˜]$ srvctl status scan
SCAN VIP scan1は有効です
SCAN VIP scan1はノードdiscus264で実行されています
SCAN VIP scan2は有効です
SCAN VIP scan2はノードdiscus164で実行されています
SCAN VIP scan3は有効です
SCAN VIP scan3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 

[root@discus164 ˜]# crsctl status resource -w 'TYPE co scan' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[root@discus164 ˜]# 

MacOS X Snow LeopardのSQL*PlusからVirtualBox上のOracle11g R2 11.2.0.1.0 RACへの接続テスト。

discus:˜ oracle$ sqlplus /nolog

SQL*Plus: Release 10.2.0.4.0 - Production on 火 1月 4 23:16:53 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

SQL> -- ロードバランシングで適当なインスタンスへ接続される。この場合インスタンス２に接続した
SQL> conn scott/tiger@orcl
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> -- ２度目はインスタンス１に接続した。（うまくいってる！）
SQL> conn scott/tiger@orcl
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- インスタンス１(orcl1)を狙った接続！ OK.
SQL> conn scott/tiger@orcl1 
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- 念のためもう一度。狙ったインスタンスへ接続している。
SQL> conn scott/tiger@orcl1
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- インスタンス２(orcl2)を狙った接続！ OK.
SQL> conn scott/tiger@orcl2
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> -- 念のためもう一度！。狙ったインスタンスへ接続している。
SQL> conn scott/tiger@orcl2
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> 

リモートからのも接続OK :)

以下、RACインスタンスのバージョン情報、Client側情報としてSQL*Plusのバージョン及び、OSのバージョン情報。

SQL> select * from gv$version; 

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> !sqlplus -v

SQL*Plus: Release 10.2.0.4.0 - Production

SQL> !system_profiler SPSoftwareDataType | grep 'System Version'
      System Version: Mac OS X 10.6.5 (10H574)

SQL> 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19

---

VirtualBox de Oracle11g R2 RAC #16 - 番外編

VirtualBox de Oracle11g R2 RAC #16の番外編

VirtualBox de Oracle11g R2 RAC #16の番外編として、Oracle11g R2 11.2.0.1.0のOracle Grid Infrastructureをdeinstallツールのログを備忘録として残しておきます。　:)

[grid@discus164 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
Location of logs /tmp/deinstall2010-12-01_08-36-01-午後/logs/

############ ORACLE DEINSTALL & DECONFIG TOOL START ############


######################## CHECK OPERATION START ########################
インストールの構成確認の開始


Oracleホームの場所が存在するかどうかを確認しています /u01/app/11.2.0/grid
選択された削除対象のOracleホームのタイプ: CRS
選択された削除対象のOracleベース: /u01/app/grid
中央インベントリの場所が存在するかどうかを確認しています /u01/app/oraInventory
Oracle Grid Infrastructureホームが存在するかどうかを確認しています /u01/app/11.2.0/grid
次のノードはこのクラスタの一部です: discus164,discus264

インストールの構成確認の終了

Traces log file: /tmp/deinstall2010-12-01_08-36-01-午後/logs//crsdc.log

ネットワーク構成チェック構成START

ネットワーク構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/netdc_check7323528496868837695.log

構成解除するすべてのRACリスナーを指定してください[LISTENER]:

ネットワーク構成チェック構成END

ASMチェック構成START

ASM構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/asmcadc_check7638050551281896899.log

このOracleホーム/u01/app/11.2.0/gridで自動ストレージ管理(ASM)インスタンスが検出されました。
ASM診断先: /u01/app/grid
ASMディスク・グループ: +CRS
ディスク・グループは削除されます
ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループおよびそのコンテンツが削除されます。これは、
このASMインスタンスを使用するすべてのデータベースおよびACFSに影響します。
 既存のディスク・グループを保持する場合、または検出された情報が正しくない場合、'y'と入力することにより、変更できます。前述の情報(y|n)を変更しますか [n]: y
ASMの診断先を指定してください [/u01/app/grid]: 
このASMインスタンスによって管理されているディスク・グループを指定してください [+CRS]: 

ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループが削除されます。構成解除ツールでディスク・グループy|nを削除しますか [y]: y


######################### CHECK OPERATION END #########################


####################### CHECK OPERATION SUMMARY #######################
Oracle Grid Infrastructureホーム: /u01/app/11.2.0/grid
Oracleホームが存在するクラスタ・ノード: (ノードを","で区切って入力してください。例: node1,node2,...)discus164,discus264
選択された削除対象のOracleホーム: /u01/app/11.2.0/grid
Oracleホームが登録されているインベントリの場所: /u01/app/oraInventory
次のRACリスナーが構成解除されます: LISTENER
ASMインスタンスはこのOracleホームから構成解除されます
続行しますか (y - はい、n - いいえ)[n]: y
このセッションのログは/tmp/deinstall2010-12-01_08-36-01-午後/logs/deinstall_deconfig2010-12-01_08-36-34-PM.outに書き込まれます
このセッションのすべてのエラー・メッセージは/tmp/deinstall2010-12-01_08-36-01-午後/logs/deinstall_deconfig2010-12-01_08-36-34-PM.errに書き込まれます

######################## CLEAN OPERATION START ########################
ASM構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/asmcadc_clean4713857881917098991.log
ASMクリーンアップ構成START
ASMクリーンアップ構成END

ネットワーク構成クリーニング構成START

ネットワーク構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/netdc_clean533226112421006626.log

RACリスナーの構成解除: LISTENER

リスナーの構成解除: LISTENER
    リスナーを停止しています: LISTENER
    リスナーの停止に成功しました。
    リスナーを登録解除しています: LISTENER
    リスナーの登録解除に成功しました。
リスナーは正常に構成解除されました。

すべてのノードでネーミング・メソッド構成ファイルの構成解除中です...
ネーミング・メソッド構成ファイルが正常に構成解除されました。 

すべてのノードでローカル・ネット・サービス名構成ファイルの構成解除中です...
ローカル・ネット・サービス名構成ファイルが正常に構成解除されました。 

すべてのノードでディレクトリ使用構成ファイルの構成解除中です...
ディレクトリ使用構成ファイルが正常に構成解除されました。 

すべてのノードでバックアップ・ファイルの構成解除中です...
バックアップ・ファイルが正常に構成解除されました。 

ネットワーク構成が正常にクリーンアップされました。

ネットワーク構成クリーニング構成END


---------------------------------------->

ノード"discus264"のrootユーザーまたは管理者として次のコマンドを実行します。


/tmp/deinstall2010-12-01_08-36-01-午後/perl/bin/perl -I/tmp/deinstall2010-12-01_08-36-01-午後/perl/lib -I/tmp/deinstall2010-12-01_08-36-01-午後/crs/install /tmp/deinstall2010-12-01_08-36-01-午後/crs/install/rootcrs.pl -force  -delete -paramfile /tmp/deinstall2010-12-01_08-36-01-午後/response/deinstall_Ora11g_gridinfrahome1.rsp

ノード"discus164"のrootユーザーまたは管理者として次のコマンドを実行します。

/tmp/deinstall2010-12-01_08-36-01-午後/perl/bin/perl -I/tmp/deinstall2010-12-01_08-36-01-午後/perl/lib -I/tmp/deinstall2010-12-01_08-36-01-午後/crs/install /tmp/deinstall2010-12-01_08-36-01-午後/crs/install/rootcrs.pl -force  -delete -paramfile /tmp/deinstall2010-12-01_08-36-01-午後/response/deinstall_Ora11g_gridinfrahome1.rsp -lastnode

前述のコマンドを実行した後、[Enter]を押します

<----------------------------------------

Oracle Universal Installerクリーンアップの開始

Oracleホーム'/u01/app/11.2.0/grid'をローカル・ノードの中央インベントリからデタッチします : 終了

ローカル・ノードのディレクトリ'/u01/app/11.2.0/grid'を削除します : 終了

ローカル・ノードのディレクトリ'/u01/app/oraInventory'を削除します : 終了

ローカル・ノードのディレクトリ'/u01/app/grid'を削除します : 終了

Oracleホーム'/u01/app/11.2.0/grid'をリモート・ノード'discus264'の中央インベントリからデタッチします : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/11.2.0/grid'を削除します : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/oraInventory'を削除します : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/grid'を削除します : 終了

Oracle Universal Installerのクリーンアップが成功しました。

Oracle Universal Installerクリーンアップの終了


Oracleインストール・クリーンアップの開始

インストールのクリーンアップ操作により、ノードdiscus164の一時ディレクトリ/tmp/installを削除しています
インストールのクリーンアップ操作により、ノードdiscus264の一時ディレクトリ/tmp/installを削除しています

Oracleインストール・クリーンアップの終了


######################### CLEAN OPERATION END #########################


####################### CLEAN OPERATION SUMMARY #######################
ASMインスタンスはOracleホームから正常に構成解除されました
次のRACリスナーが正常に構成解除されました: LISTENER
Oracleクラスタウェアはノード"discus164"で停止され、正常に構成解除されています
Oracleクラスタウェアはノード"discus264"で停止され、正常に構成解除されています
Oracleクラスタウェアは正常に停止および構成解除されています。
Oracleホーム'/u01/app/11.2.0/grid'がローカル・ノードの中央インベントリから正常にデタッチされました。
ローカル・ノードのディレクトリ'/u01/app/11.2.0/grid'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/oraInventory'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/grid'が正常に削除されました。
Oracleホーム'/u01/app/11.2.0/grid'がリモート・ノード'discus264'の中央インベントリから正常にデタッチされました。
リモート・ノード'discus264'のディレクトリ'/u01/app/11.2.0/grid'が正常に削除されました。
リモート・ノード'discus264'のディレクトリ'/u01/app/oraInventory'が正常に削除されました。
リモート・ノード'discus264'のディレクトリ'/u01/app/grid'が正常に削除されました。
Oracle Universal Installerのクリーンアップが成功しました。


セッション終了時にノード'discus164,discus264'でrootとして'rm -rf /etc/oraInst.loc'を実行します。

Oracleインストールにより、一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL & DECONFIG TOOL END #############

[grid@discus164 deinstall]$ 

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18
・VirtualBox de Oracle11g R2 RAC #19

VirtualBox de Oracle11g R2 RAC #19

VirtualBox de Oracle11g R2 RACのつづき。

いよいよデータベースの作成です。 :)

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle Cluster databaseの作成

映像を見てもお分かりだと思いますが、VirtualBox上でクラスタデータベースを作成するとほぼ１００％、DBCAの最後のダイアログを表示後DBCAを起動したVMが固まります。
Oracle11g R1 RACをVirtualBox上で構築した時と同じ症状です。DBCAのダイアログ上、データベースは作成されましたと表示されているのでそれを信じるばかり (^^;;;

念のため１時間ほど放置したあと、固まったVMは強制終了、残るノードはCentOSをシャットダウンします。その後、Openfiler、RACの両ノードを起動します。（ノード間の処理で固まっているようで実は処理に時間を要していることがなんどかあったので…念のため）

grid infrastructureユーザからcrsctlコマンドで状態を確認した結果は以下。（ちなみに、VM再起動後の状態）

[grid@discus164 ˜]$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ˜]$ 

[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 11月 30 14:54:50 2010

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SQL> conn / as sysdba
パスワードを入力してください: 
接続されました。
SQL> set linesize 132
SQL> select * from gv$version;

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> 

ふ〜、なんとかできたようですね。　とりあえず遊べそうです。

次回へつづく。　Grid Infrastructure周りはもっと調べないと…覚える必要のあることはまだまだ多い (^^;;

Oracle Clusterware管理およびデプロイメント・ガイド 11gリリース2（11.2非推奨のサブプログラムまたはコマンド…このマニュアルもちゃんと読んでおかないとな。＞＜

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17
・VirtualBox de Oracle11g R2 RAC #18

VirtualBox de Oracle11g R2 RAC #18

VirtualBox de Oracle11g R2 RACのつづきです。

インストールしなくてもいいんだけどいろいろと試したくなったときは便利なので、次いでにexamplesもインストール。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 examplesのインストール

[oracle@discus164 database]$ 
[oracle@discus164 database]$ 
[oracle@discus164 database]$ cd ../examples
[oracle@discus164 examples]$ ll
合計 48
drwxr-xr-x  7 oracle oinstall 4096  8月 12  2009 doc
drwxr-xr-x  4 oracle oinstall 4096  8月 15  2009 install
drwxrwxr-x  2 oracle oinstall 4096  8月 15  2009 response
-rwxr-xr-x  1 oracle oinstall 3230  8月 15  2009 runInstaller
drwxr-xr-x 12 oracle oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 oracle oinstall 3419  8月 18  2009 welcome.html
[oracle@discus164 examples]$ 

[oracle@discus164 examples]$ ./runInstaller
Oracle Universal Installerを起動中です...
・・・中略・・・

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16
・VirtualBox de Oracle11g R2 RAC #17

VirtualBox de Oracle11g R2 RAC #17

VirtualBox de Oracle11g R2 RACのつづきです。

つづいてOracle11g R2 11.2.0.1.0 Database Installのインストール。
データベースは作成しないでソフトウェアだけのインストールを行います。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

ASMディスクグループの作成

Grid Infrastructureのインストール同様、Oracle所有者でもsshはパスフレーズありであらかじめ作成しておきます。OUIが作ってくれるだろうということを期待してね。

と、その前に、asmcaでOracleデータファイル及び、フラッシュ・リカバリ・エリア向けASMディスクグループを作成しておきました。
データファイル向けに+DATA、フラッシュ・リカバリ・エリア向けに+FRAというASMディスクグループを作成します。

Oracle11g R2 11.2.0.1.0 Database softwareのインストール

次に、Oracle Database 11g R2 11.2.0.1.0をインストールします。データベースは作成せず、別途dbcaを利用してデータベースを作成します。

省略していますが、お約束、root.shの実行もお忘れなく！

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15
・VirtualBox de Oracle11g R2 RAC #16

VirtualBox de Oracle11g R2 RAC #16

VirtualBox de Oracle11g R2 RACのつづきです。

いよいよOracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール♪

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール

今回、確かめたかったこともあり、意図的にパスフレーズ付きでsshを手動構成しておいた。
その結果は…CVUの検査はパスするもののOUI上ではsshの構成がNGとなりOUIからsshの構成を行った。その後は問題なくインストールできた :)　便になったねOUI.

[grid@discus164 grid]$ ./runInstaller 
[1] 4417
[grid@discus164 grid]$ Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 32846MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 5951MB    問題なし
モニターの確認中: 少なくとも256色表示するよう設定されている必要があります.    実際 16777216    問題なし
Oracle Universal Installerの起動を準備中 /tmp/OraInstall2010-11-29_01-51-19PM. お待ちください...

インストールの後半で、上記画面が表示されたら、いつものお約束、orainstRoot.shの実行とroot.shスクリプトの実行です！
RACを構成する全ノードのrootユーザで。最初にOUIを実行したノードで実行。成功したら以後残りのノードで実施（残りのノードでは平行実行可能だとか…今回は２ノードなので確認できず…）。

まず、OUIを実行したノードで実行！

[root@discus164 ˜]#
[root@discus164 ˜]# /u01/app/oraInventory/orainstRoot.sh
権限を変更中 /u01/app/oraInventory.
グループの読取り/書込み権限を追加中。
全ユーザーの読取り/書込み/実行権限を削除中。

グループ名の変更 /u01/app/oraInventory 宛先 oinstall.
スクリプトの実行が完了しました。

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# /u01/app/11.2.0/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...

・・・中略・・・

  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
ADVM/ACFS is not supported on centos-release-5-5.el5.centos

CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています

・・・中略・・・

CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました

ASMは正常に作成され、起動しました。

ディスク・グループCRSは正常に作成されました。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-4256: Updating the profile
Successful addition of voting disk 5d6c953bf3aa4fe6bfff2a0f9b1e0d37.
Successfully replaced voting disk group with +CRS.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5d6c953bf3aa4fe6bfff2a0f9b1e0d37 (ORCL:CRSVOL1) [CRS]
Located 1 voting disk(s).
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています

・・・中略・・・

CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.CRS.dg'('discus164')の起動を試行しています
CRS-2676: 'ora.CRS.dg'('discus164')の起動が成功しました

discus164     2010/11/29 14:21:13     /u01/app/11.2.0/grid/cdata/discus164/backup_20101129_142113.olr
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus164 ˜]# 

ADVM/ACFS is not supported on centos-release-5-5.el5.centosという気になるメッセージがあったがこれはCentOSが正式にサポートされていないことが影響している。
一昨年暮れのエントリだけど、以下のブログが参考になるかも。

参考:
http://brianbontrager.blogspot.com/2009/09/learning-asm-breakin-rules-or-running.html

2011/1/4追記：
http://ivan.kartik.sk/index.php?show_article=49
リリースを偽装する方法もあるんだけどね。後者の方が楽は楽だけど元に戻すのが面倒だから今回はパスした。

簡単にリカバル方法がよくわかんなかったんでOracle Grid Infrastructureを一旦deinstallした。（これが一番わかりやすい！）
Oracle Grid Infrastructureをdeinstallコマンドで削除した記録は別途書くとして、一旦deinstallしたと思ってください！！！

ということで、OUIでOracle Grid Infrastractureをインストール。

orainstRoot.shを実行したところで、前述の参考ブログに記載されていたCentOS向け手当を行う。手当を行ってからroot.shを実行する。

orainstRoot.shを実行したところで、前述の参考ブログに記載されていたCentOS向け手当を行う。手当を行ってからroot.shを実行する。

CentOS上へのOracle Grid Infrastructureインストールでは大切（らしい）なので２度、書きましたよw

Oracle Grid Infrastructureユーザの$ORACLE_HOME/lib/osds_acfslib.pmの278行目以下にCentOSも正常に処理できるよう修正を加える。

[grid@discus164 ˜]$ su -
パスワード:
[root@discus164 ˜]# cd /u01/app/11.2.0/grid/lib
[root@discus164 lib]# 
[root@discus164 lib]# cp -p osds_acfslib.pm osds_acfslib.pm.org
[root@discus164 lib]# 
[root@discus164 lib]# vi osds_acfslib.pm
[root@discus164 lib]# 
[root@discus164 lib]# diff -u osds_acfslib.pm osds_acfslib.pm.org
--- osds_acfslib.pm	2010/11/29 17:19:00.000000000 +0900
+++ osds_acfslib.pm.org	2009-07-02 11:13:48.000000000 +0900
@@ -278,8 +278,7 @@
   # OK, now check to see if we support this release
   $supported = 0;
   if (($release =˜ /enterprise-release-5/) ||
-         ($release =˜ /redhat-release-5/)  ||
-	 ($release =˜ /centos-release-5/))
+         ($release =˜ /redhat-release-5/))
   {
     # Redhat 5
     $supported = 1;
[root@discus164 lib]# 

多分上記の修正だけで対処できると思うのだが、自信がないので以下のこともやっておいた… 写経になっております。m(_ _)m (RACを構成する全ノードのrootユーザで実施）

[root@discus164 ˜]# mkdir /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ls /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/*ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleacfs.ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleadvm.ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleoks.ko
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cp /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/*ko /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# chmod 744 /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# 
[root@discus164 ˜]# depmod
[root@discus164 ˜]# 
[root@discus164 ˜]# cp /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/acfsdbg /sbin
[root@discus164 ˜]# chmod 755 /sbin/acfsdbg

ここまでの作業を終えたらOUIでOracle Grid InfrastructureをOUIでインストールする。手順は前述の映像を見てくださいね。

お約束のorainstRoot.shそれに続いて、root.shをOUIを起動したノードで実施、その後、残りのノードでも同様にrootユーザで実施する。

root.shの実行。こんどは大丈夫でしょうか〜〜〜〜。

[root@discus164 grid]# ./root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-11-29 17:23:44: Parsing the host name
2010-11-29 17:23:44: Checking for super user privileges
2010-11-29 17:23:44: User has super user privileges

Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE 
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています
CRS-2672: 'ora.mdnsd'('discus164')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus164')の起動が成功しました
CRS-2676: 'ora.mdnsd'('discus164')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus164')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus164')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました

ASMは正常に作成され、起動しました。

ディスク・グループCRSは正常に作成されました。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-4256: Updating the profile
Successful addition of voting disk 8f431fe5d1304fd9bf6ad331d3aef536.
Successfully replaced voting disk group with +CRS.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   8f431fe5d1304fd9bf6ad331d3aef536 (ORCL:CRSVOL1) [CRS]
Located 1 voting disk(s).
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています
CRS-2677: 'ora.crsd'('discus164')の停止が成功しました
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2673: 'ora.ctssd'('discus164')の停止を試行しています
CRS-2677: 'ora.ctssd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus164')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus164')の停止が成功しました
CRS-2673: 'ora.cssd'('discus164')の停止を試行しています
CRS-2677: 'ora.cssd'('discus164')の停止が成功しました
CRS-2673: 'ora.gpnpd'('discus164')の停止を試行しています
CRS-2677: 'ora.gpnpd'('discus164')の停止が成功しました
CRS-2673: 'ora.gipcd'('discus164')の停止を試行しています
CRS-2677: 'ora.gipcd'('discus164')の停止が成功しました
CRS-2673: 'ora.mdnsd'('discus164')の停止を試行しています
CRS-2677: 'ora.mdnsd'('discus164')の停止が成功しました
CRS-2672: 'ora.mdnsd'('discus164')の起動を試行しています
CRS-2676: 'ora.mdnsd'('discus164')の起動が成功しました
CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus164')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus164')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus164')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.CRS.dg'('discus164')の起動を試行しています
CRS-2676: 'ora.CRS.dg'('discus164')の起動が成功しました
CRS-2672: 'ora.registry.acfs'('discus164')の起動を試行しています
CRS-2676: 'ora.registry.acfs'('discus164')の起動が成功しました

discus164     2010/11/29 17:30:15     /u01/app/11.2.0/grid/cdata/discus164/backup_20101129_173015.olr
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus164 grid]#

お〜〜、でけた。

では、他のノードでも実行
残りのノードでも同様の操作実施後root.sh実行

[root@discus264 grid]# ./root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010/11/29 17:45:30: Parsing the host name
2010/11/29 17:45:30: Checking for super user privileges
2010/11/29 17:45:30: User has super user privileges
Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE 
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-4402: CSSデーモンが排他モードで開始されましたが、ノードdiscus164、番号1のアクティブCSSデーモンが検出されたため中断します
CRS-2673: 'ora.cssdmonitor'('discus264')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus264')の停止が成功しました
CRS-2673: 'ora.gpnpd'('discus264')の停止を試行しています
CRS-2677: 'ora.gpnpd'('discus264')の停止が成功しました
CRS-2673: 'ora.gipcd'('discus264')の停止を試行しています
CRS-2677: 'ora.gipcd'('discus264')の停止が成功しました
CRS-2673: 'ora.mdnsd'('discus264')の停止を試行しています
CRS-2677: 'ora.mdnsd'('discus264')の停止が成功しました
An active cluster was found during exclusive startup, restarting to join the cluster
CRS-2672: 'ora.mdnsd'('discus264')の起動を試行しています
CRS-2676: 'ora.mdnsd'('discus264')の起動が成功しました
CRS-2672: 'ora.gipcd'('discus264')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus264')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus264')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus264')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2672: 'ora.drivers.acfs'('discus264')の起動を試行しています
CRS-2676: 'ora.drivers.acfs'('discus264')の起動が成功しました
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました

discus264     2010/11/29 17:48:45     /u01/app/11.2.0/grid/cdata/discus264/backup_20101129_174845.olr
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus264 grid]# 

root.sh実行おわり！

Grid Infrastructureインストール後の簡単な確認（RACを構成する全ノードのgrid infrastructureユーザ及び、rootユーザで実施）

crsの状態確認（RACを構成する全ノードのGrid Infrastructureユーザで

[grid@discus164 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus264 ˜]$ 

clusterノードの確認（RACを構成する全ノードのGrid Infrastructureユーザで）

[grid@discus164 ˜]$ olsnodes -n
discus164       1
discus264       2
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ olsnodes -n
discus164       1
discus264       2
[grid@discus264 ˜]$ 

リスナーの確認（RACを構成する全ノード

[grid@discus164 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_SCAN2
LISTENER_SCAN3
LISTENER
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_SCAN1
LISTENER
[grid@discus264 ˜]$ 

以下、OUIを実行したノードから確認しとけばOKかな
ASMは起動してるかな〜（Grid Infrastructureユーザで

[grid@discus164 ˜]$ srvctl status asm -a
ASMはdiscus164,discus264で実行中です
ASMは有効です。
[grid@discus164 ˜]$ 

rootユーザでcrsctlコマンド実行してますが、Grid Infrastructureホームのbinにパス通しているだけです :) 楽なので。
Oracle Cluster Registry (OCR)　- rootユーザで実施

[root@discus164 grid]# ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          3
         Total space (kbytes)     :     262120
         Used space (kbytes)      :       2364
         Available space (kbytes) :     259756
         ID                       : 1391852321
         Device/File Name         :       +CRS
                                    Device/File integrity check succeeded

                                    Device/File not configured

                                    Device/File not configured

                                    Device/File not configured

                                    Device/File not configured

         Cluster registry integrity check succeeded

         Logical corruption check succeeded

[root@discus164 grid]# 

Voting Diskの確認（Grid Infrastructureユーザで

[grid@discus164 ˜]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5d6c953bf3aa4fe6bfff2a0f9b1e0d37 (ORCL:CRSVOL1) [CRS]
1の投票ディスクを検出しました。
[grid@discus164 ˜]$ 

[grid@discus164 ~]$ crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ~]$ 

root.shのバックアップが推奨されているので、これはやっといた。

Back Up the root.sh Script

Oracle recommends that you back up the root.sh script after you
complete an installation. If you install other products
in the same Oracle home directory, then the installer updates
the contents of the existing root.sh script during the installation.
If you require information contained in the original root.sh script,
then you can recover it from the root.sh file copy.

Back up the root.sh file on both Oracle RAC nodes as root:

[grid@discus164 ˜]$ su -
パスワード:
[root@discus164 ˜]# cd /u01/app/11.2.0/grid
[root@discus164 grid]# ls -l root.sh
-rwxr-x--- 1 grid oinstall 723 11月 29 14:10 root.sh
[root@discus164 grid]# cp -p root.sh root.sh.discus164_after_install20101129
[root@discus164 grid]# 

[grid@discus264 ˜]$ su - 
パスワード:
[root@discus264 ˜]# cd /u01/app/11.2.0
[root@discus264 11.2.0]# cd grid
[root@discus264 grid]# ls -l root.sh
-rwxr-x--- 1 grid oinstall 723 11月 29 14:12 root.sh
[root@discus264 grid]# cp -p root.sh root.sh.discus264_after_install20101129
[root@discus264 grid]# 

Install Cluster Health Management Software が推奨されてるけど。別途時間があったらやる→TODO

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14
・VirtualBox de Oracle11g R2 RAC #15

VirtualBox de Oracle11g R2 RAC #15

VirtualBox de Oracle11g R2 RACのつづきです。

今回はOracle11g R2 11.2.0.1.0 RACインストール事前作業。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 RACインストール事前作業

以下、Linux 64bit版をダウンロード
Oracle11g R2 11.2.0.1.0 for Linux (64bit）
linux.x64_11gR2_database_1of2.zip
linux.x64_11gR2_database_2of2.zip

Oracle11g R2 Grid Infrastructure for Linux (64bit)
linux.x64_11gR2_grid.zip

Oracle11g R2 Examples for Linux (64bit)
linux.x64_11gR2_examples.zip

ダウンロードした、Oracle Grid Infrastructureをgrid infrastructureユーザで解凍

[grid@discus164 oracle]$ ll
合計 1029240
-rw-r--r-- 1 grid oinstall 1052897657 11月 25 10:51 linux.x64_11gR2_grid.zip
[grid@discus164 oracle]$ unzip linux.x64_11gR2_grid.zip

・・・中略・・・

 extracting: grid/install/addLangs.sh  
  inflating: grid/runInstaller       
  inflating: grid/welcome.html       
  inflating: grid/runcluvfy.sh       
[grid@discus164 oracle]$ 

ダウンロードしたOracle11g R2 11.2.0.1.0とexamplesをOracle所有者で解凍

[oracle@discus164 oracle]$ ll
合計 2840744
-rw-r--r-- 1 oracle oinstall 1239269270 11月 25 10:56 linux.x64_11gR2_database_1of2.zip
-rw-r--r-- 1 oracle oinstall 1111416131 11月 25 10:57 linux.x64_11gR2_database_2of2.zip
-rw-r--r-- 1 oracle oinstall  555366950 11月 25 10:57 linux.x64_11gR2_examples.zip
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_database_1of2.zip

・・・中略・・・

 extracting: database/install/addLangs.sh  
  inflating: database/runInstaller   
  inflating: database/welcome.html   
[oracle@discus164 oracle]$ 
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_database_2of2.zip

・・・中略・・・

  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup13.jar  
  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup8.jar  
  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup9.jar  
[oracle@discus164 oracle]$ 
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_examples.zip

・・・中略・・・

 extracting: examples/install/addLangs.sh  
  inflating: examples/runInstaller   
  inflating: examples/welcome.html   
[oracle@discus164 oracle]$ 

cvudiskパッケージのインストール（RACを構成する全ノードのrootユーザで）

[grid@discus164 ˜]$ cd ./software/oracle/grid/rpm
[grid@discus164 rpm]$ su
パスワード:
[root@discus164 rpm]# ll
合計 12
-rw-rw-r-- 1 grid oinstall 8173  7月 15  2009 cvuqdisk-1.0.7-1.rpm
[root@discus164 rpm]# CVUQDISK_GRP=oinstall; export CVUQDISK_GRP
[root@discus164 rpm]# rpm -iv cvuqdisk-1.0.7-1.rpm
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
[root@discus164 rpm]#
 

CVUによる事前チェック（RACを構成する全ノードのOracle Grid Infrastructureユーザで実施）
-fixupオプションを付加すると修正用スクリプトが作成されますが、下記例では付加していません。（修正スクリプトを作成させた方が楽ですけどね。)

今回は全ログを省略なしで！w

[grid@discus164 grid]$ pwd
/home/grid/software/oracle/grid
[grid@discus164 grid]$ ll
合計 76
drwxr-xr-x  9 grid oinstall 4096  8月 17  2009 doc
drwxr-xr-x  4 grid oinstall 4096 12月  3 11:05 install
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 response
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 rpm
-rwxr-xr-x  1 grid oinstall 3227  8月 15  2009 runInstaller
-rwxrwxr-x  1 grid oinstall 3795  1月 29  2009 runcluvfy.sh
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 sshsetup
drwxr-xr-x 14 grid oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 grid oinstall 4228  8月 18  2009 welcome.html
[grid@discus164 grid]$
[grid@discus164 grid]$
[grid@discus164 grid]$ ./runcluvfy.sh stage -pre crsinst -n discus164,discus264 -verbose

クラスタ・サービス設定の事前チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus164"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: ノード"discus164"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...

チェック: ユーザー"grid"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus264                             合格                      
  discus164                             合格                      
結果: ユーザー"grid"のユーザー等価チェックに合格しました

ノード接続性をチェック中...

ホスト構成ファイルをチェック中...
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     合格                                                
  discus164     合格                                                

ホスト構成ファイルの検証に成功しました


ノード"discus264"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.91    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:CC:3B:97 1500  
 eth1   192.168.3.91    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:2F:97:0D 1500  
 eth2   192.168.2.91    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:AD:F8:40 1500  


ノード"discus164"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.90    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:B1:38:96 1500  
 eth1   192.168.3.90    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:FC:A5:8E 1500  
 eth2   192.168.2.90    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:47:E9:2C 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth0                  discus164:eth0                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.1.0"のノード接続性に合格しました


チェック: サブネット"192.168.1.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.1.90          discus264:192.168.1.91          合格              
結果: サブネット"192.168.1.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.3.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth1                  discus164:eth1                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.3.0"のノード接続性に合格しました


チェック: サブネット"192.168.3.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.3.90          discus264:192.168.3.91          合格              
結果: サブネット"192.168.3.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth2                  discus164:eth2                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.2.0"のノード接続性に合格しました


チェック: サブネット"192.168.2.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.2.90          discus264:192.168.2.91          合格              
結果: サブネット"192.168.2.0"のTCP接続性チェックに合格しました


VIPの候補となるサブネット"192.168.1.0"で見つかったインタフェースは次のとおりです:
discus264 eth0:192.168.1.91
discus164 eth0:192.168.1.90

プライベート・インターコネクトの候補となるサブネット"192.168.3.0"で見つかったインタフェースは次のとおりです:
discus264 eth1:192.168.3.91
discus164 eth1:192.168.3.90

プライベート・インターコネクトの候補となるサブネット"192.168.2.0"で見つかったインタフェースは次のとおりです:
discus264 eth2:192.168.2.91
discus164 eth2:192.168.2.90

結果: ノード接続性チェックに合格しました


チェック: メモリー合計 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     3.86GB (4051640.0KB)      1.5GB (1572864.0KB)       合格        
  discus164     3.86GB (4051640.0KB)      1.5GB (1572864.0KB)       合格        
結果: メモリー合計チェックに合格しました

チェック: 使用可能なメモリー 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     3.5GB (3673300.0KB)       50MB (51200.0KB)          合格        
  discus164     3.34GB (3498792.0KB)      50MB (51200.0KB)          合格        
結果: 使用可能なメモリーチェックに合格しました

チェック: スワップ領域 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     5.81GB (6094840.0KB)      3.86GB (4051640.0KB)      合格        
  discus164     5.81GB (6094840.0KB)      3.86GB (4051640.0KB)      合格        
結果: スワップ領域チェックに合格しました

チェック: "discus264:/tmp"のディスク空き領域 
  パス                ノード名          マウント・ポイント     使用可能          必須            コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              discus264     /             37.78GB       1GB           合格          
結果: "discus264:/tmp"のディスク空き領域チェックに合格しました

チェック: "discus164:/tmp"のディスク空き領域 
  パス                ノード名          マウント・ポイント     使用可能          必須            コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              discus164     /             33.62GB       1GB           合格          
結果: "discus164:/tmp"のディスク空き領域チェックに合格しました

チェック: "grid"の既存ユーザー 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "grid"の既存ユーザーチェックに合格しました

チェック: "oinstall"のグループの存在 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "oinstall"のグループの存在チェックに合格しました

チェック: "dba"のグループの存在 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "dba"のグループの存在チェックに合格しました

チェック: グループ"oinstall"内のユーザー"grid"[プライマリ]のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    プライマリ         コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  discus264         はい            はい            はい            はい            合格          
  discus164         はい            はい            はい            はい            合格          
結果: グループ"oinstall"内のユーザー"grid"[プライマリ]のメンバーシップ・チェックに合格しました

チェック: グループ"dba"内のユーザー"grid"のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         はい            はい            いいえ           失敗              
  discus164         はい            はい            いいえ           失敗              
結果: グループ"dba"内のユーザー"grid"のメンバーシップ・チェックが失敗しました

チェック: 実行レベル 
  ノード名          実行レベル                     必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     5                         3,5                       合格        
  discus164     5                         3,5                       合格        
結果: 実行レベルチェックに合格しました

チェック: "最大オープン・ファイル記述子数"の強い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         強い            65536         65536         合格              
  discus164         強い            65536         65536         合格              
結果: "最大オープン・ファイル記述子数"の強い制限チェックに合格しました

チェック: "最大オープン・ファイル記述子数"の弱い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         弱い            1024          1024          合格              
  discus164         弱い            1024          1024          合格              
結果: "最大オープン・ファイル記述子数"の弱い制限チェックに合格しました

チェック: "最大ユーザー・プロセス"の強い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         強い            16384         16384         合格              
  discus164         強い            16384         16384         合格              
結果: "最大ユーザー・プロセス"の強い制限チェックに合格しました

チェック: "最大ユーザー・プロセス"の弱い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         弱い            2047          2047          合格              
  discus164         弱い            2047          2047          合格              
結果: "最大ユーザー・プロセス"の弱い制限チェックに合格しました

チェック: システム・アーキテクチャ 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     x86_64                    x86_64                    合格        
  discus164     x86_64                    x86_64                    合格        
結果: システム・アーキテクチャチェックに合格しました

チェック: カーネル・バージョン 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     2.6.18-194.17.1.el5       2.6.9                     合格        
  discus164     2.6.18-194.17.1.el5       2.6.9                     合格        
結果: カーネル・バージョンチェックに合格しました

チェック: "semmsl"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     250                       250                       合格        
  discus164     250                       250                       合格        
結果: "semmsl"のカーネル・パラメータチェックに合格しました

チェック: "semmns"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     32000                     32000                     合格        
  discus164     32000                     32000                     合格        
結果: "semmns"のカーネル・パラメータチェックに合格しました

チェック: "semopm"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     100                       100                       合格        
  discus164     100                       100                       合格        
結果: "semopm"のカーネル・パラメータチェックに合格しました

チェック: "semmni"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     128                       128                       合格        
  discus164     128                       128                       合格        
結果: "semmni"のカーネル・パラメータチェックに合格しました

チェック: "shmmax"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     68719476736               536870912                 合格        
  discus164     68719476736               536870912                 合格        
結果: "shmmax"のカーネル・パラメータチェックに合格しました

チェック: "shmmni"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4096                      4096                      合格        
  discus164     4096                      4096                      合格        
結果: "shmmni"のカーネル・パラメータチェックに合格しました

チェック: "shmall"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4294967296                2097152                   合格        
  discus164     4294967296                2097152                   合格        
結果: "shmall"のカーネル・パラメータチェックに合格しました

チェック: "file-max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     6815744                   6815744                   合格        
  discus164     6815744                   6815744                   合格        
結果: "file-max"のカーネル・パラメータチェックに合格しました

チェック: "ip_local_port_range"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     between 9000 & 65500      between 9000 & 65500      合格        
  discus164     between 9000 & 65500      between 9000 & 65500      合格        
結果: "ip_local_port_range"のカーネル・パラメータチェックに合格しました

チェック: "rmem_default"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     262144                    262144                    合格        
  discus164     262144                    262144                    合格        
結果: "rmem_default"のカーネル・パラメータチェックに合格しました

チェック: "rmem_max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4194304                   4194304                   合格        
  discus164     4194304                   4194304                   合格        
結果: "rmem_max"のカーネル・パラメータチェックに合格しました

チェック: "wmem_default"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     262144                    262144                    合格        
  discus164     262144                    262144                    合格        
結果: "wmem_default"のカーネル・パラメータチェックに合格しました

チェック: "wmem_max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     1048576                   1048576                   合格        
  discus164     1048576                   1048576                   合格        
結果: "wmem_max"のカーネル・パラメータチェックに合格しました

チェック: "aio-max-nr"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     1048576                   1048576                   合格        
  discus164     1048576                   1048576                   合格        
結果: "aio-max-nr"のカーネル・パラメータチェックに合格しました

チェック: "make-3.80"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     make-3.81-3.el5           make-3.80                 合格        
  discus164     make-3.81-3.el5           make-3.80                 合格        
結果: "make-3.80"のパッケージの存在チェックに合格しました

チェック: "binutils-2.15.92.0.2"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     binutils-2.17.50.0.6-14.el5  binutils-2.15.92.0.2      合格        
  discus164     binutils-2.17.50.0.6-14.el5  binutils-2.15.92.0.2      合格        
結果: "binutils-2.15.92.0.2"のパッケージの存在チェックに合格しました

チェック: "gcc-3.4.6"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     gcc-4.1.2-48.el5          gcc-3.4.6                 合格        
  discus164     gcc-4.1.2-48.el5          gcc-3.4.6                 合格        
結果: "gcc-3.4.6"のパッケージの存在チェックに合格しました

チェック: "libaio-0.3.105 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-0.3.106-5 (i386)   libaio-0.3.105 (i386)     合格        
  discus164     libaio-0.3.106-5 (i386)   libaio-0.3.105 (i386)     合格        
結果: "libaio-0.3.105 (i386)"のパッケージの存在チェックに合格しました

チェック: "libaio-0.3.105 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-0.3.106-5 (x86_64)  libaio-0.3.105 (x86_64)   合格        
  discus164     libaio-0.3.106-5 (x86_64)  libaio-0.3.105 (x86_64)   合格        
結果: "libaio-0.3.105 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "glibc-2.3.4-2.41 (i686)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-2.5-49.el5_5.6 (i686)  glibc-2.3.4-2.41 (i686)   合格        
  discus164     glibc-2.5-49.el5_5.6 (i686)  glibc-2.3.4-2.41 (i686)   合格        
結果: "glibc-2.3.4-2.41 (i686)"のパッケージの存在チェックに合格しました

チェック: "glibc-2.3.4-2.41 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-2.5-49.el5_5.6 (x86_64)  glibc-2.3.4-2.41 (x86_64)  合格        
  discus164     glibc-2.5-49.el5_5.6 (x86_64)  glibc-2.3.4-2.41 (x86_64)  合格        
結果: "glibc-2.3.4-2.41 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "compat-libstdc++-33-3.2.3 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     compat-libstdc++-33-3.2.3-61 (i386)  compat-libstdc++-33-3.2.3 (i386)  合格        
  discus164     compat-libstdc++-33-3.2.3-61 (i386)  compat-libstdc++-33-3.2.3 (i386)  合格        
結果: "compat-libstdc++-33-3.2.3 (i386)"のパッケージの存在チェックに合格しました

チェック: "compat-libstdc++-33-3.2.3 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     compat-libstdc++-33-3.2.3-61 (x86_64)  compat-libstdc++-33-3.2.3 (x86_64)  合格        
  discus164     compat-libstdc++-33-3.2.3-61 (x86_64)  compat-libstdc++-33-3.2.3 (x86_64)  合格        
結果: "compat-libstdc++-33-3.2.3 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "elfutils-libelf-0.97 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     elfutils-libelf-0.137-3.el5 (x86_64)  elfutils-libelf-0.97 (x86_64)  合格        
  discus164     elfutils-libelf-0.137-3.el5 (x86_64)  elfutils-libelf-0.97 (x86_64)  合格        
結果: "elfutils-libelf-0.97 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "elfutils-libelf-devel-0.97"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.97  合格        
  discus164     elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.97  合格        
結果: "elfutils-libelf-devel-0.97"のパッケージの存在チェックに合格しました

チェック: "glibc-common-2.3.4"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-common-2.5-49.el5_5.6  glibc-common-2.3.4        合格        
  discus164     glibc-common-2.5-49.el5_5.6  glibc-common-2.3.4        合格        
結果: "glibc-common-2.3.4"のパッケージの存在チェックに合格しました

チェック: "glibc-devel-2.3.4 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-devel-2.5-49.el5_5.6 (x86_64)  glibc-devel-2.3.4 (x86_64)  合格        
  discus164     glibc-devel-2.5-49.el5_5.6 (x86_64)  glibc-devel-2.3.4 (x86_64)  合格        
結果: "glibc-devel-2.3.4 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "glibc-headers-2.3.4"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-headers-2.5-49.el5_5.6  glibc-headers-2.3.4       合格        
  discus164     glibc-headers-2.5-49.el5_5.6  glibc-headers-2.3.4       合格        
結果: "glibc-headers-2.3.4"のパッケージの存在チェックに合格しました

チェック: "gcc-c++-3.4.6"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     gcc-c++-4.1.2-48.el5      gcc-c++-3.4.6             合格        
  discus164     gcc-c++-4.1.2-48.el5      gcc-c++-3.4.6             合格        
結果: "gcc-c++-3.4.6"のパッケージの存在チェックに合格しました

チェック: "libaio-devel-0.3.105 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-devel-0.3.106-5 (i386)  libaio-devel-0.3.105 (i386)  合格        
  discus164     libaio-devel-0.3.106-5 (i386)  libaio-devel-0.3.105 (i386)  合格        
結果: "libaio-devel-0.3.105 (i386)"のパッケージの存在チェックに合格しました

チェック: "libaio-devel-0.3.105 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-devel-0.3.106-5 (x86_64)  libaio-devel-0.3.105 (x86_64)  合格        
  discus164     libaio-devel-0.3.106-5 (x86_64)  libaio-devel-0.3.105 (x86_64)  合格        
結果: "libaio-devel-0.3.105 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libgcc-3.4.6 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libgcc-4.1.2-48.el5 (i386)  libgcc-3.4.6 (i386)       合格        
  discus164     libgcc-4.1.2-48.el5 (i386)  libgcc-3.4.6 (i386)       合格        
結果: "libgcc-3.4.6 (i386)"のパッケージの存在チェックに合格しました

チェック: "libgcc-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libgcc-4.1.2-48.el5 (x86_64)  libgcc-3.4.6 (x86_64)     合格        
  discus164     libgcc-4.1.2-48.el5 (x86_64)  libgcc-3.4.6 (x86_64)     合格        
結果: "libgcc-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-3.4.6 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-4.1.2-48.el5 (i386)  libstdc++-3.4.6 (i386)    合格        
  discus164     libstdc++-4.1.2-48.el5 (i386)  libstdc++-3.4.6 (i386)    合格        
結果: "libstdc++-3.4.6 (i386)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-4.1.2-48.el5 (x86_64)  libstdc++-3.4.6 (x86_64)  合格        
  discus164     libstdc++-4.1.2-48.el5 (x86_64)  libstdc++-3.4.6 (x86_64)  合格        
結果: "libstdc++-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-devel-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-devel-4.1.2-48.el5 (x86_64)  libstdc++-devel-3.4.6 (x86_64)  合格        
  discus164     libstdc++-devel-4.1.2-48.el5 (x86_64)  libstdc++-devel-3.4.6 (x86_64)  合格        
結果: "libstdc++-devel-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "sysstat-5.0.5"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     sysstat-7.0.2-3.el5_5.1   sysstat-5.0.5             合格        
  discus164     sysstat-7.0.2-3.el5_5.1   sysstat-5.0.5             合格        
結果: "sysstat-5.0.5"のパッケージの存在チェックに合格しました

チェック: "unixODBC-2.2.11 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-2.2.11-7.1 (i386)  unixODBC-2.2.11 (i386)    合格        
  discus164     unixODBC-2.2.11-7.1 (i386)  unixODBC-2.2.11 (i386)    合格        
結果: "unixODBC-2.2.11 (i386)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-2.2.11 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-2.2.11-7.1 (x86_64)  unixODBC-2.2.11 (x86_64)  合格        
  discus164     unixODBC-2.2.11-7.1 (x86_64)  unixODBC-2.2.11 (x86_64)  合格        
結果: "unixODBC-2.2.11 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-devel-2.2.11 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-devel-2.2.11-7.1 (i386)  unixODBC-devel-2.2.11 (i386)  合格        
  discus164     unixODBC-devel-2.2.11-7.1 (i386)  unixODBC-devel-2.2.11 (i386)  合格        
結果: "unixODBC-devel-2.2.11 (i386)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-devel-2.2.11 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-devel-2.2.11-7.1 (x86_64)  unixODBC-devel-2.2.11 (x86_64)  合格        
  discus164     unixODBC-devel-2.2.11-7.1 (x86_64)  unixODBC-devel-2.2.11 (x86_64)  合格        
結果: "unixODBC-devel-2.2.11 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "pdksh-5.2.14"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     pdksh-5.2.14-36.el5       pdksh-5.2.14              合格        
  discus164     pdksh-5.2.14-36.el5       pdksh-5.2.14              合格        
結果: "pdksh-5.2.14"のパッケージの存在チェックに合格しました

チェック: "expat-1.95.7 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     expat-1.95.8-8.3.el5_5.3 (x86_64)  expat-1.95.7 (x86_64)     合格        
  discus164     expat-1.95.8-8.3.el5_5.3 (x86_64)  expat-1.95.7 (x86_64)     合格        
結果: "expat-1.95.7 (x86_64)"のパッケージの存在チェックに合格しました

UID値0を持つ複数のユーザーをチェック中
結果: UID値0を持つ複数のユーザーのチェックに合格しました

チェック: 現行のグループID 
結果: 現行のグループIDチェックに合格しました
コア・ファイル名パターンの一貫性をチェック中...
コア・ファイル名パターンの一貫性チェックに合格しました。

ユーザー"grid"が"root"グループにないことを確認中
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在しません                    合格                      
  discus164     存在しません                    合格                      
結果: ユーザー"grid"は"root"グループの一部ではありません。チェックに合格しました

デフォルトのユーザー・ファイル作成マスクのチェック
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     0022                      0022                      合格        
  discus164     0022                      0022                      合格        
結果: デフォルトのユーザー・ファイル作成マスクのチェックに合格しました

ネットワーク・タイム・プロトコル(NTP)を使用してクロック同期のチェックを開始中...

NTP構成ファイルのチェックが開始されました...
NTP構成ファイル"/etc/ntp.conf"はすべてのノードで使用できます
NTP構成ファイルのチェックに合格しました

デーモン活性をチェック中...

チェック: "ntpd"の活性
  ノード名                                  実行中ですか                  
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: "ntpd"の活性チェックに合格しました

NTPデーモンのコマンドラインのslewオプション"-x"をチェック中
チェック: NTPデーモン・コマンド・ライン
  ノード名                                  Slewオプションが設定されているか      
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: 
NTPデーモンのslewオプションのチェックに合格しました

ファイル"/etc/sysconfig/ntpd"内のNTPデーモンのブート時構成のslewオプション"-x"をチェック中

チェック: NTPデーモンのブート時構成
  ノード名                                  Slewオプションが設定されているか      
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: 
NTPデーモンのブート時構成のslewオプションのチェックに合格しました

NTP共通タイム・サーバーのチェックが開始されました...
NTPタイム・サーバー"210.173.160.86"は、NTPデーモンが実行されているすべてのノードで共通です
NTPタイム・サーバー"210.173.176.251"は、NTPデーモンが実行されているすべてのノードで共通です
PRVF-5408 : NTPタイム・サーバー"210.173.160.56"は、次のノード"discus264"でのみ共通です
共通NTPタイム・サーバーのチェックに合格しました

NTPタイム・サーバーからのクロック時間オフセットのチェックが開始されました...
ノード"[discus264, discus164]"をチェック中...
チェック: NTP タイム・サーバーからのクロック時間オフセット

タイム・サーバー: 210.173.160.86 
時間オフセット制限: 1000.0 ミリ秒
  ノード名          時間オフセット                   ステータス                   
  ------------  ------------------------  ------------------------
  discus264     -428.02                   合格                      
  discus164     0.164                     合格                      
タイム・サーバー"210.173.160.86"の時間オフセットは、ノード"[discus264, discus164]"の許容限界内です。

タイム・サーバー: 210.173.176.251 
時間オフセット制限: 1000.0 ミリ秒
  ノード名          時間オフセット                   ステータス                   
  ------------  ------------------------  ------------------------
  discus264     -427.36                   合格                      
  discus164     0.417                     合格                      
タイム・サーバー"210.173.176.251"の時間オフセットは、ノード"[discus264, discus164]"の許容限界内です。
クロック時間オフセットのチェックに合格しました

結果: ネットワーク・タイム・プロトコル(NTP)を使用したクロック同期のチェックに合格しました

クラスタ・サービス設定の事前チェックはすべてのノードで失敗しました。

「結果: グループ"dba"内のユーザー"grid"のメンバーシップ・チェックが失敗しました」という箇所は無視可能というかマニュアルにもGrid Infrastructureユーザをdbaグループに属させる必要があると記載されていないので無視でOK.

次に、H/WとOSの設定の事前チェック（RACを構成する全ノードのOracle Grid Infrastructureユーザで実施）

[grid@discus164 grid]$ pwd
/home/grid/software/oracle/grid
[grid@discus164 grid]$ ll
合計 76
drwxr-xr-x  9 grid oinstall 4096  8月 17  2009 doc
drwxr-xr-x  4 grid oinstall 4096 12月  3 11:05 install
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 response
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 rpm
-rwxr-xr-x  1 grid oinstall 3227  8月 15  2009 runInstaller
-rwxrwxr-x  1 grid oinstall 3795  1月 29  2009 runcluvfy.sh
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 sshsetup
drwxr-xr-x 14 grid oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 grid oinstall 4228  8月 18  2009 welcome.html
[grid@discus164 grid]$
[grid@discus164 grid]$
[grid@discus164 grid]$ ./runcluvfy.sh stage -post hwos -n discus164,discus264 -verbose

ハードウェアとオペレーティング・システム設定の事後チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus164"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: ノード"discus164"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...

チェック: ユーザー"grid"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus264                             合格                      
  discus164                             合格                      
結果: ユーザー"grid"のユーザー等価チェックに合格しました

ノード接続性をチェック中...

ホスト構成ファイルをチェック中...
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     合格                                                
  discus164     合格                                                

ホスト構成ファイルの検証に成功しました


ノード"discus264"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.91    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:CC:3B:97 1500  
 eth1   192.168.3.91    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:2F:97:0D 1500  
 eth2   192.168.2.91    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:AD:F8:40 1500  


ノード"discus164"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.90    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:B1:38:96 1500  
 eth1   192.168.3.90    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:FC:A5:8E 1500  
 eth2   192.168.2.90    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:47:E9:2C 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth0                  discus164:eth0                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.1.0"のノード接続性に合格しました


チェック: サブネット"192.168.1.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.1.90          discus264:192.168.1.91          合格              
結果: サブネット"192.168.1.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.3.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth1                  discus164:eth1                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.3.0"のノード接続性に合格しました


チェック: サブネット"192.168.3.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.3.90          discus264:192.168.3.91          合格              
結果: サブネット"192.168.3.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth2                  discus164:eth2                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.2.0"のノード接続性に合格しました


チェック: サブネット"192.168.2.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.2.90          discus264:192.168.2.91          合格              
結果: サブネット"192.168.2.0"のTCP接続性チェックに合格しました


VIPの候補となるサブネット"192.168.1.0"で見つかったインタフェースは次のとおりです:
discus264 eth0:192.168.1.91
discus164 eth0:192.168.1.90

プライベート・インターコネクトの候補となるサブネット"192.168.3.0"で見つかったインタフェースは次のとおりです:
discus264 eth1:192.168.3.91
discus164 eth1:192.168.3.90

プライベート・インターコネクトの候補となるサブネット"192.168.2.0"で見つかったインタフェースは次のとおりです:
discus264 eth2:192.168.2.91
discus164 eth2:192.168.2.90

結果: ノード接続性チェックに合格しました


UID値0を持つ複数のユーザーをチェック中
結果: UID値0を持つ複数のユーザーのチェックに合格しました

ハードウェアとオペレーティング・システム設定の事後チェックは成功しました。 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13
・VirtualBox de Oracle11g R2 RAC #14

VirtualBox de Oracle11g R2 RAC #14

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、ASMlibのインストール及び構成です。（やっと半分w)

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成

[root@discus164 tmp]# uname -a
Linux discus164.macdeoracle.jp 2.6.18-194.17.1.el5 #1 SMP Wed Sep 29 12:50:31 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

CentOS5.5 2.6.18-194.17.1.el5 x86_64なので、以下のasmパッケージをRACを構成する全ノードでインストール、構成する。

oracleasm-support-2.1.3-1.el5.x86_64.rpm
oracleasmlib-2.0.4-1.el5.x86_64.rpm
oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm

ダウンロード（RACを構成する全ノードのrootユーザで）CentOS5.5 x86_64ですが、ダウンロードするのはrhel5 amd64版でOK

[root@discus164 tmp]# wget http://oss.oracle.com/projects/oracleasm-support/dist/files/RPMS/rhel5/amd64/2.1.3/oracleasm-support-2.1.3-1.el5.x86_64.rpm
--2010-11-24 16:19:15--  http://oss.oracle.com/projects/oracleasm-support/dist/files/RPMS/rhel5/amd64/2.1.3/oracleasm-support-2.1.3-1.el5.x86_64.rpm
oss.oracle.com をDNSに問いあわせています... 141.146.12.120
oss.oracle.com|141.146.12.120|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 90444 (88K) [application/x-rpm]
`oracleasm-support-2.1.3-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 90,444       105K/s 時間 0.8s    

2010-11-24 16:19:17 (105 KB/s) - `oracleasm-support-2.1.3-1.el5.x86_64.rpm' へ保存完了 [90444/90444]

[root@discus164 tmp]# wget http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm
--2010-11-24 16:19:30--  http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm
download.oracle.com をDNSに問いあわせています... 203.77.186.253, 203.77.186.254
download.oracle.com|203.77.186.253|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 14176 (14K) [text/plain]
`oracleasmlib-2.0.4-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 14,176      --.-K/s 時間 0.01s   

2010-11-24 16:19:30 (1.33 MB/s) - `oracleasmlib-2.0.4-1.el5.x86_64.rpm' へ保存完了 [14176/14176]

[root@discus164 tmp]# wget
http://oss.oracle.com/projects/oracleasm/dist/files/RPMS/rhel5/amd64/2.0.5/2.6.18-194.17.1.el5/oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm
--2010-11-24 16:19:44-- http://oss.oracle.com/projects/oracleasm/dist/files/RPMS/rhel5/amd64/2.0.5/2.6.18-194.17.1.el5/oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm
oss.oracle.com をDNSに問いあわせています... 141.146.12.120
oss.oracle.com|141.146.12.120|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 137417 (134K) [application/x-rpm]
`oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 137,417      161K/s 時間 0.8s    

2010-11-24 16:19:46 (161 KB/s) - `oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm' へ保存完了 [137417/137417]

[root@discus164 tmp]# 

インストール（RACを構成する全ノードのrootユーザで）

[root@discus164 tmp]# rpm -ivh oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm oracleasm-support-2.1.3-1.el5.x86_64.rpm oracleasmlib-2.0.4-1.el5.x86_64.rpm
警告: oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm: ヘッダ V3 DSA signature: NOKEY, key ID 1e5e0159
準備中...                ########################################### [100%]
   1:oracleasm-support      ########################################### [ 33%]
   2:oracleasm-2.6.18-194.17########################################### [ 67%]
   3:oracleasmlib           ########################################### [100%]
[root@discus164 tmp]# 

構成（RACを構成する全ノードのrootユーザで）

[root@discus164 ˜]# /usr/sbin/oracleasm configure
ORACLEASM_ENABLED=false
ORACLEASM_UID=
ORACLEASM_GID=
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER=""
ORACLEASM_SCANEXCLUDE=""
[root@discus164 ˜]# /usr/sbin/oracleasm configure -i
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting  without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: grid
Default group to own the driver interface []: asmadmin
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
[root@discus164 ˜]# 
[root@discus164 ˜]# /usr/sbin/oracleasm init
Creating /dev/oracleasm mount point: /dev/oracleasm
Loading module "oracleasm": oracleasm
Mounting ASMlib driver filesystem: /dev/oracleasm
[root@discus164 ˜]# 

ASMディスクの作成（RACを構成する１ノードのrootユーザで実行する）
iSCSIとして作成したデバイスへ作成する。

[root@discus164 iscsi]# ls -l /dev/iscsi/*
/dev/iscsi/openfiler:asm1:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdb
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdb1

/dev/iscsi/openfiler:asm2:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdf
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdf1

/dev/iscsi/openfiler:asm3:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sde
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sde1

/dev/iscsi/openfiler:asm4:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdd
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdd1

/dev/iscsi/openfiler:crs1:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdg
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdg1

/dev/iscsi/openfiler:crs2:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdc
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdc1
[root@discus164 iscsi]#
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk CRSVOL1 /dev/iscsi/openfiler:crs1/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk CRSVOL2 /dev/iscsi/openfiler:crs2/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk DATAVOL1 /dev/iscsi/openfiler:asm1/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk DATAVOL2 /dev/iscsi/openfiler:asm2/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk FRAVOL1 /dev/iscsi/openfiler:asm3/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk FRAVOL2 /dev/iscsi/openfiler:asm4/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# 

ASMディスクを確認（RACを構成する全ノードのrootユーザで）
ASMディスクを作成したノード以外で scandisksコマンドを実行して認識させる。

[root@discus264 ˜]# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "FRAVOL2"
Instantiating disk "FRAVOL1"
Instantiating disk "DATAVOL1"
Instantiating disk "CRSVOL2"
Instantiating disk "DATAVOL2"
Instantiating disk "CRSVOL1"
[root@discus264 ˜]# 

listdisksコマンドでASMディスクが認識されたか確認！

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# /usr/sbin/oracleasm listdisks
CRSVOL1
CRSVOL2
DATAVOL1
DATAVOL2
FRAVOL1
FRAVOL2
[root@discus164 ˜]# 

[root@discus264 ˜]# 
[root@discus264 ˜]# 
[root@discus264 ˜]# /usr/sbin/oracleasm listdisks
CRSVOL1
CRSVOL2
DATAVOL1
DATAVOL2
FRAVOL1
FRAVOL2
[root@discus264 ˜]# 

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12
・VirtualBox de Oracle11g R2 RAC #13

VirtualBox de Oracle11g R2 RAC #13

VirtualBox de Oracle11g R2 RACのつづきです。

RACを構成する各ノードの構成ファイルを確認しておきま〜す。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle RACノード構成ファイルの確認

RACを構成する各ノードの構成ファイルをざっと確認。ここまでの作業でRACを構成する各ノードの構成ファイルは以下のようになっているはず…

/etc/hosts

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip

192.168.1.2	lampeye.macdeoracle.jp		lampeye

/etc/security/limits.conf

[root@discus164 security]# diff -u limits.conf.org limits.conf
--- limits.conf.org     2010-03-12 02:24:15.000000000 +0900
+++ limits.conf 2010-11-24 11:10:30.000000000 +0900
@@ -48,3 +48,11 @@
 #@student        -       maxlogins       4
 
 # End of file
+grid soft nproc 2047
+grid hard nproc 16384
+grid soft nofile 1024
+grid hard nofile 65536
+oracle soft nproc 2047
+oracle hard nproc 16384
+oracle soft nofile 1024
+oracle hard nofile 65536
[root@discus164 security]# 

/etc/pam.d/login

[root@discus164 pam.d]# diff -u login.org login
--- login.org   2010-01-20 19:36:29.000000000 +0900
+++ login       2010-11-24 11:16:33.000000000 +0900
@@ -12,3 +12,4 @@
 # pam_selinux.so open should only be followed by sessions to be executed in the user context
 session    required     pam_selinux.so open
 session    optional     pam_keyinit.so force revoke
+session    required     pam_limits.so
[root@discus164 pam.d]# 

/etc/profile

[root@discus164 etc]# diff -u profile.org profile
--- profile.org 2009-09-22 08:27:09.000000000 +0900
+++ profile     2010-11-24 11:21:27.000000000 +0900
@@ -56,3 +56,12 @@
 
 unset i
 unset pathmunge
+if [ $USER = "oracle" ] || [ $USER = "grid" ]; then 
+    if [ $SHELL = "/bin/ksh" ]; then
+        ulimit -p 16384
+        ulimit -n 65536
+    else
+        ulimit -u 16384 -n 65536
+    fi
+    umask 022
+fi
[root@discus164 etc]# 

/etc/sysctl.conf

[root@discus164 ˜]# sysctl -a | grep -E '(se|sh)m|file-max|aio-max-nr|ip_local_port_range|(w|r)mem_(default|max)'
net.ipv4.ip_local_port_range = 32768    61000
net.core.rmem_default = 129024
net.core.wmem_default = 129024
net.core.rmem_max = 131071
net.core.wmem_max = 131071
vm.hugetlb_shm_group = 0
kernel.sem = 250        32000   32      128
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
fs.aio-max-nr = 65536
fs.file-max = 371217
[root@discus164 ˜]# 

/etc/udev/rules.d/55-openiscsi.rules

[root@discus164 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
[root@discus164 ˜]#

/etc/udev/scripts

[root@discus164 ˜]# cd /etc/udev/scripts
[root@discus164 scripts]# cat iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}
[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"
[root@discus164 scripts]# 

/etc/ntp.conf

[root@discus164 ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
#restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
#server 127.127.1.0
#fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
server 192.168.1.2
server 192.168.1.2
server 192.168.1.2
restrict 192.168.1.2 mask 255.255.255.255 nomodify notrap noquery
[root@discus164 ˜]# 

/etc/sysconfig/ntpd

[root@discus164 ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@discus164 ˜]# 

/etc/host.conf

[root@discus164 ˜]$ cat /etc/host.conf
order hosts,bind

Oracle Grid Infrastructureユーザや、Oracle所有者の確認はこちら

念のためにuserとgroupのスナップショットを乗せておきますね。

Openfier側構成(やゾンビセッション抑止などは以前の記事参照のこと）

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11
・VirtualBox de Oracle11g R2 RAC #12

VirtualBox de Oracle11g R2 RAC #12

VirtualBox de Oracle11g R2 RACのつづきです。

今回はRACノード構成ファイルの確認という予定だったのですが、DNSの構成を別建てにして置く事にします。量が多いので (^^;;

構成するDNSは、ローカルネットワークかつRACを構成するノードの管理さえできればいいので、ローカルネームサーバとして機能すれば十分。
ということで、RAC向けローカルネームサーバを構成することにします。（DNSは素人なので調べるほうが大変だったw)

では、さっそくやってみましょう。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

DNSの構成

悩んだのが、DNSをどこにたてるかということ。いろいろ悩んでいたんですが、元ネタの１つからいいアイデアもらいました。
それは、DNSをOpenfiler上に構成するということ。ストレージサーバなのでRACを構成する各ノードより先に起動していますし。:)

最初にやるのはDNSサーバを最新版にアップデートすること。でもでもでもですね。以前痛い目にあっていたのでOpenfilerというかrPath Linuxのパッケージ管理は無効化していたんです。このままじゃDNSの最新パッケージを使えないので一時的に使えるようにします。

Openfilerのパッケージ管理は、conaryというrPath Linux由来のものが利用されています。/etc/conaryrcの内容をすべてコメントアウトして利用できないようしてあります。

[root@arowana2 ˜]# cat /etc/conaryrc
#installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
#pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
#autoResolve True
#includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]# 

コメントアウトしていただけなのですぐに利用できるように戻せるのだ！ :)

[root@arowana2 ˜]# cat /etc/conaryrc
installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
autoResolve True
includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]# 

conaryをつかってbindを最新版にアップデート！！

[root@arowana2 ˜]# conary update bind:runtime

確認！　最新版になりました！

[root@arowana2 ˜]# conary q bind
bind=9.4.3_P5-1.1-1

再び、conaryを無効化しておく。（トラウマなだけで今は安定しているかもしれんw　だけど止めとくw)

[root@arowana2 ˜]# cat /etc/conaryrc
#installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
#pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
#autoResolve True
#includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]# 

Openfiler（host名：arowana2）で、DNSの構成を始めるにあたって参考にしたサイトを書いておきますね。

・Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.7.4 グリッド・ネーミング・サービスの構成例
・Openfiler側にDNSを立てるというアイデアを頂いたサイト。元ネタの１つでもある。
・DNSの素人なりにいろいろググって見つけたすげー参考になったサイト「月刊NetworkWorld連載『DNSの仕組み完全解説』」(ありがとうございます！）

今回構築するRACのネットワーク構成は以前の書いたが以下のように構成する。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus164	Public	192.168.1.90	hostsおよびDNS
discus164-iscsi	Private	192.168.2.90
discus164-priv	Private	192.168.3.90
discus164-vip	Virtual	192.168.1.190
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus264	Public	192.168.1.91	hostsおよびDNS
discus264-iscsi	Private	192.168.2.91
discus264-priv	Private	192.168.3.91
discus264-vip	Virtual	192.168.1.191
SCAN VIP1/2/3
Hostname	タイプ	IP address	名前解決方法
discus-rac64-scan	Virtual	192.168.1.200	DNS
discus-rac64-scan		192.168.1.201
discus-rac64-scan		192.168.1.202
Openfiler2.3(iSCSI) - (hostname=arowana2.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
arowana2	Public	192.168.1.92	hostsおよびDNS
arowana2-priv	Private	192.168.2.92

・DNSの構成

/etc/resolv.confの構成は以下の通り。ローカルipアドレスを利用しているRACの各ノードやOpenfilerは/etc/hostsとdnsで解決できるようにしておきます。ipアドレスはすべて固定です。

[root@arowana2 ˜]# cat /etc/resolv.conf
search macdeoracle.jp
nameserver 192.168.1.92

; Forward Lookup Zone
discus164               IN A            192.168.1.90
discus264               IN A            192.168.1.91
discus164-priv          IN A            192.168.3.90
discus264-priv          IN A            192.168.3.91
discus164-iscsi         IN A            192.168.2.90
discus264-iscsi         IN A            192.168.2.91
discus164-vip           IN A            192.168.1.190
discus264-vip           IN A            192.168.1.191
arowana2                IN A            192.168.1.92
arowana2-priv           IN A            192.168.2.92
discus-rac64-scan       IN A            192.168.1.200
discus-rac64-scan       IN A            192.168.1.201
discus-rac64-scan       IN A            192.168.1.202

; Reverse Lookup Zone
90                      IN PTR          discus164.macdeoracle.jp.
91                      IN PTR          discus264.nacdeiracle,jp.
190                     IN PTR          discus164-vip.macdeoracle.jp.
191                     IN PTR          discus264-vip.macdeoracle.jp.
200                     IN PTR          discus-rac64-scan.macdeoracle.jp.
201                     IN PTR          discus-rac64-scan.macdeoracle.jp.
202                     IN PTR          discus-rac64-scan.macdeoracle.jp.
[root@arowana2 ˜]# 

/etc/named.confの構成。（逆引き／正引きのゾーン設定や上位DNSへの回送設定）
逆引きの設定で、RACで利用しているローカルipアドレス以外はダーミーゾーンに設定しているところがポイント。気になっていたところなのでググってよい参考サイト見つけられてよかった。ほんと感謝、感謝。

[root@arowana2 ˜]# cat /etc/named.conf
# DNS configuration file for Oracle RAC 11g release 2 

options {


    // FORWARDERS:  Forward any name this DNS can't resolve to my router.
    forwarders { 192.168.1.1; };

    // DIRECTORY:   Directory where named will look for zone files.
    directory "/srv/named/data";

	//allow query requests 
    allow-query { 192.168.0.0/22; };
};

# ----------------------------------
# Forward Zone
# ----------------------------------

zone "macdeoracle.jp" IN {
    type master;
    file "macdeoracle.jp.zone";
    allow-update { none; };
};

# ----------------------------------
# Reverse Zone
# ----------------------------------

zone "1.168.192.in-addr.arpa" IN {
    type master;
    file "1.168.192.in-addr.arpa.zone";
    allow-update { none; };
};

zone "168.192.in-addr.arpa" IN {
	type master;
	file "dummy.zone";
	notify no;
};

zone "0.0.127.in-addr.arpa" IN {
	type master;
	file "0.0.127.in-addr.arpa.zone";
	notify no;
};

# ----------------------------------
# private addresses dummy Zone
# ---------------------------------

zone "10.in-addr.arpa" {
	type master;
	file "dummy.zone";
	notify no;
};

zone "16.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "17,172,in-addr.arpa" {
	type master;
	file "dummy.zone";
	notify no;
};

zone "18.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "19.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "20.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "21.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "22.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "23.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "24.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "25.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "26.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "27.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "28.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "29.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "30.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "31.172,in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

[root@arowana2 ˜]# 

・以下、正引き／逆引き用ゾーンファイルの作成
/srv/named/data/macdeoracle.jp.zoneの作成（正引き用ゾーンファイル）

[root@arowana2 ˜]# cat /srv/named/data/macdeoracle.jp.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/macdeoracle.jp.zone                               |
; |                                                                   |
; | Forward zone definition file for macdeoracle.jp zone              |
; +-------------------------------------------------------------------+

$ORIGIN macdeoracle.jp.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.
localhost               IN A        127.0.0.1

; Oracle RAC Nodes
discus164               IN A            192.168.1.90
discus264               IN A            192.168.1.91
discus164-priv          IN A            192.168.3.90
discus264-priv          IN A            192.168.3.91
discus164-iscsi         IN A            192.168.2.90
discus264-iscsi         IN A            192.168.2.91
discus164-vip           IN A            192.168.1.190
discus264-vip           IN A            192.168.1.191

; Network Storage Server
arowana2                IN A            192.168.1.92
arowana2-priv           IN A            192.168.2.92

; Single Client Access Name (SCAN) virtual IP
discus-rac64-scan       IN A            192.168.1.200
discus-rac64-scan       IN A            192.168.1.201
discus-rac64-scan       IN A            192.168.1.202

; Miscellaneous Nodes
lampeye                 IN A            192.168.1.2
[root@arowana2 ˜]# 

/srv/named/data/168.192.in-addr.arpa.zon（逆引き用ゾーンファイル）の作成

[root@arowana2 data]# cat 168.192.in-addr.arpa.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/168.192.in-addr.arpa.zone                         |
; |                                                                   |
; | Reverse zone definition file for 168.192.in-addr.arpa.zone        |
; +-------------------------------------------------------------------+

$ORIGIN 168.192.in-addr.arpa.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.

; Oracle RAC Nodes
90                      IN PTR          discus164.macdeoracle.jp.
91                      IN PTR          discus264.macdeoracle.jp.
190                     IN PTR          discus164-vip.macdeoracle.jp.
191                     IN PTR          discus264-vip.macdeoracle.jp.

; Network Storage Server
92                      IN PTR          arowana2.macdeoracle.jp.

; Single Client Access Name (SCAN) virtual IP
200                     IN PTR          discus-rac64-scan.macdeoracle.jp.
201                     IN PTR          discus-rac64-scan.macdeoracle.jp.
202                     IN PTR          discus-rac64-scan.macdeoracle.jp.

; Miscellaneous Nodes
2                       IN PTR          lampeye.macdeoracle.jp.
[root@arowana2 data]# 

ローカルホスト(127.0.0.1)の逆引きゾーンの定義

[root@arowana2 ˜]# cat /srv/named/data/0.0.127.in-addr.arpa.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/0.0.127.in-addr.arpa.zone                         |
; |                                                                   |
; | Reverse zone definition file for 0.0.127.in-addr.arpa.zone        |
; +-------------------------------------------------------------------+

$ORIGIN 0.0.127.in-addr.arpa.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.

; localhost
1			IN PTR		localhost.
[root@arowana2 ˜]# 

/srv/named/data/dummy.zone（ダミーゾーンファイル）の作成
「月刊NetworkWorld連載『DNSの仕組み完全解説』」の記事を参考にローカルipアドレスの逆引きの問い合わせが外部のDNSに発生しないようにするために利用するダミーゾーンファイルの定義を以下のように作成した。

[root@arowana2 ˜]# cat /srv/named/data/dummy.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/dummy.zone                                        |
; +-------------------------------------------------------------------+


$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        28800       ; refresh        - (2 hours)
        2700        ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        3600        ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.
[root@arowana2 ˜]# 

構成できたらnamedを自動起動設定にしてnamedを起動

[root@arowana2 ˜]# chkconfig named on
[root@arowana2 ˜]# chkconfig --list named
named			0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@arowana2 ˜]# service named start
Starting named:								[  OK  ]

ここまでてdnsの設定はおしまい。前述の作業はすべてOpenfilerを乗せているサーバ上で行った。

つづいて、RACを構成する各ノードでOpenfiler上に構成したローカルネームサーバを参照させるように設定する。
/etc/host.confの構成（RACを構成する全ノード及び、Openfilerを構成したノード）

/etc/hostsを優先させる。/etc/hostsを見てもらうとわかるけど、dnsと重複定義している。無駄と言えばむだだと思うけど。SCAN VIPだけdns管理すればOKなのかってとこまでは見えてないからそれはそれで別途確認だな→TODO

[oracle@discus164 ˜]$ cat /etc/host.conf
order hosts,bind

/etc/hostsの構成（RACを構成する全ノード及び、Openfilerを構成したノード）

[oracle@discus164 ˜]$ cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip


192.168.1.2	lampeye.macdeoracle.jp		lampeye
[oracle@discus164 ˜]$ 

これで準備OK.続いて動作確認！

・正引きテスト

最初に外部サイトが引けるか確認…OK.

[root@discus164 ˜]# nslookup openfiler.com
Server:		192.168.1.92
Address:	192.168.1.92#53

Non-authoritative answer:
Name:	openfiler.com
Address: 84.45.94.236

[root@discus164 ˜]# 

次に内部…

[root@discus164 ˜]# nslookup lampeye 
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   lampeye.macdeoracle.jp
Address: 192.168.1.2

[root@discus164 ˜]# nslookup discus164
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus164.macdeoracle.jp
Address: 192.168.1.90

[root@discus164 ˜]# nslookup discus164-vip
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus164-vip.macdeoracle.jp
Address: 192.168.1.190

[root@discus164 ˜]# nslookup discus264
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus264.macdeoracle.jp
Address: 192.168.1.91

[root@discus164 ˜]# nslookup discus264-vip
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus264-vip.macdeoracle.jp
Address: 192.168.1.191

[root@discus164 ˜]# nslookup discus-rac64-scan
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.201
Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.202
Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.200

[root@discus164 ˜]# nslookup localhost
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   localhost.macdeoracle.jp
Address: 127.0.0.1

・逆引きテスト

[root@discus164 ˜]# nslookup 192.168.1.200
Server:         192.168.1.92
Address:        192.168.1.92#53

200.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.201
Server:         192.168.1.92
Address:        192.168.1.92#53

201.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.202
Server:         192.168.1.92
Address:        192.168.1.92#53

202.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.90
Server:         192.168.1.92
Address:        192.168.1.92#53

90.1.168.192.in-addr.arpa       name = discus164.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.91
Server:         192.168.1.92
Address:        192.168.1.92#53

91.1.168.192.in-addr.arpa       name = discus264.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.190
Server:         192.168.1.92
Address:        192.168.1.92#53

190.1.168.192.in-addr.arpa      name = discus164-vip.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.191
Server:         192.168.1.92
Address:        192.168.1.92#53

191.1.168.192.in-addr.arpa      name = discus264-vip.macdeoracle.jp.


[root@discus164 ˜]# nslookup 127.0.0.1
Server:		192.168.1.92
Address:	192.168.1.92#53

1.0.0.127.in-addr.arpa	name = localhost.

[root@discus164 ˜]# 

これでOK次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10
・VirtualBox de Oracle11g R2 RAC #11

VirtualBox de Oracle11g R2 RAC #11

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、RACノード間リモートアクセスの構成です。
Oracle11g R2 11.2.0.2.0ではパスフレーズなしでSSHを構成する必要があるのですが、OUIが自動構成してくれるということ、また、インストレーションガイドでもOUIの自動構成を利用するよう推奨されているんですが、今回はちょっと意地悪なことをしてみます。事前にパスワード付きでSSHを構成しておき、OUIがパスワードなしのSSH構成行われていないと認識しちゃんと自動構成してくれるか見てみます。

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.13 インストール時におけるSSHの自動構成
Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - E.1 すべてのクラスタ・ノードでの手動によるSSHの構成

では、さっそくやってみましょう。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle RACノード間リモートアクセスの構成
（念のために行った、多分、実施しなくても大丈夫だと思うけど…ちょいと意地悪な実験をしてみた）
sshパッケージの確認。（RACを構成する全ノードで）

[root@discus164 etc]# rpm -qa --queryformat "%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n"| grep ssh
openssh-server-4.3p2-41.el5_5.1 (x86_64)
openssh-askpass-4.3p2-41.el5_5.1 (x86_64)
openssh-clients-4.3p2-41.el5_5.1 (x86_64)
openssh-4.3p2-41.el5_5.1 (x86_64)
[root@discus164 etc]# 

Oracle11g R2 11.2.0.2.0以降ではSSHのユーザの等価化ではパスフレーズなしのみサポートされているのだとか。なんなく面白そうなので、今回は手動でユーザの等価化をわざわざサポートされていないというパスフレーズ付きで実施してみた（ユーザの等価化チェックでエラーとなりOUI側で自動的にパスフレーズなしのユーザ等価化が行われるはず、なのでどうなるか楽しみ！！！）

RACを構成する全ノードのgrid infrastrucreユーザと/oracle所有者で実施する。（Oracle11g 11.2.0.2.0において手動でSSHのユーザ等価化を行う場合、パスフレーズを入力する箇所でパスフレーズを入力せず、[ENTER]キーをタイプすればOKなのですが、今回は、あえてパスフレーズを入力してあります。ログ上ではパスフレーズを入力していないように見えますが.)

[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ mkdir ˜/.ssh
[grid@discus164 ˜]$ chmod 700 ˜/.ssh
[grid@discus164 ˜]$ /usr/bin/ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/grid/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/grid/.ssh/id_dsa.
Your public key has been saved in /home/grid/.ssh/id_dsa.pub.
The key fingerprint is:
ba:bb:09:72:94:94:d6:29:99:12:7f:d2:a6:a6:60:0a grid@discus164.macdeoracle.jp
[grid@discus164 ˜]$ 

[root@discus164 ˜]# 
[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ mkdir ˜/.ssh
[oracle@discus164 ˜]$ chmod 700 ˜/.ssh
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ /usr/bin/ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/oracle/.ssh/id_dsa.
Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.
The key fingerprint is:
88:5d:b0:ec:80:8c:59:ed:22:f7:d8:88:6d:6c:41:1a oracle@discus164.macdeoracle.jp
[oracle@discus164 ˜]$ 

以下の操作はRAC上の１ノードから行えばOK。ただ、gid infrastructureユーザとOracle所有者の両ユーザで行う必要があるのでご注意を。11.2.0.2.0以降では以前のリリースのように神経質にならなくてもいいかもね。sshの構成に関しては……
Oracle Grid Infrastructureユーザから…

[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ touch ˜/.ssh/authorized_keys
[grid@discus164 ˜]$ cd ˜/.ssh
[grid@discus164 .ssh]$ ls -l *.pub
-rw-r--r-- 1 grid oinstall 619 11月 24 13:11 id_dsa.pub
[grid@discus164 .ssh]$ ssh discus164 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus164 (192.168.1.90)' can't be established.
RSA key fingerprint is 15:90:e9:89:98:8e:ed:3f:67:7b:d4:e7:97:6b:58:c5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus164,192.168.1.90' (RSA) to the list of known hosts.
grid@discus164's password: 
[grid@discus164 .ssh]$ ssh discus264 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus264 (192.168.1.91)' can't be established.
RSA key fingerprint is 55:80:d3:23:4f:82:44:4b:b8:89:02:d8:69:31:7e:f5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus264,192.168.1.91' (RSA) to the list of known hosts.
grid@discus264's password: 
[grid@discus164 .ssh]$ scp ˜/.ssh/authorized_keys discus264:.ssh/authorized_keys
grid@discus264's password: 
authorized_keys                                                        100% 1238     1.2KB/s   00:00
[grid@discus164 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[grid@discus164 .ssh]$ 
[grid@discus164 ˜]$ ssh discus164 hostname
Enter passphrase for key '/home/grid/.ssh/id_dsa': 
discus164.macdeoracle.jp
[grid@discus164 ˜]$ ssh discus264 hostname
Enter passphrase for key '/home/grid/.ssh/id_dsa': 
discus264.macdeoracle.jp
[grid@discus164 ˜]$ 

次はOracle所有者で…　11.2.0.2.0以降パスブレーズなしにする必要があるのですがわざと入れてます　(^^)

[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ touch ˜/.ssh/authorized_keys
[oracle@discus164 ˜]$ cd ˜/.ssh
[oracle@discus164 .ssh]$ ls -l *.pub
-rw-r--r-- 1 oracle oinstall 621 11月 24 13:14 id_dsa.pub
[oracle@discus164 .ssh]$ ssh discus164 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus164 (192.168.1.90)' can't be established.
RSA key fingerprint is 15:90:e9:89:98:8e:ed:3f:67:7b:d4:e7:97:6b:58:c5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus164,192.168.1.90' (RSA) to the list of known hosts.
oracle@discus164's password: 
[oracle@discus164 .ssh]$ ssh discus264 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus264 (192.168.1.91)' can't be established.
RSA key fingerprint is 55:80:d3:23:4f:82:44:4b:b8:89:02:d8:69:31:7e:f5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus264,192.168.1.91' (RSA) to the list of known hosts.
oracle@discus264's password: 
[oracle@discus164 .ssh]$ scp ˜/.ssh/authorized_keys discus264:.ssh/authorized_keys
oracle@discus264's password: 
authorized_keys                                                        100% 1242     1.2KB/s   00:00
[oracle@discus164 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[oracle@discus164 .ssh]$ cd
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ ssh discus164 hostname
Enter passphrase for key '/home/oracle/.ssh/id_dsa': 
discus164.macdeoracle.jp

[oracle@discus164 ˜]$ ssh discus264 hostname
Enter passphrase for key '/home/oracle/.ssh/id_dsa': 
discus264.macdeoracle.jp
[oracle@discus164 ˜]$ 

確認！ gird infrastructureユーザとOracle所有者の両方で。

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus164 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_dsa: 
Identity added: /home/oracle/.ssh/id_dsa (/home/oracle/.ssh/id_dsa)
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ ssh discus164 hostname
discus164.macdeoracle.jp
[oracle@discus164 ˜]$ ssh discus264 hostname
discus264.macdeoracle.jp
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
exit
[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ exec /usr/bin/ssh-agent $SHELL
[grid@discus164 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/grid/.ssh/id_dsa: 
Identity added: /home/grid/.ssh/id_dsa (/home/grid/.ssh/id_dsa)
[grid@discus164 ˜]$ ssh discus164 hostname
discus164.macdeoracle.jp
[grid@discus164 ˜]$ ssh discus264 hostname
discus264.macdeoracle.jp
[grid@discus164 ˜]$ 

最後に、sttyコマンドよるインストールエラーメッセージ抑止（全ノードの grid/oracleユーザで実施）

参考：Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.14.5 インストール中にsttyコマンドによって発生するエラーの防止

[grid@discus164 ˜]$ su - oracle
パスワード:
[oracle@discus164 ˜]$ vi .bashrc
[oracle@discus164 ˜]$ cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
        stty intr ^C
fi
[oracle@discus164 ˜]$ 

ここで、やる予定ではなかったのですが、次いでなのでNTPの設定もついでにやっちゃいました。

Host OS側で公開NTPサーバと同期、VirtualBox上に作成したRACを構成する各Guest OSは、Host OSをNTPサーバとして同期する。
このようにしておけば公開NTPサーバを参照するのはHost OSだけなので余計な問い合わせを押さえることができますよね。

RACを構成する全ノード及び、iSCSIでも同じ構成にしてあります。ちなみに、192.168.1.2がHost OS

/etc/ntp.confと/etc/sysconfig/ntpdで構成します。ntpはslewモードで調整するよう設定します。

[root@discus164 ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
#restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
#server 127.127.1.0
#fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
server 192.168.1.2
server 192.168.1.2
server 192.168.1.2
restrict 192.168.1.2 mask 255.255.255.255 nomodify notrap noquery
[root@discus164 ˜]# 

[root@discus164 ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@discus164 ˜]# 

HostOS側は公開NTPサーバと同期するので以下のような設定にしてあります。

[root@lampeye ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 

# Hosts on local network are less restricted.
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server -4 ntp.nict.jp minpoll 8 maxpoll 12
server -4 ntp.nict.jp minpoll 8 maxpoll 12
server -4 ntp.nict.jp minpoll 8 maxpoll 12

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
server 127.127.1.0 #local clock
fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
restrict ntp.nict.jp mask 255.255.255.255 nomodify notrap noquery
[root@lampeye ˜]# 

[root@lampeye ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@lampeye ˜]#

service ntpd restart で再起動。しばらくしてから…

Host OSがntpサーバと同期できているか確認！！

[root@lampeye ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*210.171.226.40  .NICT.           1 u   38 1024  377   10.447   59.103   9.904
 127.127.1.0     .LOCL.          10 l   22   64  377    0.000    0.000   0.001
[root@lampeye ˜]# 

公開NTPサーバと同期できています。:)

次はRACを構成する各ノードでHost OSと同期しているか確認します。"*"が表示されているのでうまくいっているようですね。 :)

[root@discus164 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u   95  128  377    0.179  121.450  39.443
[root@discus164 ˜]# 

[root@discus264 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u    5  128  377    0.288  214.652  43.610
[root@discus264 ˜]# 

[root@arowana2 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u   35  128  377    0.278  -83.188   0.087
[root@arowana2 ˜]# 

ということで次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9
・VirtualBox de Oracle11g R2 RAC #10

VirtualBox de Oracle11g R2 RAC #10

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、カーネルパラメータの調整、その他。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.8 Oracleインストール所有者のシェル制限の構成

前述のマニュアルに従い各構成ファイルを設定します。(RACを構成する全ノードで実施します。)

/etc/security/limits.confの設定（差分を載せています）

[root@discus164 security]# diff -u limits.conf.org limits.conf
--- limits.conf.org     2010-03-12 02:24:15.000000000 +0900
+++ limits.conf 2010-11-24 11:10:30.000000000 +0900
@@ -48,3 +48,11 @@
 #@student        -       maxlogins       4
 
 # End of file
+grid soft nproc 2047
+grid hard nproc 16384
+grid soft nofile 1024
+grid hard nofile 65536
+oracle soft nproc 2047
+oracle hard nproc 16384
+oracle soft nofile 1024
+oracle hard nofile 65536
[root@discus164 security]# 

/etc/pam.d/loginの設定（差分のみ載せています)

[root@discus164 pam.d]# diff -u login.org login
--- login.org   2010-01-20 19:36:29.000000000 +0900
+++ login       2010-11-24 11:16:33.000000000 +0900
@@ -12,3 +12,4 @@
 # pam_selinux.so open should only be followed by sessions to be executed in the user context
 session    required     pam_selinux.so open
 session    optional     pam_keyinit.so force revoke
+session    required     pam_limits.so
[root@discus164 pam.d]# 

/etc/profileの設定（差分のみ載せています）

[root@discus164 etc]# diff -u profile.org profile
--- profile.org 2009-09-22 08:27:09.000000000 +0900
+++ profile     2010-11-24 11:21:27.000000000 +0900
@@ -56,3 +56,12 @@
 
 unset i
 unset pathmunge
+if [ $USER = "oracle" ] || [ $USER = "grid" ]; then 
+    if [ $SHELL = "/bin/ksh" ]; then
+        ulimit -p 16384
+        ulimit -n 65536
+    else
+        ulimit -u 16384 -n 65536
+    fi
+    umask 022
+fi
[root@discus164 etc]# 

メモリ及びスワップの要件確認（RACを構成する全ノードで実施）
Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.2.1 メモリー要件

[root@discus264 ~]# 
[root@discus264 ~]# cat /proc/meminfo | grep MemTotal
MemTotal:      4051640 kB
[root@discus264 ~]# cat /proc/meminfo | grep SwapTotal
SwapTotal:     6094840 kB
[root@discus264 ~]# 

カーネルパラメータの設定（RACを構成する全ノードで実施）
Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.9 カーネル・パラメータの構成

[root@discus164 ~]# sysctl -a | grep -E '(se|sh)m|file-max|aio-max-nr|ip_local_port_range|(w|r)mem_(default|max)'
net.ipv4.ip_local_port_range = 32768    61000
net.core.rmem_default = 129024
net.core.wmem_default = 129024
net.core.rmem_max = 131071
net.core.wmem_max = 131071
vm.hugetlb_shm_group = 0
kernel.sem = 250        32000   32      128
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
fs.aio-max-nr = 65536
fs.file-max = 371217
[root@discus164 ~]# 

変更の必要があるのはsem/file-max/aio-max-nr/ip_local_port_range/rmem/wmenね。マニュアルの推奨値に設定します。
(以下、差分だけ載せています。）

[root@discus164 etc]# diff -u sysctl.conf.org sysctl.conf
--- sysctl.conf.org     2010-11-24 12:17:12.000000000 +0900
+++ sysctl.conf 2010-11-24 12:17:48.000000000 +0900
@@ -33,3 +33,12 @@
 
 # Controls the maximum number of shared memory segments, in pages
 kernel.shmall = 4294967296
+# parameter setting for oracle 
+net.ipv4.ip_local_port_range = 9000 65500
+kernel.sem = 250 32000 100 128
+fs.aio-max-nr = 1048576
+fs.file-max = 6815744
+net.core.rmem_default = 262144
+net.core.rmem_max = 4194304
+net.core.wmem_default = 262144
+net.core.wmem_max = 1048576
[root@discus164 etc]# 
[root@discus164 etc]# 
[root@discus164 etc]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.ip_local_port_range = 9000 65500
kernel.sem = 250 32000 100 128
fs.aio-max-nr = 1048576
fs.file-max = 6815744
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
[root@discus164 etc]# 

次回は、RACノード間リモートアクセスの構成へ続きます！（本場のミソカツ食べたお）

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8
・VirtualBox de Oracle11g R2 RAC #9

VirtualBox de Oracle11g R2 RAC #9

VirtualBox de Oracle11g R2 RACのつづきです。

さて、やっと、Oracle所有者と関連ディレクトリの作成及び環境変数の設定作業まできました〜。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定

Oracle11g R2からOracle Grid Infrastructure（以前はOracle Clusterwareって言われていたやつにASMが組み込まれたと思えばいいのかな？）となり、Oracle所有者以外にOracle Grid Infrastructreユーザの作成が推奨されるようになったので、今回からはOracle所有者に加えてOracle Grid Infrastructureユーザも作成します。

さらに、asmadminやasmdbaといった新顔のグループも必要になり以前より手間が増えてる。 :)

グループの追加方法や、ユーザの作成方法はコマンドでやるもよし、GUIでやるもよし。好きなのを選べばよいと思います。
ノード数が多いとGUIではやらないと思いますけど２ノードですから気にする事ないと思いますよ。:)

で、フループも必要最低限で、oinstall/dba/asmadmin/asmdbaの４グループを作成します。

グループやユーザをコマンドで作成する方法はマニュアルにも記載されていので省略します。
参考：
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56271/prelinux.htm#CFIJDFIB
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56273/pre_install.htm#BABHHEJD
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56271/prelinux.htm#BABBIDCF

以下完成した状態、以下のようになっていればOK.　

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/group | grep -E '(oinstall|dba|asm*)'
oinstall:x:601:oracle,grid
dba:x:602:oracle
asmadmin:x:603:grid
asmdba:x:604:oracle,grid
[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/passwd | grep -E '(oracle|grid)'
oracle:x:601:601:oracle:/home/oracle:/bin/bash
grid:x:602:601:grid:/home/grid:/bin/bash
[root@discus164 ˜]# 
[root@discus164 ˜]# id -a grid
uid=602(grid) gid=601(oinstall) 所属グループ=601(oinstall),603(asmadmin),604(asmdba) context=user_u:system_r:unconfined_t
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# id -a oracle
uid=601(oracle) gid=601(oinstall) 所属グループ=601(oinstall),602(dba),604(asmdba) context=user_u:system_r:unconfined_t

・ORACLE_BASE及びORACLE_HOMEディレクトリの作成

Oracle Grid InfrastructureユーザのORACLE_BASE/ORACLE_HOMEディレクトリ及び、Oracleソフトウェア所有者のORACLE_BASEディレクトリを作成しておきます。

Oracle Grid InfrastrucreユーザのORACLE_BASE=/u01/app/grid、ORACLE_HOME=/u01/app/11.2.0/grid、そして、Oracleソフトウェア所有者のORACLE_BASE=/u01/app/oracle となるように作成しておきます。

RACを構成する全ノードで実施します。

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# mkdir -p /u01/app/grid
[root@discus164 ˜]# mkdir -p /u01/app/11.2.0/grid
[root@discus164 ˜]# chown -R grid:oinstall /u01
[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# mkdir -p /u01/app/oracle
[root@discus164 ˜]# chown -R oracle:oinstall /u01/app/oracle
[root@discus164 ˜]# chmod -R 755 /u01
[root@discus164 ˜]# 

[root@discus264 ˜]#
[root@discus264 ˜]#
[root@discus264 ˜]# mkdir -p /u01/app/grid
[root@discus264 ˜]# mkdir -p /u01/app/11.2.0/grid
[root@discus264 ˜]# chown -R grid:oinstall /u01
[root@discus264 ˜]#
[root@discus264 ˜]#
[root@discus264 ˜]# mkdir -p /u01/app/oracle
[root@discus264 ˜]# chown -R oracle:oinstall /u01/app/oracle
[root@discus264 ˜]# chmod -R 755 /u01
[root@discus264 ˜]#
[root@discus264 ˜]# 

・環境変数

インストールの際には必要最低限の環境変数でいいんだけどね。設定してても問題になった事は、いまのところないのでこの時点で設定しちゃってます。

参考:
http://download.oracle.com/docs/cd/E16338_01/server.112/b56317/admin_ora.htm#i46652

ところで、Oracle11g だけど、ORA_NLS10なんだね。

でも、http://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/server.111/E05816-01/app_initparam.htm#BABGIEFDというGateways系のパラメータではORA_NLS11で同じパスをさすんだけど、紛らわしいから環境変数もORA_NLS11にしちゃえばわかりやすいのにと思うのは私だけ？…

・Oracle Grid Infrastructureユーザの環境変数の例（RACを構成する全ノードのOracle Grid Infrastructureユーザに設定します）

Oracleソフトウェア所有者とはORACLE_SID、ORACLE_BASE環境変数の値が異なっていることに注意！
Oracle Grid InfrastructureユーザはASM管理者でもあるので。

この辺の設定も以前より手間が増えた部分ですね〜。

なお、ついでなので2.14.5 インストール中にsttyコマンドによって発生するエラーの防止対応を行っています。

[grid@discus164 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[grid@discus164 ˜]$  
[grid@discus164 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Grid Infrastructure Owner
#for Grid Infrastructure Owner
# ORACLE_SID : discus164では+ASM1 , discus264では+ASM2をセット
export ORACLE_SID=+ASM1
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_PATH=.:/u01/app/oracle/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[grid@discus264 ˜]$ 
[grid@discus264 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Grid Infrastructure Owner
# ORACLE_SID : discus164では+ASM1 , discus264では+ASM2をセット
export ORACLE_SID=+ASM2
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_PATH=.:/u01/app/oracle/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[grid@discus264 ˜]$ 
[grid@discus264 ˜]$ 

・Oracleソフトウェア所有者の環境変数の例（RACを構成する全ノードのOracleソフトウェア所有者に設定します）

以下、全ノードの設定内容。Oracleソフトウェア所有者の役割はいままで通り。今回作成するデータベースのSIDプリフィックスを orcl にするので
各ノードのORACLE_SID環境変数は orcl1／orcl2 に設定してあります。

[oracle@discus164 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Owner
# ORACLE_SID : discus164ではorcl1 , discus264ではorcl2をセット
export ORACLE_SID=orcl1
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_PATH=.:$ORACLE_BASE/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
# enterprise manager向け　(作成するデータベースユニーク名は:orclなのでorclを設定しておく)
export ORACLE_UNQNAME=orcl
umask 022
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 

[oracle@discus264 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[oracle@discus264 ˜]$
[oracle@discus264 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Owner
# ORACLE_SID : discus164ではorcl1 , discus264ではorcl2をセット
export ORACLE_SID=orcl2
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_PATH=.:$ORACLE_BASE/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[oracle@discus264 ˜]$ 

ということで次回カーネルパラメータなどの設定へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7
・VirtualBox de Oracle11g R2 RAC #8

VirtualBox de Oracle11g R2 RAC #8

VirtualBox de Oracle11g R2 RACのつづきです。

前回はiSCSI targetにローカルデバイス名をマッピングしたとこまででした。今回は前回iSCSIターゲットをマッピングしたローカルデバイスにパーティションを作成します。(
手順は前回と同じなので、そちらも参考に。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成（念のために行った、多分、実施しなくても大丈夫だと思うけど。別途確認する予定）
9. Oracle RACノード構成ファイルの確認
10. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
11. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
12. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
13. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
14. Oracle11g R2 11.2.0.1.0 examplesのインストール
15. Oracle Cluster databaseの作成
16. Net Serviceの確認
17. Oralce Grid InsfastructureとDatabase構成の確認
18. Clusterの開始と停止の確認
19. 簡単なTransparent Application Failover (TAF)の確認

・パーティション

iSCSIターゲットを対応づけたローカルデバイスへfdiskコマンドでパーティションを作成します。

今回は、/dev/iscsi/openfiler:asm1/part、/dev/iscsi/openfiler:asm2/part、/dev/iscsi/openfiler:asm3/part、/dev/iscsi/openfiler:asm4/part、/dev/iscsi/openfiler:crs1/part、/dev/iscsi/openfiler:crs2/partに対して１パーティションを作成し利用可能な全シリンダを割り当てる。
尚、この操作はRACを構成するノードの１ノードからrootユーザとして実施する。

手順は前回の記事を参照のこと。ということで省略します。

最終的に以下の赤字部分の６パーティションが追加されることになります。RACを構成する全ノードで実施。

[root@discus164 ˜]# partprobe
[root@discus164 ˜]# fdisk -l

Disk /dev/sda: 53.6 GB, 53687091200 bytes
255 heads, 63 sectors/track, 6527 cylinders
Units = シリンダ数 of 16065 * 512 = 8225280 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        6527    52323705   8e  Linux LVM

Disk /dev/sde: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sde1               1        1009     2095662   83  Linux

Disk /dev/sdc: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       21504    22020080   83  Linux

Disk /dev/sdd: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       21504    22020080   83  Linux

Disk /dev/sdf: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdf1               1       21504    22020080   83  Linux

Disk /dev/sdg: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdg1               1        1009     2095662   83  Linux

Disk /dev/sdb: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       21504    22020080   83  Linux
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・確認
パーティションの作成が済んだらRACの全ノードでrootユーザとしてパーティションが認識されているか確認する。RACを構成する全ノードで。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cd /dev/disk/by-path; ls -l *openfiler* | awk '{print $9 " " $10 " " $11}'
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0-part1 -> ../../sdb1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0-part1 -> ../../sdc1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0-part1 -> ../../sdd1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0-part1 -> ../../sdf1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sde
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0-part1 -> ../../sde1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sdg
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0-part1 -> ../../sdg1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm1/part -> ../../sdb
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm1/part1 -> ../../sdb1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm2/part -> ../../sdc
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm2/part1 -> ../../sdc1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm3/part -> ../../sdd
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm3/part1 -> ../../sdd1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm4/part -> ../../sdf
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm4/part1 -> ../../sdf1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:crs1/part -> ../../sde
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:crs1/part1 -> ../../sde1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:crs2/part -> ../../sdg
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:crs2/part1 -> ../../sdg1
[root@discus164 ˜]# 

2010/12//20追記
忘れてた、前回気づいたCentOS5.5でのiscsidの問題。これに対処しておかないと、Openfiler側に多数のゾンビセッションが残ってしまうので要注意！

ということで次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5
・VirtualBox de Oracle11g R2 RAC #6
・VirtualBox de Oracle11g R2 RAC #7

VirtualBox de Oracle11g R2 RAC #6

VirtualBox de Oracle11g R2 RACのつづきです。

前回はOpenfiler側でその準備をしたところまででした。今回はOracle RACの各ノードでiSCSIボリュームの構成です。

今回も以前行ったCentOS5.2(x86)内容と同じ手順なのでそちらの記事も参考してくださいね。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成　その１
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・RACを構成する全ノードでiscsi-initiator-utilsがインストールされていることを確認。

インストールされていなかったらyumでインストールしてね。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# yum list installed iscsi-initiator-utils | grep installed
iscsi-initiator-utils.x86_64            6.2.0.871-0.16.el5             installed
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "yum list installed iscsi-initiator-utils | grep installed"
root@discus264's password: 
iscsi-initiator-utils.x86_64            6.2.0.871-0.16.el5             installed
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・iscsiの起動確認、起動してなかったら service iscsi startで起動.

[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi status
iscsid (pid  1998) を実行中...
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi status"
root@discus264's password: 
iscsid (pid  1996) を実行中...
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・自動起動の確認、自動起動になってなかったら chkconfig iscsi on で設定.

[root@discus164 ˜]# chkconfig --list iscsi
iscsi          	0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "chkconfig --list iscsi"
root@discus264's password: 
iscsi          	0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@discus164 ˜]# 
[root@discus164 ˜]#

以下、CentOS5.5では iscsiを起動・停止すればiscsidも起動・停止されるので前述のようになっていればOK.
[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/rc.d/init.d/iscsi | grep iscsid
	status iscsid
		/etc/init.d/iscsid start
	/etc/init.d/iscsid stop
		status iscsid
[root@discus164 ˜]# 
[root@discus164 ˜]# 

/etc/iscsi/initiatorname.iscsiの設定.わかりやすいIQNにするといいですよん。

[root@discus164 ˜]# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2010-10.jp.macdeoracle.discus1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh root@discus264 "cat /etc/iscsi/initiatorname.iscsi"
root@discus264's password: 
InitiatorName=iqn.2010-10.jp.macdeoracle.discus2
[root@discus164 ˜]# 

・iscsi-targetの検出
OpenfilerとRACの各ノードは、VirtualBoxの内部ネットワークアダプタ（VM間でしか通信できない）を利用してprivateネットワークで繋いでおり、Openfiler側で許可したipアドレスからの接続しか受け付けないよう設定していましたよね？、覚えてます？
で、Openfiler側のprivateネットワークのipアドレスは、192.168.2.92と設定したので、 iscsi-targetの検出先は前述のipアドレスということにまります。

なので iscsiadmコマンドの -p パラメータに設定する ipアドレスは 192.168.2.92となっているわけです。

iscsi-targetが検出されました〜！　検出されたiscsi-targetへの接続確認、自動接続設定へと続きます。

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/hosts | grep arowana2-priv
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m discovery -t sendtargets -p 192.168.2.92
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm1
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm4
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm3
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "iscsiadm -m discovery -t sendtargets -p 192.168.2.92"
root@discus264's password: 
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm3
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm1
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm4
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs1
[root@discus164 ˜]# 
[root@discus164 ˜]# 

・iscsi-targetへの手動接続（RACを構成する全ノードで試してください。以下、discus164からの例。)

[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs2 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm1 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm2 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm3 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm4 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# 

ちなみに…手動ログアウトする場合は -l の部分を -u に変えて実行すればOK.

[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 -u
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# 
[root@discus164 ˜]# 

iscsi-targetへの自動接続設定（RACを構成する全ノードで実施します。以下discus164からの例）

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs2 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm1 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm2 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm3 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm4 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]
[root@discus164 ˜]#

ちなみに…手動接続に戻す場合は automatic の部分を manual に変えて実行すればOK.（多分、使う事ないと思いますけど、念のため）

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 --op update -n node.startup -v manual
[root@discus164 ˜]# 
[root@discus164 ˜]# 

自動接続設定がうまく言っているか確認しましょう。
これまでの手順通りに操作していれば、RACを構成する各ノードから各iscsi-targetへ接続されている状態になっているはずです。

まず、サービスを停止してiscsi-targetからログアウトされるか確認してみます。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]#                                        [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi stop"
root@discus264's password: 
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]# 

うまくいきました。次はiscsiサービスを起動して各iscsi-targetへ自動接続されるか確認します。

[root@discus164 ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Starting iSCSI daemon:                                     [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
                                                           [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi start"
root@discus264's password: 
iscsid が停止していますが PID ファイルが残っています
[  OK  ] iSCSI daemon: [  OK  ]
[  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# 

うまく接続できたようです。

最後にOpenfilerの管理画面で接続状態を確認してみます。

参考：http://www.open-iscsi.org/

今日はこの辺で。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4
・VirtualBox de Oracle11g R2 RAC #5

VirtualBox de Oracle11g R2 RAC #5

VirtualBox de Oracle11g R2 RACのつづきです。

Openfiler2.3のインストールとiSCSIボリュームの構成なのですが、VMでもリアルなマシンへのインストールとの違いは無いので詳しくは書きません。以前の記事を参考にしてくださいね。(ネットワーク関連は前回の記事もあわせてご覧ください）

なお、今回Openfier2.3 (x86)向けに作成したVM (x86 red hat linux)は、CPU*2/RAM:2GB/DISK:100GBとしてあります。
Openfiler2.3 (x86)インストール時のパーティションは/bootに100MB、/に4GB、swapにメモリサイズの倍で4GBを配分し、残りの91.9GBを未割当としました。
未割当とした91.9GBをiSCSIボリュームで利用することになります。(この未割当分が大切。この時点ではパーティションに割り当てないで残しておいてね）

NOTE:
この時点では/etc/hostsファイルだけで、DNSは利用していません。Oracle11g R2 11.2.0.1.0 RACインストール事前作業Oracle RACノード間リモートアクセスの構成が終わったあとでDNSの構成を行います。（OpenfilerにDNSを構成することにしたので、このタイミングでDNSの構成とhostsファイルの構成を行うほうがよいとは思うのですが…

Openfiler2.3によるiSCSIボリュームの構成はこちらを参考に…
Mac de Oracle - １０万円未満 de RAC (11g編）#4 - 4. Openfiler2.3によるiSCSIボリュームの構成

以前と違う点は、Oracle11g R2からVoting diskとOCRがASM管理可能となったので全ボリュームをASM管理で行うことにしました。

という１点だけ。(iSCSIボリュームで利用する残り91.9GBをどのような割合で論理ボリュームへ配分したかは後述）

（以前まではOracleの共有ディスク・クラスタ・ファイルシステム(ocfs2)をインストールしていましたが今回は利用しません。Oracle11g R2でもVoting diskとOCRの共有ディスク・クラスタ・ファイルシステム管理は可能なようですが…）

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

以前の記事参照ください…ばかりだと、今回書く事がなくなってしまうのでiSCSIのボリューム構成で今回変えたところを書いておきますね。
（今回はすべてASM管理下に置くので…）

Openfiler2.3(x86)インストール完了後、/etc/hostsに設定した内容は以下の通り。

[root@arowana2 ˜]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost

192.168.1.92	arowana2.macdeoracle.jp		arowana2
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264

192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

192.168.1.2	lampeye.macdeoracle.jp		lampeye
[root@arowana2 ˜]# 

今回作成するiSCSI論理ボリュームおよびターゲット名などは以下の通り。
(Openfilerの構成手順はMac de Oracle - １０万円未満 de RAC (11g編）#4を参照のこと。）

・ネットワークアクセスの構成

前回の書いた通り、iSCSI専用の経路でアクセスできるようdiscus164-iscsiおよびdiscus264-iscsiからのみOpenfilerへ接続できるよう設定した。

・Partitionの作成および、Volume groupの作成

91.9GBの未割当領域を/dev/sda4としてパーティション割当を行った後、rac1というVolume Groupを作成し/dev/sda4を割り当てる。

・論理ボリュームの割当

rac1（前述の操作で作成したVolume Group)を選択し、論理ボリュームを追加する。今回はcrs向けに2GBの論理ボリューム２つ、OracleのData向けに21GBの論理ボリューム２つ、そして、Fast Recovory Area向けに21GBの論理ボリュームを２つを追加作成する。（91.9GBのうち、88GBを利用したので3.9GBほど残っちゃいましたけどね）

・iSCSI Target Qualified Name(IQN)の設定

crs向けに２つ、Oracle data file向けに２つ、Oralce Fast Recovery Area向けに２つのボリュームグループを作成したので、それぞれにiSCSI Target Qualified Nameを割り当てた。

CRS向け - iqn.2006-01.com.openfiler:crs1 および crs2
Oracle Data file向け - iqn.2006-01.com.openfiler:asm1 および　asm2
Oracle Fast Recovery Area向け - iqn.2006-01.com.openfiler:asm3 および asm4

asm1〜4より、data1/2とか fra1/2にしたほうがわかりやすかったですね〜…後から反省。

・Network ACLの設定

RACを構成する２ノードのiscsi用privateネットワーク(discus164-iscsiおよび、discus264-iscsi(からのアクセスを許可するよう設定した。

・LUNマッピング

iSCSI Target Qualified Name(IQN)の設定で作成した各IQNをLUNへマッピングする。
マッピング内容は以下の通り。

ここまでくればiSCSIの準備は終了！

次回へつづく。

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4

VirtualBox de Oracle11g R2 RAC #4

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、VirtuslBoxで作成したRed hat用64bitVMへCentOS5.5 (x86_64)をインストールします。が、もう既に何度も行っていることなのでインストール自体の解説は省略します。足りないパッケージがあればyumで都度インストールでもいいですし :)　端折りすぎと突っ込まれそうだが。
過去になんどか書いているのでそちらを参照していただいてもいいですし、元ネタを参照するもよし。（但し元ネタはOracle Enterprise Linuxですが、同じ系統なのでそれほど違いはないはず…Oracle Enterprise Linuxインスコしたことのないのに言うのもなんなんですが…）

Networkの構成については省略しないで書いてあるので m(_ _)m

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・CentOS5.5のダウンロード、DVDのisoイメージをダウンロードして今後のためにDVDに焼いておいた。MacOS XでisoイメージのDVDを焼く方法は以前の記事を参照のこと。
http://ftp.riken.jp/Linux/centos/5.5/isos/x86_64/CentOS-5.5-x86_64-bin-DVD-1of2.iso
http://ftp.riken.jp/Linux/centos/5.5/isos/x86_64/CentOS-5.5-x86_64-bin-DVD-2of2.iso

CentOS5.5になったからといって、特にインストール方法に大きな違いはないので詳細は以前の記事や、元ネタなどをご参考に。（元ネタはOracle Enterprise Linuxを利用していますが、系統は同じRed hatなので注意点などほぼ同じだと思います。）ちょっとだけ書いてくと、今回作成したCentOS5.5 x86_64用VMはメモリ4GB、DISK容量50GBを割り当てているので、swapはメモリと同サイズの4GB、/bootには100MB、残りを/へ配分しました。
また、SELinuxはPermissiveモード、FirewallはDisableにしておくというのはお約束なのでお忘れなく。FirewallをEnableにしたままだといろいろとハマりまるのでしっかりチェックしておくと吉ですよん。（ハマった人→私）

Oracle11g R2からネットワーク要件が変りネットワーク周りは大切なのでしっかり書いておきますね。
適当に書いた配置図も参照のこと。）また、IPv6はOFFで固定IPとしています。(IPv6はOFFにしなくても問題ないですが、今回のネタでは不要なので。)

以下、Openfiler(iSCSI)のノードも含めたネットワーク構成は以下。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアタプタ）	192.168.1.90	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.90	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用)、ギガビット
eth2（ネットワークアダプタ：内部ネットワーク）	192.168.3.90	255.255.255.0	プライベートネットワーク用(Interconnect用）、ギガビット
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアダプタ）	192.168.1.91	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.91	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用）、ギガビット
eth2（ネットワークアダプタ：内部ネットワーク）	192.168.3.91	255.255.255.0	プライベートネットワーク用(Interconnect用）、ギガビット
iSCSIを構成するノード (hostname=arowana2.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアダプタ）	192.168.1.92	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.92	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用）、ギガビット

上記を元に以下のドキュメントをおよび元ネタなどを参考に、hostsおよびDNSを利用して固定IPアドレスでネットワークを構成することにした。

・Oracle Grid Infrastructureインストレーション・ガイド　11gリリース2（11.2）for Linux - 2.7.2.2 手動で構成する場合のIPアドレス要件

独り言：
２ノードRACでなぜ、3つのSCAN VIPが推奨されているのかは、未だによく理解できていない？？？？　２ノードRACだから２じゃだめなの？　３つだと何がおしいいの？
どんどん謎は深まる…。だれか教えてw　どっかにSCAN VIPってなにがおいしいのか２ノードRACで３つのSCAN VIPが推奨される理由が書いてある資料ないのかな〜。３ノード以上のRACだとSCAN VIPをどの程度増やせばおいしくなるの〜などなど？？？？w

・Oracle Grid Infrastructureインストレーション・ガイド　11gリリース2（11.2）for Linux - 2.7.5 手動によるIPアドレスの構成例

・http://www.oracle.com/technetwork/articles/hunter-rac11gr2-iscsi-088677.html

・http://www.idevelopment.info/data/Oracle/DBA_tips/Oracle11gRAC/CLUSTER_12.shtml

前述のマニュアルなどを参考に今回構築する全ノードのhostsファイルやDNS構成の概要は以下の通り。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus164	Public	192.168.1.90	hostsおよびDNS
discus164-iscsi	Private	192.168.2.90
discus164-priv	Private	192.168.3.90
discus164-vip	Virtual	192.168.1.190
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus264	Public	192.168.1.91	hostsおよびDNS
discus264-iscsi	Private	192.168.2.91
discus264-priv	Private	192.168.3.91
discus264-vip	Virtual	192.168.1.191
SCAN VIP1/2/3
Hostname	タイプ	IP address	名前解決方法
discus-rac64-scan	Virtual	192.168.1.200	DNS
discus-rac64-scan		192.168.1.201
discus-rac64-scan		192.168.1.202
Openfiler2.3(iSCSI) - (hostname=arowana2.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
arowana2	Public	192.168.1.92	hostsおよびDNS
arowana2-priv	Private	192.168.2.92

ということで次回へつづく。
（こちらの都合で慌てて書いたので、おそらくいつもよりタイポとか誤字脱字、リンク先ミスなどが多いかもしれない…気づいたら後で修正します！）

2010/12/9追記：
hostsファイルとDNSで同じ名前解決するのってどうなんだろーって思っておりますが…hosts優先だし…。まあ、そのまんまでいきます。はい。
で、インストール後、各ノードの/etc/hostsはどう設定したかというと…

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip

192.168.1.2	lampeye.macdeoracle.jp		lampeye

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3

VirtualBox de Oracle11g R2 RAC #3

VirtualBox de Oracle11g R2 RACのつづきです。

以下のような内容で進めていきます。ほぼ元ネタに近いですけどね :)

前々回、前回と少々構成もあるあるていど書いてますが、全体像をまとめて書いておきますね。

1. ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
2. Linux (CentOS 5.5 x86_64)のインストール
3. Openfiler2.3 x86のインストール
4. Openfiler2.3 x86によるiSCSIボリュームの構成
5. Oracle RACノードでのiSCSIボリュームの構成
6. Oracle所有者と関連ディレクトリの作成及び環境変数の設定
7. Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
8. Oracle RACノード間リモートアクセスの構成とntpの構成
   （sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…ついでなので、ちょいと意地悪な実験をしてみた）
9. ローカルネームサーバの構成
10. Oracle RACノード構成ファイルの確認
11. Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
12. Oracle11g R2 11.2.0.1.0 RACインストール事前作業
13. Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
14. Oracle11g R2 11.2.0.1.0 Database softwareのインストール
15. Oracle11g R2 11.2.0.1.0 examplesのインストール
16. Oracle Cluster databaseの作成
17. Net Serviceの確認
18. Oralce Grid InsfastructureとDatabase構成の確認
19. Clusterの開始と停止の確認
20. 簡単なTransparent Application Failover (TAF)の確認

・Hardware

・CPU - Intel Core i7-980X Extreme Edition 3.33Ghz (6 core / 12 thread) * 1
・Memory - 12GB (2GB * 6)
・Disk - S-ATA2 1TB * 2
・NIC - on board Gbit NIC * 1
グラフィックカードは気にしてなかったので安めの、 NVIDIA GeForce GTS 250 (512MB)

上記PCで3つのVMを起動するので結構いっぱいいっぱいなのでクライアントはいつものようにMacを使います。
MacProの12-Core (2.66GHz 6コア Intel Xeon"Westmere" * 2）ってお化けPCがもうちょっと早く発表されてたらな〜、Mac上でVM作って楽しめたんだがタイミングの問題なのでしかたない　
＞＜

・Software

・Host OS - CentOS5.5 (kernel 2.6.18-194.17.1.el5) x86_64
・System virtual machine software - VirtualBox 3.2.8 x86_64 for Linux

---

・Guest OS (for iSCSI) - Openfiler2.3 x86 (rPath Linux)

・DNS - bind9.4.3_P5-1.1-1 (rPath Linuxのソフトウェア管理ツールであるconaryを利用してインストールします）

・Guest OS (for RAC) - CentOS5.5 x86_64 (kernel 2.6.18-194.17.1.el5)

・Oracle11g R2 11.2.0.1.0 (Database/Grid Infrastructure/Examples) for Linux x86_64
・oracleasm-support-2.1.3-1.el5 (x86_64)
・oracleasmlib-2.0.4-1.el5 (x86_64)
・oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5 (x86_64)

VMの構成は前回の通りなのだが、一応書いておくと

・Openfiler2.3 x86向けVMの構成
ネットワークアダプタ１をブリッジアダプタで定義してPublicネットワーク用に利用し、ネットワークアダプタ１は内部ネットワークとして定義しPrivateネットワーク用(iSCSIのアクセス用)に利用する。
ちなみに、VirtualBoxの内部ネットワークは、VM間でのみ通信できるアダプタなのでInterConnectなどのPrivateネットワーク向きなんじゃないかと思っている。

・OSタイプ - Red Hat (32bit仮想マシン)
・メインメモリ - 2GB (ちょいと少なめ)
・プロセッサ数 - 2
・SATAポート0 - 100GB
・ネットワークアダプタ1 - Intel PRO/1000 MT Desktop (ブリッジアダプタ - eth0)
・ネットワークアダプタ2 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)

・各RACノードのCentOS5.5 x86_64向けVMの構成
Openfiler向けVMと同様にネットワークアダプタ１はブリッジアダプタとして定義して、Publicネットワークとして利用し、ネットワーク２は内部ネットワークで定義してiSCSI用のPrivateネットワーク。ネットワークアダプタ３も内部ネットワークとして定義し、Interconnect用Privateネットワークとして使う。

・OSタイプ - Red Hat (64bit仮想マシン)
・メインメモリ - 4GB
・プロセッサ数 - 4
・SATAポート0 - 50GB
・ネットワークアダプタ1 - Intel PRO/1000 MT Desktop (ブリッジアダプタ - eth0)
・ネットワークアダプタ2 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)
・ネットワークアダプタ3 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)

ということで次回へつづく。

---

これまでのあらずすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…

VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…

VirtualBox de Oracle11g R2 RACの続きです。

構築記録の詳細は後にして、最初に事前調査など（Oracle11g R2でいろいろと変わってるところあるので…）

・hangcheck-timerカーネル・モジュール

Oracle11g R1まではhangcheck-timerカーネル・モジュールが必要となっていたが、Oracle11g R2では不要となっている。
（Oracle11g R1でも当初不要とマニュアルに記載されていたが、後に必要と訂正されていた。おそらくフライングね)

・RACノード間の時刻同期

Cluster Time Synchronization Service (CTSS)という新機能が追加され、NTPで時刻合わせできない環境やNTPを利用しない環境でも時刻同期できるようになった。

が、今回はNTPで時刻合わせするのでCTSSは使わない

・Single Client Access Name (SCAN) VIP

SCANなるものが登場した。まだ勉強不足でSCANを使うと何がどうおいしいのか理解できていないのであとでちゃんと読むw

参考：

http://www.oracle.com/technology/global/jp/products/database/clustering/pdf/scan.pdf

・ネットワーク要件

前述のSCAN VIPの構成にも関わるが、以下のマニュアルによれば固定IP方式である場合、hostsファイルおよび、DNSという構成で対応できるということは確認できたので、今回は、hostsファイル＋DNSという構成にすることにした。

参考：

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.7.5 手動によるIPアドレスの構成例

・ソフトウェア要件

いつもの通りCentOS5.5 x86_86を利用するのでRed Hadt系のソフトウェア要件を参考に…

参考：

Oracle Grid Infrastructureインストレーション・ガイド11gリリース2（11.2）for Linux 2.8.2 x86-64 - Linuxプラットフォームでのソフトウェア要件
Oracle Databaseクイック・インストレーション・ガイド 11gリリース2（11.2） for Linux x86-644 - ソフトウェア要件の確認

・ストレージ

Oracle11g R2からOracle ClusterファイルもASM管理化に置くことができるようになったので、OpenfilerのiSCSIのボリュームをすべてASM管理にしちゃう。
Oracle11g R1の時はOracle Clusterファイルだけocfs2を利用していたが、今回はocsf2のインストール・構成は不要になった。

参考：

Oracle Grid Infrastructureインストレーション・ガイド11gリリース2（11.2）for Linux 3.1.3 - サポートされている記憶域オプション

・仮想NIC

以前はまではInterconnect用とiSCSI用を兼用させていたけど、今回はそれぞれに個別にVNICを割り当てて使う。
どうせ仮想だからお金かからないのがいいところw リアルな環境だと予算の都合上できないことも簡単に試せる :)

2010/12/3追記：
・SSHユーザの等価関係の有効化

OUIでパスフレーズなしのユーザ等価関係の有効化を自動的にやってくれるようになったみたい。信用しないわけじゃないんだけどとりあえず、Oracle11g R1までのように手動でもやっとく。

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux- E.1 すべてのクラスタ・ノードでの手動によるSSHの構成

という、ざっくりとした方針だけ決めてVirtualBox de Oracle11g R2 RACを構築〜。

以下、Openfier2.3 (x86)とRACのノードに利用するCentOS5.5(x86_64)向けVM構成（VirtualBox3.2.8を利用した3.2.10リリースされてるけど）のスナップショットなど…。

ちなみに、VirtualBox3.2.10と3.2.12でいろいろbug fixされてるけど、3.2.8のままで。

・Openfiler2.3 (iSCSI)に利用するVM構成は以下の通り。
※100GBのディスクにx86_64なんて名称をつけちゃってますが32bitの仮想マシンです！

・Oracle11g R2 x86_64の各ノードで利用するCentOS5.5 x86_64向けVM構成は以下の通り。
※こちらは64bitの仮想マシンです。

次回へつづく。

---

これまでのあらずすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

---

・VirtualBox de Oracle11g R2 RAC #1

VirtualBox de Oracle11g R2 RAC #1

前回VirtualBoxでOracle11g R1 RACを試したので今回はOracle11g R2 2ノードRACをVirtualBox上に構築してみた。

Oracle11g R1 RACをVirtualBox上に構築した際にも発生したdbcaの最後に表示される確認ダイアログを表示したまま固まるという状況があったものの今回もデータベースは作成されていた。
前回はdbcaの最後に表示される確認ダイアログで固まった後に強制終了させ、dbcaでデータベースの作成／削除を数度行い時間を要したもののハング？したような状態から正常に復帰したためそれ以外はなにも行わなかったのだが、今回はハング状態からVMを強制終了／起動してみた。
結果オーライという感じなのだが、dbcaの処理は終わっていたようで問題なくインスタンスが起動したのにはニッコリ！

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 11月 29 21:54:50 2010

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SQL> conn system@orcl
パスワードを入力してください: 
接続されました。
SQL> 
SQL> 
SQL> select * from gv$version;

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> 

以下、前回よりもさらに適当に書いてしまった感じのする配置図。（雰囲気が伝われば問題ないのでこんなところで勘弁して〜w)

Oracle11g R2からGrid Infrastructure (Oracle11g R1までのOracle ASM + Oracle Clusterware)になりDNSまたはGNS(Grid Naming Service)が必要だってことで、iSCSIで利用しているOpenfiler上でDNSを構成したこと、および、RACを構成するノードごとVNICを３つ作成し、1つはPublicネットワーク用、1つはInterconnect専用用、そしてもう１つは、iSCSIストレージアクセス専用としたところがポイント。（ちなみに、InterconnectとiSCSIはprivateネットワークとしてVirtualBoxの内部ネットワークアダプタを利用した）

参考にしたブログでは、nslookupを改造しちゃってDNSを使わない方法なんかもあったが今回はDNSを利用した。(普段やらないからDNSの構成ファイルの記述方法調べんのが一番めんどくさかったw)
SCAN (Single Client Access Name)を利用するのにDNSかGNSが必須なんですよー。新しい用語増え過ぎw

参考：

・SCANの解説でわかりやすい資料はこれかも↓
http://www.oracle.com/technology/global/jp/products/database/clustering/pdf/scan.pdf

・インストールおよび構成で参考にした記事
http://www.oracle.com/technetwork/articles/hunter-rac11gr2-iscsi-088677.html
http://www.idevelopment.info/data/Oracle/DBA_tips/Oracle11gRAC/CLUSTER_12.shtml

---

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

VirtualBox de RAC (Oracle11g R1編）#2

VirtualBox de RAC (Oracle11g R1編）の続きです。
試していて気付いた問題点やハマった点が幾つかあったので備忘録として残しておきますね。

まず最初はCentOS5.5でのiscsidの問題。

この問題、iscsiデバイスを利用しているCentOS5.5をshutdown/rebootすると停止時に以下のようなメッセージを表示した後、いきなりHALTしてしまう。Openfiler側が起動しっぱなりしの場合は、大量のゾンビセッションが残ってしまい 気付かないと大変なことになってしまうという、なかなかスリリングな事象なのでご用心を。

私の場合、停止時のエラーメッセージに気付き、Openfiler側のセッションがゾンビだらけで驚いた！〜っていうとこで気付いた。

ググってみたら、これは、Red hat Linux/CentOS 5.5でのバグということが判明。
暫定的な対処方法はいつくかあるが、私の環境では、/etc/init.d/iscsiを書き換え、run level 0/1/6でなにもしないで抜ける部分をコメントアウトして対処した。

ちなみに、run level 0/1/6以外ならiscsiは正しく動作してます。以下、stop/startで正しくiscsiが実行されてLogout/Logonが成功している状態。

[root@discus164  ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164  ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Starting iSCSI daemon:                                     [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
                                                           [  OK  ]
[root@discus164  ˜]# 

この場合はなんの問題もないわけです。が…

ところが、対処前のCentOS5.5では、shutdown/reboot時に以下のログが表示されLogoutできずOpenfiler側のセッションがゾンビ化する。

Unmounting pipe file systems:                              [  OK  ]
 connection2:0: ping timeout of 5 secs expired, recv timeout 5, last rx 4300342437, last ping 4300347437, now 4300352437
 connection2:0: detected conn error (1011)
 connection1:0: ping timeout of 5 secs expired, recv timeout 5, last rx 4300342437, last ping 4300347437, now 4300352439
 connection1:0: detected conn error (1011)
 connection4:0: ping timeout of 5 secs expired, recv timeout 5, last rx 4300342437, last ping 4300347437, now 4300352449
 connection4:0: detected conn error (1011)
 connection3:0: ping timeout of 5 secs expired, recv timeout 5, last rx 4300342437, last ping 4300347437, now 4300352463
 connection3:0: detected conn error (1011)
 connection5:0: ping timeout of 5 secs expired, recv timeout 5, last rx 4300342437, last ping 4300347437, now 4300352472
 connection5:0: detected conn error (1011)
 connection6:0: ping timeout of 5 secs expired, recv timeout 5, last rx 4300342437, last ping 4300347437, now 4300352474
 connection6:0: detected conn error (1011)
Unmounting file systems:                                   [  OK  ]
Halting system...

スクリーンショットは以下

前述の問題の対処として/etc/init.d/iscsiを修正する方法を選択した。diffは以下のとおり。

[root@discus164 ˜]# diff -u /etc/init.d/iscsi.org /etc/init.d/iscsi
--- /etc/init.d/iscsi.org   2010-03-31 22:26:39.000000000 +0900
+++ /etc/init.d/iscsi       2010-10-31 01:33:12.000000000 +0900
@@ -35,10 +35,10 @@

        # If this is a final shutdown/halt, do nothing since
        # lvm/dm, md, power path, etc do not always handle this
-       if [ "$RUNLEVEL" = "6" -o "$RUNLEVEL" = "0" -o "$RUNLEVEL" = "1" ]; then
-               success
-               return
-       fi
+       #if [ "$RUNLEVEL" = "6" -o "$RUNLEVEL" = "0" -o "$RUNLEVEL" = "1" ]; then
+       #       success
+       #       return
+       #fi

        # don't turn off iscsi if root is possibly on a iscsi disk
        rootopts=$(awk '{ if ($1 !˜ /^[ \t]*#/ && $2 == "/") { print $4; }}' /etc/mtab)

修正後は以下のとおり問題なくiscsiのセッションがlogoutされている ;)

参考：

Stray Penguin - Linux Memo (iSCSi) - シャットダウン/リブート時のSCSI cache エラー
Red Hat Bugzilla – Bug 583218

---

これまでのあらずじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1

Mac de Oracle - １０万円未満 de RAC (11g編）改め、 VirtualBox de RAC (Oracle11g R1編） #1

いままでいろいろと遊んでいたPCやうちの奥さんのPCがじゃまになってきたのでCore i7 980x (6 core / ハイパースレッディングを使って12CPU）というやつ１台に集約！。

さすがに"１０万円未満 de"はとは言えなくなった(購入金額をVM数で割ってもちょいと足がでるが、電気代とか占有スペースとか必要に応じてVM作って遊べるのでお得だ。）ので、VirtualBox de RACと改名いたしましたw

とは言っても、Oracle11g R1 EE for Linux x86でiSCSIを使うというのは同じで、違うのは全部VMっていうところだけ。
手順もMac de Oracle - １０万円未満 de RAC (11g編）と同じ（OCFS2やASMlibのバージョンはCentOSのバージョンに対応する最新のものを利用しています。）なのでVM使ってて悩んだ所などを中心に書く予定。

・CPU - Intel Core i7-980X Extreme Edition 3.33Ghz (6 core / 12 thread) * 1
・Memory - 12GB (2GB * 6)
・Disk - S-ATA2 1TB * 2
・NIC - on board Gbit NIC
グラフィックカードは気にしてなかったので安めの、 NVIDIA GeForce GTS 250 (512MB)