Mac De Oracle

投稿日時 2011年1月 6日 (木) 06時01分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2011年1月 5日 (水)

VirtualBox de Oracle11g R2 RAC #22

VirtualBox de Oracle11g R2 RACのつづき。

ラス前です :) cluster databaseの起動停止確認。

Clusterの開始と停止の確認

Grid Infrastructureは自動起動にしてますが、手動起動、停止を確認しておきます。

rootユーザにてcrsctlコマンドでclusterを起動します。データベースインスタンスはOracle所有者でsrvctlコマンドを利用して起動してみます。
(ちなみに、rootユーザには、grid infrastructureのHOMEのbinへパスを通してあります。）

[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************
discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl start cluster -all
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************


discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.FRA.dg
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        OFFLINE OFFLINE                                                   
      2        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[root@discus164 ˜]#

データベースインスタンスを起動します。

[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl start database -d orcl
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
logout

[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource ora.orcl.db 
NAME=ora.orcl.db
TYPE=ora.database.type
TARGET=ONLINE             , ONLINE
STATE=ONLINE on discus164, ONLINE on discus264

[root@discus164 ˜]#

起動しましたね :)

最後に、データベースインスタンスは起動したままの状態で、clusterを停止／起動し、再び、データベースインスタンスが起動した状態になるかを確認しておきます。
Oracle Restartってんでしたっけ？　この機能。

まず、データベースインスタンスは起動したまま、Grid Infrastructureを停止(全ノードを停止）します。

[root@discus164 ˜]# crsctl stop cluster -all
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています
CRS-2673: 'ora.crsd'('discus264')の停止を試行しています
CRS-2790: 'discus264'上にある、Cluster Ready Services管理下のリソースのシャットダウンを開始しています
CRS-2673: 'ora.LISTENER.lsnr'('discus264')の停止を試行しています
CRS-2790: 'discus164'上にある、Cluster Ready Services管理下のリソースのシャットダウンを開始しています
CRS-2673: 'ora.LISTENER.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN2.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN3.lsnr'('discus164')の停止を試行しています
CRS-2673: 'ora.CRS.dg'('discus164')の停止を試行しています
CRS-2673: 'ora.LISTENER_SCAN1.lsnr'('discus264')の停止を試行しています
CRS-2673: 'ora.orcl.db'('discus164')の停止を試行しています
CRS-2673: 'ora.CRS.dg'('discus264')の停止を試行しています
CRS-2673: 'ora.orcl.db'('discus264')の停止を試行しています
CRS-2673: 'ora.registry.acfs'('discus264')の停止を試行しています
CRS-2673: 'ora.registry.acfs'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER.lsnr'('discus264')の停止が成功しました
CRS-2673: 'ora.discus264.vip'('discus264')の停止を試行しています
CRS-2677: 'ora.LISTENER_SCAN1.lsnr'('discus264')の停止が成功しました
CRS-2673: 'ora.scan1.vip'('discus264')の停止を試行しています
CRS-2677: 'ora.discus264.vip'('discus264')の停止が成功しました
CRS-2677: 'ora.scan1.vip'('discus264')の停止が成功しました
CRS-2677: 'ora.LISTENER_SCAN3.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.scan3.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.discus164.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.LISTENER_SCAN2.lsnr'('discus164')の停止が成功しました
CRS-2673: 'ora.scan2.vip'('discus164')の停止を試行しています
CRS-2677: 'ora.scan3.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.discus164.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.scan2.vip'('discus164')の停止が成功しました
CRS-2677: 'ora.registry.acfs'('discus264')の停止が成功しました
CRS-2677: 'ora.registry.acfs'('discus164')の停止が成功しました
CRS-2677: 'ora.CRS.dg'('discus264')の停止が成功しました
CRS-2677: 'ora.CRS.dg'('discus164')の停止が成功しました
CRS-2677: 'ora.orcl.db'('discus264')の停止が成功しました
CRS-2673: 'ora.DATA.dg'('discus264')の停止を試行しています
CRS-2673: 'ora.FRA.dg'('discus264')の停止を試行しています
CRS-2677: 'ora.FRA.dg'('discus264')の停止が成功しました
CRS-2677: 'ora.orcl.db'('discus164')の停止が成功しました
CRS-2673: 'ora.DATA.dg'('discus164')の停止を試行しています
CRS-2673: 'ora.FRA.dg'('discus164')の停止を試行しています
CRS-2677: 'ora.DATA.dg'('discus264')の停止が成功しました
CRS-2673: 'ora.asm'('discus264')の停止を試行しています
CRS-2677: 'ora.asm'('discus264')の停止が成功しました
CRS-2673: 'ora.eons'('discus264')の停止を試行しています
CRS-2673: 'ora.ons'('discus264')の停止を試行しています
CRS-2677: 'ora.DATA.dg'('discus164')の停止が成功しました
CRS-2677: 'ora.ons'('discus264')の停止が成功しました
CRS-2673: 'ora.net1.network'('discus264')の停止を試行しています
CRS-2677: 'ora.net1.network'('discus264')の停止が成功しました
CRS-2677: 'ora.FRA.dg'('discus164')の停止が成功しました
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2677: 'ora.eons'('discus264')の停止が成功しました
CRS-2792: 'discus264'上にある、Cluster Ready Services管理下のリソースのシャットダウンが完了しました
CRS-2673: 'ora.eons'('discus164')の停止を試行しています
CRS-2673: 'ora.ons'('discus164')の停止を試行しています
CRS-2677: 'ora.crsd'('discus264')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus264')の停止を試行しています
CRS-2673: 'ora.ctssd'('discus264')の停止を試行しています
CRS-2673: 'ora.evmd'('discus264')の停止を試行しています
CRS-2673: 'ora.asm'('discus264')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus264')の停止が成功しました
CRS-2677: 'ora.evmd'('discus264')の停止が成功しました
CRS-2677: 'ora.ctssd'('discus264')の停止が成功しました
CRS-2677: 'ora.asm'('discus264')の停止が成功しました
CRS-2673: 'ora.cssd'('discus264')の停止を試行しています
CRS-2677: 'ora.cssd'('discus264')の停止が成功しました
CRS-2673: 'ora.diskmon'('discus264')の停止を試行しています
CRS-2677: 'ora.diskmon'('discus264')の停止が成功しました
CRS-2675: 'ora.ons'('discus164')の停止に失敗しました
CRS-2679: 'ora.ons'('discus164')のクリーニングを試行しています
CRS-2681: 'ora.ons'('discus164')のクリーニングが成功しました
CRS-2673: 'ora.net1.network'('discus164')の停止を試行しています
CRS-2677: 'ora.net1.network'('discus164')の停止が成功しました
CRS-2677: 'ora.eons'('discus164')の停止が成功しました
CRS-2792: 'discus164'上にある、Cluster Ready Services管理下のリソースのシャットダウンが完了しました
CRS-2677: 'ora.crsd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus164')の停止を試行しています
CRS-2673: 'ora.ctssd'('discus164')の停止を試行しています
CRS-2673: 'ora.evmd'('discus164')の停止を試行しています
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus164')の停止が成功しました
CRS-2677: 'ora.evmd'('discus164')の停止が成功しました
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2677: 'ora.ctssd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssd'('discus164')の停止を試行しています
CRS-2677: 'ora.cssd'('discus164')の停止が成功しました
CRS-2673: 'ora.diskmon'('discus164')の停止を試行しています
CRS-2677: 'ora.diskmon'('discus164')の停止が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl check cluster -all
**************************************************************
discus164:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
discus264:
CRS-4535: Cannot communicate with Cluster Ready Services
CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
CRS-4534: Cannot communicate with Event Manager
**************************************************************
[root@discus164 ˜]# 
[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status database -d orcl
PRCD-1027 : データベースorclの取得に失敗しました
PRCR-1070 : リソース ora.orcl.dbが登録されているかどうかの確認に失敗しました
Cannot communicate with crsd
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
logout

では、起動しま〜す。

[oracle@discus164 ˜]$ 
[root@discus164 ˜]# crsctl start cluster -all
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
[root@discus164 ˜]# 
[root@discus164 ˜]# crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  OFFLINE      discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  INTERMEDIATE discus164                FAILED OVER         
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  OFFLINE                                                   
      2        ONLINE  OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164

ora.LISTENER_SCAN1.lsnr/ora.discus264.vipの両リソースがノードdiscus164からノードdiscus264へ移動し、ノードdiscus164でデータベースインスタンスが起動しました…

・・・中着・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164

最後にノードdiscus264でもデータベースインスタンスが起動し、crsctl stop cluster -allで停止する以前の状況になっています。 :)

・・・中略・・・
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164

ということで起動／停止の確認終了！

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 5日 (水) 15時41分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

VirtualBox de Oracle11g R2 RAC #21

VirtualBox de Oracle11g R2 RACのつづき。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oralce Grid InsfastructureとDatabase構成の確認

OUIやらなんやらがいろいろと構成してくれたりしてくれてるので確認方法の確認って感じですが…

Oracle所有者にて実行…

[oracle@discus164 ˜]$
[oracle@discus164 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus164で実行中です。
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status instance -d orcl -n discus164
インスタンスorcl1はノードdiscus164で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status instance -d orcl -n discus264
インスタンスorcl2はノードdiscus264で実行中です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status nodeapps
VIP discus164-vipは有効です
VIP discus164-vipはノードで実行中です: discus164
VIP discus264-vipは有効です
VIP discus264-vipはノードで実行中です: discus264
ネットワークは有効です
ネットワークはノードで実行中です: discus164
ネットワークはノードで実行中です: discus264
GSDは無効です
GSDはノードで実行されていません: discus164
GSDはノードで実行されていません: discus264
ONSは有効です
ONSデーモンはノードで実行中です: discus164
ONSデーモンはノードで実行中です: discus264
eONSは有効です
eONSデーモンはノードで実行中です:discus164
eONSデーモンはノードで実行中です:discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status vip -n discus164
VIP discus164-vipは有効です
VIP discus164-vipはノードで実行中です: discus164
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status vip -n discus264
VIP discus264-vipは有効です
VIP discus264-vipはノードで実行中です: discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status asm -a
ASMはdiscus164,discus264で実行中です
ASMは有効です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status listener -n discus164
リスナーLISTENERはノードで有効です: discus164
リスナーLISTENERはノードで実行中です: discus164
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status listener -n discus264
リスナーLISTENERはノードで有効です: discus264
リスナーLISTENERはノードで実行中です: discus264
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status scan
SCAN VIP scan1は有効です
SCAN VIP scan1はノードdiscus264で実行されています
SCAN VIP scan2は有効です
SCAN VIP scan2はノードdiscus164で実行されています
SCAN VIP scan3は有効です
SCAN VIP scan3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status scan_listener
SCANリスナーLISTENER_SCAN1は有効です
SCANリスナーLISTENER_SCAN1はノードdiscus264で実行されています
SCANリスナーLISTENER_SCAN2は有効です
SCANリスナーLISTENER_SCAN2はノードdiscus164で実行されています
SCANリスナーLISTENER_SCAN3は有効です
SCANリスナーLISTENER_SCAN3はノードdiscus164で実行されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status srvpool -a
サーバー・プール名: Free
アクティブ・サーバー数: 0
アクティブ・サーバー名: 
サーバー・プール名: Generic
アクティブ・サーバー数: 2
アクティブ・サーバー名: discus164,discus264
NAME=discus164 STATE=ONLINE
NAME=discus264 STATE=ONLINE
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status server -n discus164,discus264 -a
サーバー名: discus164
サーバーの状態: ONLINE
アクティブなサーバー・プール: Generic ora.orcl
サーバーの状態の詳細: 
サーバー名: discus264
サーバーの状態: ONLINE
アクティブなサーバー・プール: Generic ora.orcl
サーバーの状態の詳細: 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status oc4j
OC4Jは無効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g DATA -a
ディスク・グループDATAはdiscus164,discus264で実行中です
ディスク・グループDATAは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g CRS -a
ディスク・グループCRSはdiscus164,discus264で実行中です
ディスク・グループCRSは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl status diskgroup -g FRA -a
ディスク・グループFRAはdiscus164,discus264で実行中です
ディスク・グループFRAは有効です
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$

構成の確認…

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config database -d orcl -a
一意のデータベース名: orcl
データベース名: orcl
Oracleホーム: /u01/app/oracle/product/11.2.0/dbhome_1
Oracleユーザー: oracle
spfile: +DATA/orcl/spfileorcl.ora
ドメイン: macdeoracle.info
開始オプション: open
停止オプション: immediate
データベース・ロール: PRIMARY
管理ポリシー: AUTOMATIC
サーバー・プール: orcl
データベース・インスタンス: orcl1,orcl2
ディスク・グループ: DATA,FRA
サービス: 
データベースは有効です
データベースは管理者によって管理されています
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config nodeapps -a -g -s
VIPが存在します。:discus164
VIPが存在します。: /discus164-vip/192.168.1.190/255.255.255.0/eth0
VIPが存在します。:discus264
VIPが存在します。: /discus264-vip/192.168.1.191/255.255.255.0/eth0
GSDが存在します。
ONSデーモンは存在します。ローカル・ポート6100、リモート・ポート6200
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config asm -a
ASMホーム: /u01/app/11.2.0/grid
ASMリスナー: LISTENER
ASMは有効です。
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config listener -a
名前: LISTENER
ネットワーク: 1、所有者: grid
ホーム: <CRS home>
  ノードdiscus264,discus164の/u01/app/11.2.0/grid
エンド・ポイント: TCP:1521
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config scan
SCAN名: discus-rac64-scan.macdeoracle.jp、ネットワーク: 1/192.168.1.0/255.255.255.0/eth0
SCAN VIP名: scan1、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.200
SCAN VIP名: scan2、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.201
SCAN VIP名: scan3、IP: /discus-rac64-scan.macdeoracle.jp/192.168.1.202
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config scan_listener
SCANリスナーLISTENER_SCAN1は存在します。ポート: TCP:1521
SCANリスナーLISTENER_SCAN2は存在します。ポート: TCP:1521
SCANリスナーLISTENER_SCAN3は存在します。ポート: TCP:1521
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ srvctl config srvpool
サーバー・プール名: Free
重要度: 0、最小: 0、最大: -1
候補サーバー名: 
サーバー・プール名: Generic
重要度: 0、最小: 0、最大: -1
候補サーバー名: discus164,discus264
[oracle@discus164 ˜]$

Grid Infrastructureユーザにて実行…

[grid@discus164 ˜]$ crsctl check cluster -all
**************************************************************
discus164:
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
**************************************************************
discus264:
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
**************************************************************
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check ctss
CRS-4700: クラスタ時刻同期化サービスはオブザーバ・モードになっています。
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl check css
CRS-4529: Cluster Synchronization Servicesがオンラインです
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl status serverpool
NAME=Free
ACTIVE_SERVERS=

NAME=Generic
ACTIVE_SERVERS=discus164 discus264

NAME=ora.orcl
ACTIVE_SERVERS=discus164 discus264

[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   8f431fe5d1304fd9bf6ad331d3aef536 (ORCL:CRSVOL1) [CRS]
1の投票ディスクを検出しました。
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    

[grid@discus164 ˜]$

あれ、perlでエラーメッセージでてるけどご愛嬌 :)

[grid@discus164 ˜]$ asmcmd
ASMCMD> 
ASMCMD> 
ASMCMD> lsdg -g
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 42.
Inst_ID  State    Type    Rebal  Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
      1  MOUNTED  EXTERN  N         512   4096  1048576      4092     3694                0            3694              0             N  CRS/
      2  MOUNTED  EXTERN  N         512   4096  1048576      4092     3694                0            3694              0             N  CRS/
      1  MOUNTED  NORMAL  N         512   4096  1048576     43006    37436                0           18718              0             N  DATA/
      2  MOUNTED  NORMAL  N         512   4096  1048576     43006    37436                0           18718              0             N  DATA/
      1  MOUNTED  NORMAL  N         512   4096  1048576     43006    42336                0           21168              0             N  FRA/
      2  MOUNTED  NORMAL  N         512   4096  1048576     43006    42336                0           21168              0             N  FRA/
ASMCMD> 
ASMCMD> lsct -g
Instance_ID  DB_Name  Status     Software_Version  Compatible_version  Instance_Name  Disk_Group
          1  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM1          CRS       
          1  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM1          DATA      
          2  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM2          CRS       
          2  +ASM     CONNECTED        11.2.0.1.0          11.2.0.1.0  +ASM2          DATA      
          1  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl1          DATA      
          1  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl1          FRA       
          2  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl2          DATA      
          2  orcl     CONNECTED        11.2.0.1.0          11.2.0.0.0  orcl2          FRA       
ASMCMD> 
ASMCMD> ls -g
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Use of uninitialized value in string comparison (cmp) at /u01/app/11.2.0/grid/lib/asmcmdbase.pm line 3420, <STDIN> line 46.
Inst_ID  Name
      1  CRS/
      2  CRS/
      1  DATA/
      2  DATA/
      1  FRA/
      2  FRA/
ASMCMD> 
ASMCMD> lsof 
DB_Name  Instance_Name  Path                                    
+ASM     +ASM1          +crs.255.4294967295                          
orcl     orcl1          +data/orcl/controlfile/current.256.739409625 
orcl     orcl1          +data/orcl/datafile/sysaux.260.739409693     
orcl     orcl1          +data/orcl/datafile/system.259.739409647     
orcl     orcl1          +data/orcl/datafile/undotbs1.261.739409729   
orcl     orcl1          +data/orcl/datafile/undotbs2.263.739409753   
orcl     orcl1          +data/orcl/datafile/users.264.739409767      
orcl     orcl1          +data/orcl/onlinelog/group_1.257.739409631   
orcl     orcl1          +data/orcl/onlinelog/group_2.258.739409637   
orcl     orcl1          +data/orcl/onlinelog/group_3.265.739412213   
orcl     orcl1          +data/orcl/onlinelog/group_4.266.739412217   
orcl     orcl1          +data/orcl/tempfile/temp.262.739409741       
orcl     orcl1          +fra/orcl/controlfile/current.256.739409629  
orcl     orcl1          +fra/orcl/onlinelog/group_1.257.739409635     
orcl     orcl1          +fra/orcl/onlinelog/group_2.258.739409643     
orcl     orcl1          +fra/orcl/onlinelog/group_3.259.739412215     
orcl     orcl1          +fra/orcl/onlinelog/group_4.260.739412225     
ASMCMD>

最後にSQL*Plusから

SYS> l
  1  select
  2    inst_id
  3   ,instance_name
  4   ,parallel
  5   ,status
  6   ,database_status
  7   ,active_state
  8   ,host_name
  9  from
 10*   gv$instance
SYS> 
SYS> /

   INST_ID INSTANCE_NAME    PAR STATUS	     DATABASE_STATUS   ACTIVE_ST HOST_NAME
---------- ---------------- --- ------------ ----------------- --------- ------------------------------
	 1 orcl1	    YES OPEN	     ACTIVE	       NORMAL	 discus164.macdeoracle.jp
	 2 orcl2	    YES OPEN	     ACTIVE	       NORMAL	 discus264.macdeoracle.jp

SYS>

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 5日 (水) 14時14分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

VirtualBox de Oracle11g R2 RAC #20

VirtualBox de Oracle11g R2 RACのつづき。

データベースも無事？作成できたので、今回はNet Serviceの確認を。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Net Serviceの確認

まず、クライアントになるMacOS X Snow LeopardのOracle10g R2 Instant Client側の設定(tnsnames.ora)から。

tnsnames.oraにVirtualBox上に構築したRACに接続するため以下ように定義した。
接続識別子ORCLはVirtualBox上に構築した際、自動生成された部分を複製し、残り２つの定義はRACの各ノードを個別に狙って接続するため接続識別子ORCL1/ORCL2を定義した。

discus:˜ oracle$ diff -u $TNS_ADMIN/tnsnames.ora.org $TNS_ADMIN/tnsnames.ora
--- /Users/Shared/instantclient_10_2/tnsnames.ora.org	2011-01-04 22:34:28.000000000 +0900
+++ /Users/Shared/instantclient_10_2/tnsnames.ora	2011-01-04 22:57:31.000000000 +0900
@@ -10,3 +10,32 @@
     )
   )
 
+# Oracle11g R2 11.2.0.1.0 RAC for Linux x86_64 / VirtualBox 
+ORCL =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+    )
+  )
+
+ORCL2 =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+      (INSTANCE_NAME = orcl2)
+    )
+  )
+
+ORCL1 =
+  (DESCRIPTION =
+    (ADDRESS = (PROTOCOL = TCP)(HOST = discus-rac64-scan.macdeoracle.jp)(PORT = 1521))
+    (CONNECT_DATA =
+      (SERVER = DEDICATED)
+      (SERVICE_NAME = orcl.macdeoracle.info)
+      (INSTANCE_NAME = orcl1)
+    )
+  )
discus:˜ oracle$

接続テスト

事前にscan vipがどのような状態か確認しておく。

[oracle@discus164 ˜]$ srvctl status scan
SCAN VIP scan1は有効です
SCAN VIP scan1はノードdiscus264で実行されています
SCAN VIP scan2は有効です
SCAN VIP scan2はノードdiscus164で実行されています
SCAN VIP scan3は有効です
SCAN VIP scan3はノードdiscus164で実行されています
[oracle@discus164 ˜]$

[root@discus164 ˜]# crsctl status resource -w 'TYPE co scan' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[root@discus164 ˜]#

MacOS X Snow LeopardのSQL*PlusからVirtualBox上のOracle11g R2 11.2.0.1.0 RACへの接続テスト。

discus:˜ oracle$ sqlplus /nolog

SQL*Plus: Release 10.2.0.4.0 - Production on 火 1月 4 23:16:53 2011

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

SQL> -- ロードバランシングで適当なインスタンスへ接続される。この場合インスタンス２に接続した
SQL> conn scott/tiger@orcl
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> -- ２度目はインスタンス１に接続した。（うまくいってる！）
SQL> conn scott/tiger@orcl
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- インスタンス１(orcl1)を狙った接続！ OK.
SQL> conn scott/tiger@orcl1 
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- 念のためもう一度。狙ったインスタンスへ接続している。
SQL> conn scott/tiger@orcl1
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SQL> -- インスタンス２(orcl2)を狙った接続！ OK.
SQL> conn scott/tiger@orcl2
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL> -- 念のためもう一度！。狙ったインスタンスへ接続している。
SQL> conn scott/tiger@orcl2
接続されました。
SQL> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SQL>

リモートからのも接続OK :)

以下、RACインスタンスのバージョン情報、Client側情報としてSQL*Plusのバージョン及び、OSのバージョン情報。

SQL> select * from gv$version; 

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL> !sqlplus -v

SQL*Plus: Release 10.2.0.4.0 - Production

SQL> !system_profiler SPSoftwareDataType | grep 'System Version'
      System Version: Mac OS X 10.6.5 (10H574)

SQL>

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

参考:
http://brianbontrager.blogspot.com/2009/09/learning-asm-breakin-rules-or-running.html

投稿日時 2011年1月 5日 (水) 12時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

VirtualBox de Oracle11g R2 RAC #16の番外編

VirtualBox de Oracle11g R2 RAC #16の番外編として、Oracle11g R2 11.2.0.1.0のOracle Grid Infrastructureをdeinstallツールのログを備忘録として残しておきます。　:)

[grid@discus164 deinstall]$ ./deinstall
Checking for required files and bootstrapping ...
Please wait ...
Location of logs /tmp/deinstall2010-12-01_08-36-01-午後/logs/

############ ORACLE DEINSTALL & DECONFIG TOOL START ############


######################## CHECK OPERATION START ########################
インストールの構成確認の開始


Oracleホームの場所が存在するかどうかを確認しています /u01/app/11.2.0/grid
選択された削除対象のOracleホームのタイプ: CRS
選択された削除対象のOracleベース: /u01/app/grid
中央インベントリの場所が存在するかどうかを確認しています /u01/app/oraInventory
Oracle Grid Infrastructureホームが存在するかどうかを確認しています /u01/app/11.2.0/grid
次のノードはこのクラスタの一部です: discus164,discus264

インストールの構成確認の終了

Traces log file: /tmp/deinstall2010-12-01_08-36-01-午後/logs//crsdc.log

ネットワーク構成チェック構成START

ネットワーク構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/netdc_check7323528496868837695.log

構成解除するすべてのRACリスナーを指定してください[LISTENER]:

ネットワーク構成チェック構成END

ASMチェック構成START

ASM構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/asmcadc_check7638050551281896899.log

このOracleホーム/u01/app/11.2.0/gridで自動ストレージ管理(ASM)インスタンスが検出されました。
ASM診断先: /u01/app/grid
ASMディスク・グループ: +CRS
ディスク・グループは削除されます
ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループおよびそのコンテンツが削除されます。これは、
このASMインスタンスを使用するすべてのデータベースおよびACFSに影響します。
 既存のディスク・グループを保持する場合、または検出された情報が正しくない場合、'y'と入力することにより、変更できます。前述の情報(y|n)を変更しますか [n]: y
ASMの診断先を指定してください [/u01/app/grid]: 
このASMインスタンスによって管理されているディスク・グループを指定してください [+CRS]: 

ASMを構成解除すると、クリーンアップ時にすべてのディスク・グループが削除されます。構成解除ツールでディスク・グループy|nを削除しますか [y]: y


######################### CHECK OPERATION END #########################


####################### CHECK OPERATION SUMMARY #######################
Oracle Grid Infrastructureホーム: /u01/app/11.2.0/grid
Oracleホームが存在するクラスタ・ノード: (ノードを","で区切って入力してください。例: node1,node2,...)discus164,discus264
選択された削除対象のOracleホーム: /u01/app/11.2.0/grid
Oracleホームが登録されているインベントリの場所: /u01/app/oraInventory
次のRACリスナーが構成解除されます: LISTENER
ASMインスタンスはこのOracleホームから構成解除されます
続行しますか (y - はい、n - いいえ)[n]: y
このセッションのログは/tmp/deinstall2010-12-01_08-36-01-午後/logs/deinstall_deconfig2010-12-01_08-36-34-PM.outに書き込まれます
このセッションのすべてのエラー・メッセージは/tmp/deinstall2010-12-01_08-36-01-午後/logs/deinstall_deconfig2010-12-01_08-36-34-PM.errに書き込まれます

######################## CLEAN OPERATION START ########################
ASM構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/asmcadc_clean4713857881917098991.log
ASMクリーンアップ構成START
ASMクリーンアップ構成END

ネットワーク構成クリーニング構成START

ネットワーク構成解除トレース・ファイルの場所: /tmp/deinstall2010-12-01_08-36-01-午後/logs/netdc_clean533226112421006626.log

RACリスナーの構成解除: LISTENER

リスナーの構成解除: LISTENER
    リスナーを停止しています: LISTENER
    リスナーの停止に成功しました。
    リスナーを登録解除しています: LISTENER
    リスナーの登録解除に成功しました。
リスナーは正常に構成解除されました。

すべてのノードでネーミング・メソッド構成ファイルの構成解除中です...
ネーミング・メソッド構成ファイルが正常に構成解除されました。 

すべてのノードでローカル・ネット・サービス名構成ファイルの構成解除中です...
ローカル・ネット・サービス名構成ファイルが正常に構成解除されました。 

すべてのノードでディレクトリ使用構成ファイルの構成解除中です...
ディレクトリ使用構成ファイルが正常に構成解除されました。 

すべてのノードでバックアップ・ファイルの構成解除中です...
バックアップ・ファイルが正常に構成解除されました。 

ネットワーク構成が正常にクリーンアップされました。

ネットワーク構成クリーニング構成END


---------------------------------------->

ノード"discus264"のrootユーザーまたは管理者として次のコマンドを実行します。


/tmp/deinstall2010-12-01_08-36-01-午後/perl/bin/perl -I/tmp/deinstall2010-12-01_08-36-01-午後/perl/lib -I/tmp/deinstall2010-12-01_08-36-01-午後/crs/install /tmp/deinstall2010-12-01_08-36-01-午後/crs/install/rootcrs.pl -force  -delete -paramfile /tmp/deinstall2010-12-01_08-36-01-午後/response/deinstall_Ora11g_gridinfrahome1.rsp

ノード"discus164"のrootユーザーまたは管理者として次のコマンドを実行します。

/tmp/deinstall2010-12-01_08-36-01-午後/perl/bin/perl -I/tmp/deinstall2010-12-01_08-36-01-午後/perl/lib -I/tmp/deinstall2010-12-01_08-36-01-午後/crs/install /tmp/deinstall2010-12-01_08-36-01-午後/crs/install/rootcrs.pl -force  -delete -paramfile /tmp/deinstall2010-12-01_08-36-01-午後/response/deinstall_Ora11g_gridinfrahome1.rsp -lastnode

前述のコマンドを実行した後、[Enter]を押します

<----------------------------------------

Oracle Universal Installerクリーンアップの開始

Oracleホーム'/u01/app/11.2.0/grid'をローカル・ノードの中央インベントリからデタッチします : 終了

ローカル・ノードのディレクトリ'/u01/app/11.2.0/grid'を削除します : 終了

ローカル・ノードのディレクトリ'/u01/app/oraInventory'を削除します : 終了

ローカル・ノードのディレクトリ'/u01/app/grid'を削除します : 終了

Oracleホーム'/u01/app/11.2.0/grid'をリモート・ノード'discus264'の中央インベントリからデタッチします : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/11.2.0/grid'を削除します : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/oraInventory'を削除します : 終了

リモート・ノード'discus264'のディレクトリ'/u01/app/grid'を削除します : 終了

Oracle Universal Installerのクリーンアップが成功しました。

Oracle Universal Installerクリーンアップの終了


Oracleインストール・クリーンアップの開始

インストールのクリーンアップ操作により、ノードdiscus164の一時ディレクトリ/tmp/installを削除しています
インストールのクリーンアップ操作により、ノードdiscus264の一時ディレクトリ/tmp/installを削除しています

Oracleインストール・クリーンアップの終了


######################### CLEAN OPERATION END #########################


####################### CLEAN OPERATION SUMMARY #######################
ASMインスタンスはOracleホームから正常に構成解除されました
次のRACリスナーが正常に構成解除されました: LISTENER
Oracleクラスタウェアはノード"discus164"で停止され、正常に構成解除されています
Oracleクラスタウェアはノード"discus264"で停止され、正常に構成解除されています
Oracleクラスタウェアは正常に停止および構成解除されています。
Oracleホーム'/u01/app/11.2.0/grid'がローカル・ノードの中央インベントリから正常にデタッチされました。
ローカル・ノードのディレクトリ'/u01/app/11.2.0/grid'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/oraInventory'が正常に削除されました。
ローカル・ノードのディレクトリ'/u01/app/grid'が正常に削除されました。
Oracleホーム'/u01/app/11.2.0/grid'がリモート・ノード'discus264'の中央インベントリから正常にデタッチされました。
リモート・ノード'discus264'のディレクトリ'/u01/app/11.2.0/grid'が正常に削除されました。
リモート・ノード'discus264'のディレクトリ'/u01/app/oraInventory'が正常に削除されました。
リモート・ノード'discus264'のディレクトリ'/u01/app/grid'が正常に削除されました。
Oracle Universal Installerのクリーンアップが成功しました。


セッション終了時にノード'discus164,discus264'でrootとして'rm -rf /etc/oraInst.loc'を実行します。

Oracleインストールにより、一時ディレクトリが正常にクリーンアップされました。
#######################################################################


############# ORACLE DEINSTALL & DECONFIG TOOL END #############

[grid@discus164 deinstall]$

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 5日 (水) 00時00分 Linux, RAC, Oracle Database 11g, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2011年1月 4日 (火)

VirtualBox de Oracle11g R2 RAC #19

VirtualBox de Oracle11g R2 RACのつづき。

いよいよデータベースの作成です。 :)

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle Cluster databaseの作成

映像を見てもお分かりだと思いますが、VirtualBox上でクラスタデータベースを作成するとほぼ１００％、DBCAの最後のダイアログを表示後DBCAを起動したVMが固まります。
Oracle11g R1 RACをVirtualBox上で構築した時と同じ症状です。DBCAのダイアログ上、データベースは作成されましたと表示されているのでそれを信じるばかり (^^;;;

念のため１時間ほど放置したあと、固まったVMは強制終了、残るノードはCentOSをシャットダウンします。その後、Openfiler、RACの両ノードを起動します。（ノード間の処理で固まっているようで実は処理に時間を要していることがなんどかあったので…念のため）

grid infrastructureユーザからcrsctlコマンドで状態を確認した結果は以下。（ちなみに、VM再起動後の状態）

[grid@discus164 ˜]$ crsctl status resource -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.DATA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.FRA.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.orcl.db
      1        ONLINE  ONLINE       discus164                Open                
      2        ONLINE  ONLINE       discus264                Open                
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ˜]$

[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 11月 30 14:54:50 2010

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SQL> conn / as sysdba
パスワードを入力してください: 
接続されました。
SQL> set linesize 132
SQL> select * from gv$version;

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL>

ふ〜、なんとかできたようですね。　とりあえず遊べそうです。

次回へつづく。　Grid Infrastructure周りはもっと調べないと…覚える必要のあることはまだまだ多い (^^;;

Oracle Clusterware管理およびデプロイメント・ガイド 11gリリース2（11.2非推奨のサブプログラムまたはコマンド…このマニュアルもちゃんと読んでおかないとな。＞＜

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 4日 (火) 03時39分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2011年1月 3日 (月)

VirtualBox de Oracle11g R2 RAC #18

VirtualBox de Oracle11g R2 RACのつづきです。

インストールしなくてもいいんだけどいろいろと試したくなったときは便利なので、次いでにexamplesもインストール。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 examplesのインストール

[oracle@discus164 database]$ 
[oracle@discus164 database]$ 
[oracle@discus164 database]$ cd ../examples
[oracle@discus164 examples]$ ll
合計 48
drwxr-xr-x  7 oracle oinstall 4096  8月 12  2009 doc
drwxr-xr-x  4 oracle oinstall 4096  8月 15  2009 install
drwxrwxr-x  2 oracle oinstall 4096  8月 15  2009 response
-rwxr-xr-x  1 oracle oinstall 3230  8月 15  2009 runInstaller
drwxr-xr-x 12 oracle oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 oracle oinstall 3419  8月 18  2009 welcome.html
[oracle@discus164 examples]$ 

[oracle@discus164 examples]$ ./runInstaller
Oracle Universal Installerを起動中です...
・・・中略・・・

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 3日 (月) 18時49分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

VirtualBox de Oracle11g R2 RAC #17

VirtualBox de Oracle11g R2 RACのつづきです。

つづいてOracle11g R2 11.2.0.1.0 Database Installのインストール。
データベースは作成しないでソフトウェアだけのインストールを行います。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

ASMディスクグループの作成

Grid Infrastructureのインストール同様、Oracle所有者でもsshはパスフレーズありであらかじめ作成しておきます。OUIが作ってくれるだろうということを期待してね。

と、その前に、asmcaでOracleデータファイル及び、フラッシュ・リカバリ・エリア向けASMディスクグループを作成しておきました。
データファイル向けに+DATA、フラッシュ・リカバリ・エリア向けに+FRAというASMディスクグループを作成します。

Oracle11g R2 11.2.0.1.0 Database softwareのインストール

次に、Oracle Database 11g R2 11.2.0.1.0をインストールします。データベースは作成せず、別途dbcaを利用してデータベースを作成します。

省略していますが、お約束、root.shの実行もお忘れなく！

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 3日 (月) 17時21分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

VirtualBox de Oracle11g R2 RAC #16

VirtualBox de Oracle11g R2 RACのつづきです。

いよいよOracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール♪

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール

今回、確かめたかったこともあり、意図的にパスフレーズ付きでsshを手動構成しておいた。
その結果は…CVUの検査はパスするもののOUI上ではsshの構成がNGとなりOUIからsshの構成を行った。その後は問題なくインストールできた :)　便になったねOUI.

[grid@discus164 grid]$ ./runInstaller 
[1] 4417
[grid@discus164 grid]$ Oracle Universal Installerを起動中です...

一時領域の確認中: 120MBを超えている必要があります.   実際 32846MB    問題なし
スワップ領域の確認中: 150MBを超えている必要があります.   実際 5951MB    問題なし
モニターの確認中: 少なくとも256色表示するよう設定されている必要があります.    実際 16777216    問題なし
Oracle Universal Installerの起動を準備中 /tmp/OraInstall2010-11-29_01-51-19PM. お待ちください...

インストールの後半で、上記画面が表示されたら、いつものお約束、orainstRoot.shの実行とroot.shスクリプトの実行です！
RACを構成する全ノードのrootユーザで。最初にOUIを実行したノードで実行。成功したら以後残りのノードで実施（残りのノードでは平行実行可能だとか…今回は２ノードなので確認できず…）。

まず、OUIを実行したノードで実行！

[root@discus164 ˜]#
[root@discus164 ˜]# /u01/app/oraInventory/orainstRoot.sh
権限を変更中 /u01/app/oraInventory.
グループの読取り/書込み権限を追加中。
全ユーザーの読取り/書込み/実行権限を削除中。

グループ名の変更 /u01/app/oraInventory 宛先 oinstall.
スクリプトの実行が完了しました。

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# /u01/app/11.2.0/grid/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...

・・・中略・・・

  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
ADVM/ACFS is not supported on centos-release-5-5.el5.centos

CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています

・・・中略・・・

CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました

ASMは正常に作成され、起動しました。

ディスク・グループCRSは正常に作成されました。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-4256: Updating the profile
Successful addition of voting disk 5d6c953bf3aa4fe6bfff2a0f9b1e0d37.
Successfully replaced voting disk group with +CRS.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5d6c953bf3aa4fe6bfff2a0f9b1e0d37 (ORCL:CRSVOL1) [CRS]
Located 1 voting disk(s).
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています

・・・中略・・・

CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.CRS.dg'('discus164')の起動を試行しています
CRS-2676: 'ora.CRS.dg'('discus164')の起動が成功しました

discus164     2010/11/29 14:21:13     /u01/app/11.2.0/grid/cdata/discus164/backup_20101129_142113.olr
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus164 ˜]#

ADVM/ACFS is not supported on centos-release-5-5.el5.centosという気になるメッセージがあったがこれはCentOSが正式にサポートされていないことが影響している。
一昨年暮れのエントリだけど、以下のブログが参考になるかも。

2011/1/4追記：
http://ivan.kartik.sk/index.php?show_article=49
リリースを偽装する方法もあるんだけどね。後者の方が楽は楽だけど元に戻すのが面倒だから今回はパスした。

簡単にリカバル方法がよくわかんなかったんでOracle Grid Infrastructureを一旦deinstallした。（これが一番わかりやすい！）
Oracle Grid Infrastructureをdeinstallコマンドで削除した記録は別途書くとして、一旦deinstallしたと思ってください！！！

ということで、OUIでOracle Grid Infrastractureをインストール。

orainstRoot.shを実行したところで、前述の参考ブログに記載されていたCentOS向け手当を行う。手当を行ってからroot.shを実行する。

CentOS上へのOracle Grid Infrastructureインストールでは大切（らしい）なので２度、書きましたよw

Oracle Grid Infrastructureユーザの$ORACLE_HOME/lib/osds_acfslib.pmの278行目以下にCentOSも正常に処理できるよう修正を加える。

[grid@discus164 ˜]$ su -
パスワード:
[root@discus164 ˜]# cd /u01/app/11.2.0/grid/lib
[root@discus164 lib]# 
[root@discus164 lib]# cp -p osds_acfslib.pm osds_acfslib.pm.org
[root@discus164 lib]# 
[root@discus164 lib]# vi osds_acfslib.pm
[root@discus164 lib]# 
[root@discus164 lib]# diff -u osds_acfslib.pm osds_acfslib.pm.org
--- osds_acfslib.pm	2010/11/29 17:19:00.000000000 +0900
+++ osds_acfslib.pm.org	2009-07-02 11:13:48.000000000 +0900
@@ -278,8 +278,7 @@
   # OK, now check to see if we support this release
   $supported = 0;
   if (($release =˜ /enterprise-release-5/) ||
-         ($release =˜ /redhat-release-5/)  ||
-	 ($release =˜ /centos-release-5/))
+         ($release =˜ /redhat-release-5/))
   {
     # Redhat 5
     $supported = 1;
[root@discus164 lib]#

多分上記の修正だけで対処できると思うのだが、自信がないので以下のこともやっておいた… 写経になっております。m(_ _)m (RACを構成する全ノードのrootユーザで実施）

[root@discus164 ˜]# mkdir /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ls /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/*ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleacfs.ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleadvm.ko
/u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/oracleoks.ko
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cp /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/*ko /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# chmod 744 /lib/modules/2.6.18-194.17.1.el5/extra/usm
[root@discus164 ˜]# 
[root@discus164 ˜]# depmod
[root@discus164 ˜]# 
[root@discus164 ˜]# cp /u01/app/11.2.0/grid/install/usm/EL5/x86_64/2.6.18-8/2.6.18-8.el5-x86_64/bin/acfsdbg /sbin
[root@discus164 ˜]# chmod 755 /sbin/acfsdbg

ここまでの作業を終えたらOUIでOracle Grid InfrastructureをOUIでインストールする。手順は前述の映像を見てくださいね。

お約束のorainstRoot.shそれに続いて、root.shをOUIを起動したノードで実施、その後、残りのノードでも同様にrootユーザで実施する。

root.shの実行。こんどは大丈夫でしょうか〜〜〜〜。

[root@discus164 grid]# ./root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010-11-29 17:23:44: Parsing the host name
2010-11-29 17:23:44: Checking for super user privileges
2010-11-29 17:23:44: User has super user privileges

Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE 
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています
CRS-2672: 'ora.mdnsd'('discus164')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus164')の起動が成功しました
CRS-2676: 'ora.mdnsd'('discus164')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus164')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus164')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました

ASMは正常に作成され、起動しました。

ディスク・グループCRSは正常に作成されました。

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-4256: Updating the profile
Successful addition of voting disk 8f431fe5d1304fd9bf6ad331d3aef536.
Successfully replaced voting disk group with +CRS.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   8f431fe5d1304fd9bf6ad331d3aef536 (ORCL:CRSVOL1) [CRS]
Located 1 voting disk(s).
CRS-2673: 'ora.crsd'('discus164')の停止を試行しています
CRS-2677: 'ora.crsd'('discus164')の停止が成功しました
CRS-2673: 'ora.asm'('discus164')の停止を試行しています
CRS-2677: 'ora.asm'('discus164')の停止が成功しました
CRS-2673: 'ora.ctssd'('discus164')の停止を試行しています
CRS-2677: 'ora.ctssd'('discus164')の停止が成功しました
CRS-2673: 'ora.cssdmonitor'('discus164')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus164')の停止が成功しました
CRS-2673: 'ora.cssd'('discus164')の停止を試行しています
CRS-2677: 'ora.cssd'('discus164')の停止が成功しました
CRS-2673: 'ora.gpnpd'('discus164')の停止を試行しています
CRS-2677: 'ora.gpnpd'('discus164')の停止が成功しました
CRS-2673: 'ora.gipcd'('discus164')の停止を試行しています
CRS-2677: 'ora.gipcd'('discus164')の停止が成功しました
CRS-2673: 'ora.mdnsd'('discus164')の停止を試行しています
CRS-2677: 'ora.mdnsd'('discus164')の停止が成功しました
CRS-2672: 'ora.mdnsd'('discus164')の起動を試行しています
CRS-2676: 'ora.mdnsd'('discus164')の起動が成功しました
CRS-2672: 'ora.gipcd'('discus164')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus164')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus164')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus164')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus164')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus164')の起動が成功しました
CRS-2672: 'ora.cssd'('discus164')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus164')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus164')の起動が成功しました
CRS-2676: 'ora.cssd'('discus164')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus164')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus164')の起動が成功しました
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.crsd'('discus164')の起動を試行しています
CRS-2676: 'ora.crsd'('discus164')の起動が成功しました
CRS-2672: 'ora.evmd'('discus164')の起動を試行しています
CRS-2676: 'ora.evmd'('discus164')の起動が成功しました
CRS-2672: 'ora.asm'('discus164')の起動を試行しています
CRS-2676: 'ora.asm'('discus164')の起動が成功しました
CRS-2672: 'ora.CRS.dg'('discus164')の起動を試行しています
CRS-2676: 'ora.CRS.dg'('discus164')の起動が成功しました
CRS-2672: 'ora.registry.acfs'('discus164')の起動を試行しています
CRS-2676: 'ora.registry.acfs'('discus164')の起動が成功しました

discus164     2010/11/29 17:30:15     /u01/app/11.2.0/grid/cdata/discus164/backup_20101129_173015.olr
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus164 grid]#

お〜〜、でけた。

では、他のノードでも実行
残りのノードでも同様の操作実施後root.sh実行

[root@discus264 grid]# ./root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
The file "dbhome" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying dbhome to /usr/local/bin ...
The file "oraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying oraenv to /usr/local/bin ...
The file "coraenv" already exists in /usr/local/bin.  Overwrite it? (y/n) 
[n]: y
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
2010/11/29 17:45:30: Parsing the host name
2010/11/29 17:45:30: Checking for super user privileges
2010/11/29 17:45:30: User has super user privileges
Using configuration parameter file: /u01/app/11.2.0/grid/crs/install/crsconfig_params
Creating trace directory
LOCAL ADD MODE 
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Adding daemon to inittab
CRS-4123: Oracle High Availability Services has been started.
ohasd is starting
CRS-4402: CSSデーモンが排他モードで開始されましたが、ノードdiscus164、番号1のアクティブCSSデーモンが検出されたため中断します
CRS-2673: 'ora.cssdmonitor'('discus264')の停止を試行しています
CRS-2677: 'ora.cssdmonitor'('discus264')の停止が成功しました
CRS-2673: 'ora.gpnpd'('discus264')の停止を試行しています
CRS-2677: 'ora.gpnpd'('discus264')の停止が成功しました
CRS-2673: 'ora.gipcd'('discus264')の停止を試行しています
CRS-2677: 'ora.gipcd'('discus264')の停止が成功しました
CRS-2673: 'ora.mdnsd'('discus264')の停止を試行しています
CRS-2677: 'ora.mdnsd'('discus264')の停止が成功しました
An active cluster was found during exclusive startup, restarting to join the cluster
CRS-2672: 'ora.mdnsd'('discus264')の起動を試行しています
CRS-2676: 'ora.mdnsd'('discus264')の起動が成功しました
CRS-2672: 'ora.gipcd'('discus264')の起動を試行しています
CRS-2676: 'ora.gipcd'('discus264')の起動が成功しました
CRS-2672: 'ora.gpnpd'('discus264')の起動を試行しています
CRS-2676: 'ora.gpnpd'('discus264')の起動が成功しました
CRS-2672: 'ora.cssdmonitor'('discus264')の起動を試行しています
CRS-2676: 'ora.cssdmonitor'('discus264')の起動が成功しました
CRS-2672: 'ora.cssd'('discus264')の起動を試行しています
CRS-2672: 'ora.diskmon'('discus264')の起動を試行しています
CRS-2676: 'ora.diskmon'('discus264')の起動が成功しました
CRS-2676: 'ora.cssd'('discus264')の起動が成功しました
CRS-2672: 'ora.ctssd'('discus264')の起動を試行しています
CRS-2676: 'ora.ctssd'('discus264')の起動が成功しました
CRS-2672: 'ora.drivers.acfs'('discus264')の起動を試行しています
CRS-2676: 'ora.drivers.acfs'('discus264')の起動が成功しました
CRS-2672: 'ora.asm'('discus264')の起動を試行しています
CRS-2676: 'ora.asm'('discus264')の起動が成功しました
CRS-2672: 'ora.crsd'('discus264')の起動を試行しています
CRS-2676: 'ora.crsd'('discus264')の起動が成功しました
CRS-2672: 'ora.evmd'('discus264')の起動を試行しています
CRS-2676: 'ora.evmd'('discus264')の起動が成功しました

discus264     2010/11/29 17:48:45     /u01/app/11.2.0/grid/cdata/discus264/backup_20101129_174845.olr
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
Configure Oracle Grid Infrastructure for a Cluster ... succeeded
クラスタウェアのインベントリ・プロパティの更新中
Oracle Universal Installerを起動中です...

スワップ領域の確認中: 500MBを超えている必要があります.   実際 5951MB    問題なし
The inventory pointer is located at /etc/oraInst.loc
The inventory is located at /u01/app/oraInventory
'UpdateNodeList'が成功しました。
[root@discus264 grid]#

root.sh実行おわり！

Grid Infrastructureインストール後の簡単な確認（RACを構成する全ノードのgrid infrastructureユーザ及び、rootユーザで実施）

crsの状態確認（RACを構成する全ノードのGrid Infrastructureユーザで

[grid@discus164 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ crsctl check crs
CRS-4638: Oracle高可用性サービスがオンラインです
CRS-4537: Cluster Ready Servicesがオンラインです
CRS-4529: Cluster Synchronization Servicesがオンラインです
CRS-4533: イベント・マネージャがオンラインです
[grid@discus264 ˜]$

clusterノードの確認（RACを構成する全ノードのGrid Infrastructureユーザで）

[grid@discus164 ˜]$ olsnodes -n
discus164       1
discus264       2
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ olsnodes -n
discus164       1
discus264       2
[grid@discus264 ˜]$

リスナーの確認（RACを構成する全ノード

[grid@discus164 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_SCAN2
LISTENER_SCAN3
LISTENER
[grid@discus164 ˜]$ 

[grid@discus264 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_SCAN1
LISTENER
[grid@discus264 ˜]$

以下、OUIを実行したノードから確認しとけばOKかな
ASMは起動してるかな〜（Grid Infrastructureユーザで

[grid@discus164 ˜]$ srvctl status asm -a
ASMはdiscus164,discus264で実行中です
ASMは有効です。
[grid@discus164 ˜]$

rootユーザでcrsctlコマンド実行してますが、Grid Infrastructureホームのbinにパス通しているだけです :) 楽なので。
Oracle Cluster Registry (OCR)　- rootユーザで実施

[root@discus164 grid]# ocrcheck
Status of Oracle Cluster Registry is as follows :
         Version                  :          3
         Total space (kbytes)     :     262120
         Used space (kbytes)      :       2364
         Available space (kbytes) :     259756
         ID                       : 1391852321
         Device/File Name         :       +CRS
                                    Device/File integrity check succeeded

                                    Device/File not configured

                                    Device/File not configured

                                    Device/File not configured

                                    Device/File not configured

         Cluster registry integrity check succeeded

         Logical corruption check succeeded

[root@discus164 grid]#

Voting Diskの確認（Grid Infrastructureユーザで

[grid@discus164 ˜]$ crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   5d6c953bf3aa4fe6bfff2a0f9b1e0d37 (ORCL:CRSVOL1) [CRS]
1の投票ディスクを検出しました。
[grid@discus164 ˜]$

[grid@discus164 ~]$ crsctl status resource -w 'TYPE co ora' -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.CRS.dg
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.LISTENER.lsnr
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.asm
               ONLINE  ONLINE       discus164                Started             
               ONLINE  ONLINE       discus264                Started             
ora.eons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.gsd
               OFFLINE OFFLINE      discus164                                    
               OFFLINE OFFLINE      discus264                                    
ora.net1.network
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.ons
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
ora.registry.acfs
               ONLINE  ONLINE       discus164                                    
               ONLINE  ONLINE       discus264                                    
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       discus264                                    
ora.LISTENER_SCAN2.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.LISTENER_SCAN3.lsnr
      1        ONLINE  ONLINE       discus164                                    
ora.discus164.vip
      1        ONLINE  ONLINE       discus164                                    
ora.discus264.vip
      1        ONLINE  ONLINE       discus264                                    
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       discus264                                    
ora.scan2.vip
      1        ONLINE  ONLINE       discus164                                    
ora.scan3.vip
      1        ONLINE  ONLINE       discus164                                    
[grid@discus164 ~]$

root.shのバックアップが推奨されているので、これはやっといた。

Back Up the root.sh Script

Oracle recommends that you back up the root.sh script after you
complete an installation. If you install other products
in the same Oracle home directory, then the installer updates
the contents of the existing root.sh script during the installation.
If you require information contained in the original root.sh script,
then you can recover it from the root.sh file copy.

Back up the root.sh file on both Oracle RAC nodes as root:

[grid@discus164 ˜]$ su -
パスワード:
[root@discus164 ˜]# cd /u01/app/11.2.0/grid
[root@discus164 grid]# ls -l root.sh
-rwxr-x--- 1 grid oinstall 723 11月 29 14:10 root.sh
[root@discus164 grid]# cp -p root.sh root.sh.discus164_after_install20101129
[root@discus164 grid]# 

[grid@discus264 ˜]$ su - 
パスワード:
[root@discus264 ˜]# cd /u01/app/11.2.0
[root@discus264 11.2.0]# cd grid
[root@discus264 grid]# ls -l root.sh
-rwxr-x--- 1 grid oinstall 723 11月 29 14:12 root.sh
[root@discus264 grid]# cp -p root.sh root.sh.discus264_after_install20101129
[root@discus264 grid]#

Install Cluster Health Management Software が推奨されてるけど。別途時間があったらやる→TODO

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 3日 (月) 11時46分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2011年1月 2日 (日)

VirtualBox de Oracle11g R2 RAC #15

VirtualBox de Oracle11g R2 RACのつづきです。

今回はOracle11g R2 11.2.0.1.0 RACインストール事前作業。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle11g R2 11.2.0.1.0 RACインストール事前作業

以下、Linux 64bit版をダウンロード
Oracle11g R2 11.2.0.1.0 for Linux (64bit）
linux.x64_11gR2_database_1of2.zip
linux.x64_11gR2_database_2of2.zip

Oracle11g R2 Grid Infrastructure for Linux (64bit)
linux.x64_11gR2_grid.zip

Oracle11g R2 Examples for Linux (64bit)
linux.x64_11gR2_examples.zip

ダウンロードした、Oracle Grid Infrastructureをgrid infrastructureユーザで解凍

[grid@discus164 oracle]$ ll
合計 1029240
-rw-r--r-- 1 grid oinstall 1052897657 11月 25 10:51 linux.x64_11gR2_grid.zip
[grid@discus164 oracle]$ unzip linux.x64_11gR2_grid.zip

・・・中略・・・

 extracting: grid/install/addLangs.sh  
  inflating: grid/runInstaller       
  inflating: grid/welcome.html       
  inflating: grid/runcluvfy.sh       
[grid@discus164 oracle]$

ダウンロードしたOracle11g R2 11.2.0.1.0とexamplesをOracle所有者で解凍

[oracle@discus164 oracle]$ ll
合計 2840744
-rw-r--r-- 1 oracle oinstall 1239269270 11月 25 10:56 linux.x64_11gR2_database_1of2.zip
-rw-r--r-- 1 oracle oinstall 1111416131 11月 25 10:57 linux.x64_11gR2_database_2of2.zip
-rw-r--r-- 1 oracle oinstall  555366950 11月 25 10:57 linux.x64_11gR2_examples.zip
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_database_1of2.zip

・・・中略・・・

 extracting: database/install/addLangs.sh  
  inflating: database/runInstaller   
  inflating: database/welcome.html   
[oracle@discus164 oracle]$ 
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_database_2of2.zip

・・・中略・・・

  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup13.jar  
  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup8.jar  
  inflating: database/stage/Components/oracle.sysman.console.db/11.2.0.1.0/1/DataFiles/filegroup9.jar  
[oracle@discus164 oracle]$ 
[oracle@discus164 oracle]$ unzip linux.x64_11gR2_examples.zip

・・・中略・・・

 extracting: examples/install/addLangs.sh  
  inflating: examples/runInstaller   
  inflating: examples/welcome.html   
[oracle@discus164 oracle]$

cvudiskパッケージのインストール（RACを構成する全ノードのrootユーザで）

[grid@discus164 ˜]$ cd ./software/oracle/grid/rpm
[grid@discus164 rpm]$ su
パスワード:
[root@discus164 rpm]# ll
合計 12
-rw-rw-r-- 1 grid oinstall 8173  7月 15  2009 cvuqdisk-1.0.7-1.rpm
[root@discus164 rpm]# CVUQDISK_GRP=oinstall; export CVUQDISK_GRP
[root@discus164 rpm]# rpm -iv cvuqdisk-1.0.7-1.rpm
パッケージインストールの準備中...
cvuqdisk-1.0.7-1
[root@discus164 rpm]#

CVUによる事前チェック（RACを構成する全ノードのOracle Grid Infrastructureユーザで実施）
-fixupオプションを付加すると修正用スクリプトが作成されますが、下記例では付加していません。（修正スクリプトを作成させた方が楽ですけどね。)

今回は全ログを省略なしで！w

[grid@discus164 grid]$ pwd
/home/grid/software/oracle/grid
[grid@discus164 grid]$ ll
合計 76
drwxr-xr-x  9 grid oinstall 4096  8月 17  2009 doc
drwxr-xr-x  4 grid oinstall 4096 12月  3 11:05 install
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 response
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 rpm
-rwxr-xr-x  1 grid oinstall 3227  8月 15  2009 runInstaller
-rwxrwxr-x  1 grid oinstall 3795  1月 29  2009 runcluvfy.sh
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 sshsetup
drwxr-xr-x 14 grid oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 grid oinstall 4228  8月 18  2009 welcome.html
[grid@discus164 grid]$
[grid@discus164 grid]$
[grid@discus164 grid]$ ./runcluvfy.sh stage -pre crsinst -n discus164,discus264 -verbose

クラスタ・サービス設定の事前チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus164"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: ノード"discus164"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...

チェック: ユーザー"grid"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus264                             合格                      
  discus164                             合格                      
結果: ユーザー"grid"のユーザー等価チェックに合格しました

ノード接続性をチェック中...

ホスト構成ファイルをチェック中...
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     合格                                                
  discus164     合格                                                

ホスト構成ファイルの検証に成功しました


ノード"discus264"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.91    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:CC:3B:97 1500  
 eth1   192.168.3.91    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:2F:97:0D 1500  
 eth2   192.168.2.91    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:AD:F8:40 1500  


ノード"discus164"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.90    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:B1:38:96 1500  
 eth1   192.168.3.90    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:FC:A5:8E 1500  
 eth2   192.168.2.90    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:47:E9:2C 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth0                  discus164:eth0                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.1.0"のノード接続性に合格しました


チェック: サブネット"192.168.1.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.1.90          discus264:192.168.1.91          合格              
結果: サブネット"192.168.1.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.3.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth1                  discus164:eth1                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.3.0"のノード接続性に合格しました


チェック: サブネット"192.168.3.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.3.90          discus264:192.168.3.91          合格              
結果: サブネット"192.168.3.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth2                  discus164:eth2                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.2.0"のノード接続性に合格しました


チェック: サブネット"192.168.2.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.2.90          discus264:192.168.2.91          合格              
結果: サブネット"192.168.2.0"のTCP接続性チェックに合格しました


VIPの候補となるサブネット"192.168.1.0"で見つかったインタフェースは次のとおりです:
discus264 eth0:192.168.1.91
discus164 eth0:192.168.1.90

プライベート・インターコネクトの候補となるサブネット"192.168.3.0"で見つかったインタフェースは次のとおりです:
discus264 eth1:192.168.3.91
discus164 eth1:192.168.3.90

プライベート・インターコネクトの候補となるサブネット"192.168.2.0"で見つかったインタフェースは次のとおりです:
discus264 eth2:192.168.2.91
discus164 eth2:192.168.2.90

結果: ノード接続性チェックに合格しました


チェック: メモリー合計 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     3.86GB (4051640.0KB)      1.5GB (1572864.0KB)       合格        
  discus164     3.86GB (4051640.0KB)      1.5GB (1572864.0KB)       合格        
結果: メモリー合計チェックに合格しました

チェック: 使用可能なメモリー 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     3.5GB (3673300.0KB)       50MB (51200.0KB)          合格        
  discus164     3.34GB (3498792.0KB)      50MB (51200.0KB)          合格        
結果: 使用可能なメモリーチェックに合格しました

チェック: スワップ領域 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     5.81GB (6094840.0KB)      3.86GB (4051640.0KB)      合格        
  discus164     5.81GB (6094840.0KB)      3.86GB (4051640.0KB)      合格        
結果: スワップ領域チェックに合格しました

チェック: "discus264:/tmp"のディスク空き領域 
  パス                ノード名          マウント・ポイント     使用可能          必須            コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              discus264     /             37.78GB       1GB           合格          
結果: "discus264:/tmp"のディスク空き領域チェックに合格しました

チェック: "discus164:/tmp"のディスク空き領域 
  パス                ノード名          マウント・ポイント     使用可能          必須            コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  /tmp              discus164     /             33.62GB       1GB           合格          
結果: "discus164:/tmp"のディスク空き領域チェックに合格しました

チェック: "grid"の既存ユーザー 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "grid"の既存ユーザーチェックに合格しました

チェック: "oinstall"のグループの存在 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "oinstall"のグループの存在チェックに合格しました

チェック: "dba"のグループの存在 
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在します                     合格                      
  discus164     存在します                     合格                      
結果: "dba"のグループの存在チェックに合格しました

チェック: グループ"oinstall"内のユーザー"grid"[プライマリ]のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    プライマリ         コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
  discus264         はい            はい            はい            はい            合格          
  discus164         はい            はい            はい            はい            合格          
結果: グループ"oinstall"内のユーザー"grid"[プライマリ]のメンバーシップ・チェックに合格しました

チェック: グループ"dba"内のユーザー"grid"のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         はい            はい            いいえ           失敗              
  discus164         はい            はい            いいえ           失敗              
結果: グループ"dba"内のユーザー"grid"のメンバーシップ・チェックが失敗しました

チェック: 実行レベル 
  ノード名          実行レベル                     必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     5                         3,5                       合格        
  discus164     5                         3,5                       合格        
結果: 実行レベルチェックに合格しました

チェック: "最大オープン・ファイル記述子数"の強い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         強い            65536         65536         合格              
  discus164         強い            65536         65536         合格              
結果: "最大オープン・ファイル記述子数"の強い制限チェックに合格しました

チェック: "最大オープン・ファイル記述子数"の弱い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         弱い            1024          1024          合格              
  discus164         弱い            1024          1024          合格              
結果: "最大オープン・ファイル記述子数"の弱い制限チェックに合格しました

チェック: "最大ユーザー・プロセス"の強い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         強い            16384         16384         合格              
  discus164         強い            16384         16384         合格              
結果: "最大ユーザー・プロセス"の強い制限チェックに合格しました

チェック: "最大ユーザー・プロセス"の弱い制限 
  ノード名              タイプ           使用可能          必須            コメント            
  ----------------  ------------  ------------  ------------  ----------------
  discus264         弱い            2047          2047          合格              
  discus164         弱い            2047          2047          合格              
結果: "最大ユーザー・プロセス"の弱い制限チェックに合格しました

チェック: システム・アーキテクチャ 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     x86_64                    x86_64                    合格        
  discus164     x86_64                    x86_64                    合格        
結果: システム・アーキテクチャチェックに合格しました

チェック: カーネル・バージョン 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     2.6.18-194.17.1.el5       2.6.9                     合格        
  discus164     2.6.18-194.17.1.el5       2.6.9                     合格        
結果: カーネル・バージョンチェックに合格しました

チェック: "semmsl"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     250                       250                       合格        
  discus164     250                       250                       合格        
結果: "semmsl"のカーネル・パラメータチェックに合格しました

チェック: "semmns"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     32000                     32000                     合格        
  discus164     32000                     32000                     合格        
結果: "semmns"のカーネル・パラメータチェックに合格しました

チェック: "semopm"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     100                       100                       合格        
  discus164     100                       100                       合格        
結果: "semopm"のカーネル・パラメータチェックに合格しました

チェック: "semmni"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     128                       128                       合格        
  discus164     128                       128                       合格        
結果: "semmni"のカーネル・パラメータチェックに合格しました

チェック: "shmmax"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     68719476736               536870912                 合格        
  discus164     68719476736               536870912                 合格        
結果: "shmmax"のカーネル・パラメータチェックに合格しました

チェック: "shmmni"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4096                      4096                      合格        
  discus164     4096                      4096                      合格        
結果: "shmmni"のカーネル・パラメータチェックに合格しました

チェック: "shmall"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4294967296                2097152                   合格        
  discus164     4294967296                2097152                   合格        
結果: "shmall"のカーネル・パラメータチェックに合格しました

チェック: "file-max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     6815744                   6815744                   合格        
  discus164     6815744                   6815744                   合格        
結果: "file-max"のカーネル・パラメータチェックに合格しました

チェック: "ip_local_port_range"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     between 9000 & 65500      between 9000 & 65500      合格        
  discus164     between 9000 & 65500      between 9000 & 65500      合格        
結果: "ip_local_port_range"のカーネル・パラメータチェックに合格しました

チェック: "rmem_default"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     262144                    262144                    合格        
  discus164     262144                    262144                    合格        
結果: "rmem_default"のカーネル・パラメータチェックに合格しました

チェック: "rmem_max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     4194304                   4194304                   合格        
  discus164     4194304                   4194304                   合格        
結果: "rmem_max"のカーネル・パラメータチェックに合格しました

チェック: "wmem_default"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     262144                    262144                    合格        
  discus164     262144                    262144                    合格        
結果: "wmem_default"のカーネル・パラメータチェックに合格しました

チェック: "wmem_max"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     1048576                   1048576                   合格        
  discus164     1048576                   1048576                   合格        
結果: "wmem_max"のカーネル・パラメータチェックに合格しました

チェック: "aio-max-nr"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     1048576                   1048576                   合格        
  discus164     1048576                   1048576                   合格        
結果: "aio-max-nr"のカーネル・パラメータチェックに合格しました

チェック: "make-3.80"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     make-3.81-3.el5           make-3.80                 合格        
  discus164     make-3.81-3.el5           make-3.80                 合格        
結果: "make-3.80"のパッケージの存在チェックに合格しました

チェック: "binutils-2.15.92.0.2"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     binutils-2.17.50.0.6-14.el5  binutils-2.15.92.0.2      合格        
  discus164     binutils-2.17.50.0.6-14.el5  binutils-2.15.92.0.2      合格        
結果: "binutils-2.15.92.0.2"のパッケージの存在チェックに合格しました

チェック: "gcc-3.4.6"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     gcc-4.1.2-48.el5          gcc-3.4.6                 合格        
  discus164     gcc-4.1.2-48.el5          gcc-3.4.6                 合格        
結果: "gcc-3.4.6"のパッケージの存在チェックに合格しました

チェック: "libaio-0.3.105 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-0.3.106-5 (i386)   libaio-0.3.105 (i386)     合格        
  discus164     libaio-0.3.106-5 (i386)   libaio-0.3.105 (i386)     合格        
結果: "libaio-0.3.105 (i386)"のパッケージの存在チェックに合格しました

チェック: "libaio-0.3.105 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-0.3.106-5 (x86_64)  libaio-0.3.105 (x86_64)   合格        
  discus164     libaio-0.3.106-5 (x86_64)  libaio-0.3.105 (x86_64)   合格        
結果: "libaio-0.3.105 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "glibc-2.3.4-2.41 (i686)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-2.5-49.el5_5.6 (i686)  glibc-2.3.4-2.41 (i686)   合格        
  discus164     glibc-2.5-49.el5_5.6 (i686)  glibc-2.3.4-2.41 (i686)   合格        
結果: "glibc-2.3.4-2.41 (i686)"のパッケージの存在チェックに合格しました

チェック: "glibc-2.3.4-2.41 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-2.5-49.el5_5.6 (x86_64)  glibc-2.3.4-2.41 (x86_64)  合格        
  discus164     glibc-2.5-49.el5_5.6 (x86_64)  glibc-2.3.4-2.41 (x86_64)  合格        
結果: "glibc-2.3.4-2.41 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "compat-libstdc++-33-3.2.3 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     compat-libstdc++-33-3.2.3-61 (i386)  compat-libstdc++-33-3.2.3 (i386)  合格        
  discus164     compat-libstdc++-33-3.2.3-61 (i386)  compat-libstdc++-33-3.2.3 (i386)  合格        
結果: "compat-libstdc++-33-3.2.3 (i386)"のパッケージの存在チェックに合格しました

チェック: "compat-libstdc++-33-3.2.3 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     compat-libstdc++-33-3.2.3-61 (x86_64)  compat-libstdc++-33-3.2.3 (x86_64)  合格        
  discus164     compat-libstdc++-33-3.2.3-61 (x86_64)  compat-libstdc++-33-3.2.3 (x86_64)  合格        
結果: "compat-libstdc++-33-3.2.3 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "elfutils-libelf-0.97 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     elfutils-libelf-0.137-3.el5 (x86_64)  elfutils-libelf-0.97 (x86_64)  合格        
  discus164     elfutils-libelf-0.137-3.el5 (x86_64)  elfutils-libelf-0.97 (x86_64)  合格        
結果: "elfutils-libelf-0.97 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "elfutils-libelf-devel-0.97"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.97  合格        
  discus164     elfutils-libelf-devel-0.137-3.el5  elfutils-libelf-devel-0.97  合格        
結果: "elfutils-libelf-devel-0.97"のパッケージの存在チェックに合格しました

チェック: "glibc-common-2.3.4"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-common-2.5-49.el5_5.6  glibc-common-2.3.4        合格        
  discus164     glibc-common-2.5-49.el5_5.6  glibc-common-2.3.4        合格        
結果: "glibc-common-2.3.4"のパッケージの存在チェックに合格しました

チェック: "glibc-devel-2.3.4 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-devel-2.5-49.el5_5.6 (x86_64)  glibc-devel-2.3.4 (x86_64)  合格        
  discus164     glibc-devel-2.5-49.el5_5.6 (x86_64)  glibc-devel-2.3.4 (x86_64)  合格        
結果: "glibc-devel-2.3.4 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "glibc-headers-2.3.4"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     glibc-headers-2.5-49.el5_5.6  glibc-headers-2.3.4       合格        
  discus164     glibc-headers-2.5-49.el5_5.6  glibc-headers-2.3.4       合格        
結果: "glibc-headers-2.3.4"のパッケージの存在チェックに合格しました

チェック: "gcc-c++-3.4.6"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     gcc-c++-4.1.2-48.el5      gcc-c++-3.4.6             合格        
  discus164     gcc-c++-4.1.2-48.el5      gcc-c++-3.4.6             合格        
結果: "gcc-c++-3.4.6"のパッケージの存在チェックに合格しました

チェック: "libaio-devel-0.3.105 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-devel-0.3.106-5 (i386)  libaio-devel-0.3.105 (i386)  合格        
  discus164     libaio-devel-0.3.106-5 (i386)  libaio-devel-0.3.105 (i386)  合格        
結果: "libaio-devel-0.3.105 (i386)"のパッケージの存在チェックに合格しました

チェック: "libaio-devel-0.3.105 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libaio-devel-0.3.106-5 (x86_64)  libaio-devel-0.3.105 (x86_64)  合格        
  discus164     libaio-devel-0.3.106-5 (x86_64)  libaio-devel-0.3.105 (x86_64)  合格        
結果: "libaio-devel-0.3.105 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libgcc-3.4.6 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libgcc-4.1.2-48.el5 (i386)  libgcc-3.4.6 (i386)       合格        
  discus164     libgcc-4.1.2-48.el5 (i386)  libgcc-3.4.6 (i386)       合格        
結果: "libgcc-3.4.6 (i386)"のパッケージの存在チェックに合格しました

チェック: "libgcc-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libgcc-4.1.2-48.el5 (x86_64)  libgcc-3.4.6 (x86_64)     合格        
  discus164     libgcc-4.1.2-48.el5 (x86_64)  libgcc-3.4.6 (x86_64)     合格        
結果: "libgcc-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-3.4.6 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-4.1.2-48.el5 (i386)  libstdc++-3.4.6 (i386)    合格        
  discus164     libstdc++-4.1.2-48.el5 (i386)  libstdc++-3.4.6 (i386)    合格        
結果: "libstdc++-3.4.6 (i386)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-4.1.2-48.el5 (x86_64)  libstdc++-3.4.6 (x86_64)  合格        
  discus164     libstdc++-4.1.2-48.el5 (x86_64)  libstdc++-3.4.6 (x86_64)  合格        
結果: "libstdc++-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "libstdc++-devel-3.4.6 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     libstdc++-devel-4.1.2-48.el5 (x86_64)  libstdc++-devel-3.4.6 (x86_64)  合格        
  discus164     libstdc++-devel-4.1.2-48.el5 (x86_64)  libstdc++-devel-3.4.6 (x86_64)  合格        
結果: "libstdc++-devel-3.4.6 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "sysstat-5.0.5"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     sysstat-7.0.2-3.el5_5.1   sysstat-5.0.5             合格        
  discus164     sysstat-7.0.2-3.el5_5.1   sysstat-5.0.5             合格        
結果: "sysstat-5.0.5"のパッケージの存在チェックに合格しました

チェック: "unixODBC-2.2.11 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-2.2.11-7.1 (i386)  unixODBC-2.2.11 (i386)    合格        
  discus164     unixODBC-2.2.11-7.1 (i386)  unixODBC-2.2.11 (i386)    合格        
結果: "unixODBC-2.2.11 (i386)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-2.2.11 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-2.2.11-7.1 (x86_64)  unixODBC-2.2.11 (x86_64)  合格        
  discus164     unixODBC-2.2.11-7.1 (x86_64)  unixODBC-2.2.11 (x86_64)  合格        
結果: "unixODBC-2.2.11 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-devel-2.2.11 (i386)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-devel-2.2.11-7.1 (i386)  unixODBC-devel-2.2.11 (i386)  合格        
  discus164     unixODBC-devel-2.2.11-7.1 (i386)  unixODBC-devel-2.2.11 (i386)  合格        
結果: "unixODBC-devel-2.2.11 (i386)"のパッケージの存在チェックに合格しました

チェック: "unixODBC-devel-2.2.11 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     unixODBC-devel-2.2.11-7.1 (x86_64)  unixODBC-devel-2.2.11 (x86_64)  合格        
  discus164     unixODBC-devel-2.2.11-7.1 (x86_64)  unixODBC-devel-2.2.11 (x86_64)  合格        
結果: "unixODBC-devel-2.2.11 (x86_64)"のパッケージの存在チェックに合格しました

チェック: "pdksh-5.2.14"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     pdksh-5.2.14-36.el5       pdksh-5.2.14              合格        
  discus164     pdksh-5.2.14-36.el5       pdksh-5.2.14              合格        
結果: "pdksh-5.2.14"のパッケージの存在チェックに合格しました

チェック: "expat-1.95.7 (x86_64)"のパッケージの存在 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     expat-1.95.8-8.3.el5_5.3 (x86_64)  expat-1.95.7 (x86_64)     合格        
  discus164     expat-1.95.8-8.3.el5_5.3 (x86_64)  expat-1.95.7 (x86_64)     合格        
結果: "expat-1.95.7 (x86_64)"のパッケージの存在チェックに合格しました

UID値0を持つ複数のユーザーをチェック中
結果: UID値0を持つ複数のユーザーのチェックに合格しました

チェック: 現行のグループID 
結果: 現行のグループIDチェックに合格しました
コア・ファイル名パターンの一貫性をチェック中...
コア・ファイル名パターンの一貫性チェックに合格しました。

ユーザー"grid"が"root"グループにないことを確認中
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     存在しません                    合格                      
  discus164     存在しません                    合格                      
結果: ユーザー"grid"は"root"グループの一部ではありません。チェックに合格しました

デフォルトのユーザー・ファイル作成マスクのチェック
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus264     0022                      0022                      合格        
  discus164     0022                      0022                      合格        
結果: デフォルトのユーザー・ファイル作成マスクのチェックに合格しました

ネットワーク・タイム・プロトコル(NTP)を使用してクロック同期のチェックを開始中...

NTP構成ファイルのチェックが開始されました...
NTP構成ファイル"/etc/ntp.conf"はすべてのノードで使用できます
NTP構成ファイルのチェックに合格しました

デーモン活性をチェック中...

チェック: "ntpd"の活性
  ノード名                                  実行中ですか                  
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: "ntpd"の活性チェックに合格しました

NTPデーモンのコマンドラインのslewオプション"-x"をチェック中
チェック: NTPデーモン・コマンド・ライン
  ノード名                                  Slewオプションが設定されているか      
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: 
NTPデーモンのslewオプションのチェックに合格しました

ファイル"/etc/sysconfig/ntpd"内のNTPデーモンのブート時構成のslewオプション"-x"をチェック中

チェック: NTPデーモンのブート時構成
  ノード名                                  Slewオプションが設定されているか      
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: 
NTPデーモンのブート時構成のslewオプションのチェックに合格しました

NTP共通タイム・サーバーのチェックが開始されました...
NTPタイム・サーバー"210.173.160.86"は、NTPデーモンが実行されているすべてのノードで共通です
NTPタイム・サーバー"210.173.176.251"は、NTPデーモンが実行されているすべてのノードで共通です
PRVF-5408 : NTPタイム・サーバー"210.173.160.56"は、次のノード"discus264"でのみ共通です
共通NTPタイム・サーバーのチェックに合格しました

NTPタイム・サーバーからのクロック時間オフセットのチェックが開始されました...
ノード"[discus264, discus164]"をチェック中...
チェック: NTP タイム・サーバーからのクロック時間オフセット

タイム・サーバー: 210.173.160.86 
時間オフセット制限: 1000.0 ミリ秒
  ノード名          時間オフセット                   ステータス                   
  ------------  ------------------------  ------------------------
  discus264     -428.02                   合格                      
  discus164     0.164                     合格                      
タイム・サーバー"210.173.160.86"の時間オフセットは、ノード"[discus264, discus164]"の許容限界内です。

タイム・サーバー: 210.173.176.251 
時間オフセット制限: 1000.0 ミリ秒
  ノード名          時間オフセット                   ステータス                   
  ------------  ------------------------  ------------------------
  discus264     -427.36                   合格                      
  discus164     0.417                     合格                      
タイム・サーバー"210.173.176.251"の時間オフセットは、ノード"[discus264, discus164]"の許容限界内です。
クロック時間オフセットのチェックに合格しました

結果: ネットワーク・タイム・プロトコル(NTP)を使用したクロック同期のチェックに合格しました

クラスタ・サービス設定の事前チェックはすべてのノードで失敗しました。

「結果: グループ"dba"内のユーザー"grid"のメンバーシップ・チェックが失敗しました」という箇所は無視可能というかマニュアルにもGrid Infrastructureユーザをdbaグループに属させる必要があると記載されていないので無視でOK.

次に、H/WとOSの設定の事前チェック（RACを構成する全ノードのOracle Grid Infrastructureユーザで実施）

[grid@discus164 grid]$ pwd
/home/grid/software/oracle/grid
[grid@discus164 grid]$ ll
合計 76
drwxr-xr-x  9 grid oinstall 4096  8月 17  2009 doc
drwxr-xr-x  4 grid oinstall 4096 12月  3 11:05 install
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 response
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 rpm
-rwxr-xr-x  1 grid oinstall 3227  8月 15  2009 runInstaller
-rwxrwxr-x  1 grid oinstall 3795  1月 29  2009 runcluvfy.sh
drwxrwxr-x  2 grid oinstall 4096  8月 15  2009 sshsetup
drwxr-xr-x 14 grid oinstall 4096  8月 15  2009 stage
-rw-r--r--  1 grid oinstall 4228  8月 18  2009 welcome.html
[grid@discus164 grid]$
[grid@discus164 grid]$
[grid@discus164 grid]$ ./runcluvfy.sh stage -post hwos -n discus164,discus264 -verbose

ハードウェアとオペレーティング・システム設定の事後チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus164"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus264                             はい                      
  discus164                             はい                      
結果: ノード"discus164"からのノード到達可能性チェックに合格しました


ユーザー等価をチェック中...

チェック: ユーザー"grid"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus264                             合格                      
  discus164                             合格                      
結果: ユーザー"grid"のユーザー等価チェックに合格しました

ノード接続性をチェック中...

ホスト構成ファイルをチェック中...
  ノード名          ステータス                     コメント                    
  ------------  ------------------------  ------------------------
  discus264     合格                                                
  discus164     合格                                                

ホスト構成ファイルの検証に成功しました


ノード"discus264"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.91    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:CC:3B:97 1500  
 eth1   192.168.3.91    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:2F:97:0D 1500  
 eth2   192.168.2.91    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:AD:F8:40 1500  


ノード"discus164"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.90    192.168.1.0     0.0.0.0         192.168.1.1     08:00:27:B1:38:96 1500  
 eth1   192.168.3.90    192.168.3.0     0.0.0.0         192.168.1.1     08:00:27:FC:A5:8E 1500  
 eth2   192.168.2.90    192.168.2.0     0.0.0.0         192.168.1.1     08:00:27:47:E9:2C 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth0                  discus164:eth0                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.1.0"のノード接続性に合格しました


チェック: サブネット"192.168.1.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.1.90          discus264:192.168.1.91          合格              
結果: サブネット"192.168.1.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.3.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth1                  discus164:eth1                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.3.0"のノード接続性に合格しました


チェック: サブネット"192.168.3.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.3.90          discus264:192.168.3.91          合格              
結果: サブネット"192.168.3.0"のTCP接続性チェックに合格しました


チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus264:eth2                  discus164:eth2                  はい              
結果: ノードdiscus264,discus164を持つサブネット"192.168.2.0"のノード接続性に合格しました


チェック: サブネット"192.168.2.0"のTCP接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus164:192.168.2.90          discus264:192.168.2.91          合格              
結果: サブネット"192.168.2.0"のTCP接続性チェックに合格しました


VIPの候補となるサブネット"192.168.1.0"で見つかったインタフェースは次のとおりです:
discus264 eth0:192.168.1.91
discus164 eth0:192.168.1.90

プライベート・インターコネクトの候補となるサブネット"192.168.3.0"で見つかったインタフェースは次のとおりです:
discus264 eth1:192.168.3.91
discus164 eth1:192.168.3.90

プライベート・インターコネクトの候補となるサブネット"192.168.2.0"で見つかったインタフェースは次のとおりです:
discus264 eth2:192.168.2.91
discus164 eth2:192.168.2.90

結果: ノード接続性チェックに合格しました


UID値0を持つ複数のユーザーをチェック中
結果: UID値0を持つ複数のユーザーのチェックに合格しました

ハードウェアとオペレーティング・システム設定の事後チェックは成功しました。

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 2日 (日) 00時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2011年1月 1日 (土)

VirtualBox de Oracle11g R2 RAC #14

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、ASMlibのインストール及び構成です。（やっと半分w)

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成

[root@discus164 tmp]# uname -a
Linux discus164.macdeoracle.jp 2.6.18-194.17.1.el5 #1 SMP Wed Sep 29 12:50:31 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

CentOS5.5 2.6.18-194.17.1.el5 x86_64なので、以下のasmパッケージをRACを構成する全ノードでインストール、構成する。

oracleasm-support-2.1.3-1.el5.x86_64.rpm
oracleasmlib-2.0.4-1.el5.x86_64.rpm
oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm

ダウンロード（RACを構成する全ノードのrootユーザで）CentOS5.5 x86_64ですが、ダウンロードするのはrhel5 amd64版でOK

[root@discus164 tmp]# wget http://oss.oracle.com/projects/oracleasm-support/dist/files/RPMS/rhel5/amd64/2.1.3/oracleasm-support-2.1.3-1.el5.x86_64.rpm
--2010-11-24 16:19:15--  http://oss.oracle.com/projects/oracleasm-support/dist/files/RPMS/rhel5/amd64/2.1.3/oracleasm-support-2.1.3-1.el5.x86_64.rpm
oss.oracle.com をDNSに問いあわせています... 141.146.12.120
oss.oracle.com|141.146.12.120|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 90444 (88K) [application/x-rpm]
`oracleasm-support-2.1.3-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 90,444       105K/s 時間 0.8s    

2010-11-24 16:19:17 (105 KB/s) - `oracleasm-support-2.1.3-1.el5.x86_64.rpm' へ保存完了 [90444/90444]

[root@discus164 tmp]# wget http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm
--2010-11-24 16:19:30--  http://download.oracle.com/otn_software/asmlib/oracleasmlib-2.0.4-1.el5.x86_64.rpm
download.oracle.com をDNSに問いあわせています... 203.77.186.253, 203.77.186.254
download.oracle.com|203.77.186.253|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 14176 (14K) [text/plain]
`oracleasmlib-2.0.4-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 14,176      --.-K/s 時間 0.01s   

2010-11-24 16:19:30 (1.33 MB/s) - `oracleasmlib-2.0.4-1.el5.x86_64.rpm' へ保存完了 [14176/14176]

[root@discus164 tmp]# wget
http://oss.oracle.com/projects/oracleasm/dist/files/RPMS/rhel5/amd64/2.0.5/2.6.18-194.17.1.el5/oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm
--2010-11-24 16:19:44-- http://oss.oracle.com/projects/oracleasm/dist/files/RPMS/rhel5/amd64/2.0.5/2.6.18-194.17.1.el5/oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm
oss.oracle.com をDNSに問いあわせています... 141.146.12.120
oss.oracle.com|141.146.12.120|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 137417 (134K) [application/x-rpm]
`oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm' に保存中

100%[=================================================================================================>] 137,417      161K/s 時間 0.8s    

2010-11-24 16:19:46 (161 KB/s) - `oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm' へ保存完了 [137417/137417]

[root@discus164 tmp]#

インストール（RACを構成する全ノードのrootユーザで）

[root@discus164 tmp]# rpm -ivh oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm oracleasm-support-2.1.3-1.el5.x86_64.rpm oracleasmlib-2.0.4-1.el5.x86_64.rpm
警告: oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5.x86_64.rpm: ヘッダ V3 DSA signature: NOKEY, key ID 1e5e0159
準備中...                ########################################### [100%]
   1:oracleasm-support      ########################################### [ 33%]
   2:oracleasm-2.6.18-194.17########################################### [ 67%]
   3:oracleasmlib           ########################################### [100%]
[root@discus164 tmp]#

構成（RACを構成する全ノードのrootユーザで）

[root@discus164 ˜]# /usr/sbin/oracleasm configure
ORACLEASM_ENABLED=false
ORACLEASM_UID=
ORACLEASM_GID=
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER=""
ORACLEASM_SCANEXCLUDE=""
[root@discus164 ˜]# /usr/sbin/oracleasm configure -i
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting  without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: grid
Default group to own the driver interface []: asmadmin
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
[root@discus164 ˜]# 
[root@discus164 ˜]# /usr/sbin/oracleasm init
Creating /dev/oracleasm mount point: /dev/oracleasm
Loading module "oracleasm": oracleasm
Mounting ASMlib driver filesystem: /dev/oracleasm
[root@discus164 ˜]#

ASMディスクの作成（RACを構成する１ノードのrootユーザで実行する）
iSCSIとして作成したデバイスへ作成する。

[root@discus164 iscsi]# ls -l /dev/iscsi/*
/dev/iscsi/openfiler:asm1:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdb
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdb1

/dev/iscsi/openfiler:asm2:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdf
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdf1

/dev/iscsi/openfiler:asm3:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sde
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sde1

/dev/iscsi/openfiler:asm4:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdd
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdd1

/dev/iscsi/openfiler:crs1:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdg
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdg1

/dev/iscsi/openfiler:crs2:
合計 0
lrwxrwxrwx 1 root root  9 11月 24 10:39 part -> ../../sdc
lrwxrwxrwx 1 root root 10 11月 24 10:39 part1 -> ../../sdc1
[root@discus164 iscsi]#
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk CRSVOL1 /dev/iscsi/openfiler:crs1/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk CRSVOL2 /dev/iscsi/openfiler:crs2/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk DATAVOL1 /dev/iscsi/openfiler:asm1/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk DATAVOL2 /dev/iscsi/openfiler:asm2/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk FRAVOL1 /dev/iscsi/openfiler:asm3/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]# /usr/sbin/oracleasm createdisk FRAVOL2 /dev/iscsi/openfiler:asm4/part1
Writing disk header: done
Instantiating disk: done
[root@discus164 iscsi]#

ASMディスクを確認（RACを構成する全ノードのrootユーザで）
ASMディスクを作成したノード以外で scandisksコマンドを実行して認識させる。

[root@discus264 ˜]# /usr/sbin/oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "FRAVOL2"
Instantiating disk "FRAVOL1"
Instantiating disk "DATAVOL1"
Instantiating disk "CRSVOL2"
Instantiating disk "DATAVOL2"
Instantiating disk "CRSVOL1"
[root@discus264 ˜]#

listdisksコマンドでASMディスクが認識されたか確認！

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# /usr/sbin/oracleasm listdisks
CRSVOL1
CRSVOL2
DATAVOL1
DATAVOL2
FRAVOL1
FRAVOL2
[root@discus164 ˜]#

[root@discus264 ˜]# 
[root@discus264 ˜]# 
[root@discus264 ˜]# /usr/sbin/oracleasm listdisks
CRSVOL1
CRSVOL2
DATAVOL1
DATAVOL2
FRAVOL1
FRAVOL2
[root@discus264 ˜]#

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2011年1月 1日 (土) 16時38分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月31日 (金)

VirtualBox de Oracle11g R2 RAC #13

VirtualBox de Oracle11g R2 RACのつづきです。

RACを構成する各ノードの構成ファイルを確認しておきま〜す。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle RACノード構成ファイルの確認

RACを構成する各ノードの構成ファイルをざっと確認。ここまでの作業でRACを構成する各ノードの構成ファイルは以下のようになっているはず…

/etc/hosts

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip

192.168.1.2	lampeye.macdeoracle.jp		lampeye

/etc/security/limits.conf

[root@discus164 security]# diff -u limits.conf.org limits.conf
--- limits.conf.org     2010-03-12 02:24:15.000000000 +0900
+++ limits.conf 2010-11-24 11:10:30.000000000 +0900
@@ -48,3 +48,11 @@
 #@student        -       maxlogins       4
 
 # End of file
+grid soft nproc 2047
+grid hard nproc 16384
+grid soft nofile 1024
+grid hard nofile 65536
+oracle soft nproc 2047
+oracle hard nproc 16384
+oracle soft nofile 1024
+oracle hard nofile 65536
[root@discus164 security]#

/etc/pam.d/login

[root@discus164 pam.d]# diff -u login.org login
--- login.org   2010-01-20 19:36:29.000000000 +0900
+++ login       2010-11-24 11:16:33.000000000 +0900
@@ -12,3 +12,4 @@
 # pam_selinux.so open should only be followed by sessions to be executed in the user context
 session    required     pam_selinux.so open
 session    optional     pam_keyinit.so force revoke
+session    required     pam_limits.so
[root@discus164 pam.d]#

/etc/profile

[root@discus164 etc]# diff -u profile.org profile
--- profile.org 2009-09-22 08:27:09.000000000 +0900
+++ profile     2010-11-24 11:21:27.000000000 +0900
@@ -56,3 +56,12 @@
 
 unset i
 unset pathmunge
+if [ $USER = "oracle" ] || [ $USER = "grid" ]; then 
+    if [ $SHELL = "/bin/ksh" ]; then
+        ulimit -p 16384
+        ulimit -n 65536
+    else
+        ulimit -u 16384 -n 65536
+    fi
+    umask 022
+fi
[root@discus164 etc]#

/etc/sysctl.conf

[root@discus164 ˜]# sysctl -a | grep -E '(se|sh)m|file-max|aio-max-nr|ip_local_port_range|(w|r)mem_(default|max)'
net.ipv4.ip_local_port_range = 32768    61000
net.core.rmem_default = 129024
net.core.wmem_default = 129024
net.core.rmem_max = 131071
net.core.wmem_max = 131071
vm.hugetlb_shm_group = 0
kernel.sem = 250        32000   32      128
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
fs.aio-max-nr = 65536
fs.file-max = 371217
[root@discus164 ˜]#

/etc/udev/rules.d/55-openiscsi.rules

[root@discus164 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
[root@discus164 ˜]#

/etc/udev/scripts

[root@discus164 ˜]# cd /etc/udev/scripts
[root@discus164 scripts]# cat iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}
[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"
[root@discus164 scripts]#

/etc/ntp.conf

[root@discus164 ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
#restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
#server 127.127.1.0
#fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
server 192.168.1.2
server 192.168.1.2
server 192.168.1.2
restrict 192.168.1.2 mask 255.255.255.255 nomodify notrap noquery
[root@discus164 ˜]#

/etc/sysconfig/ntpd

[root@discus164 ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@discus164 ˜]#

/etc/host.conf

[root@discus164 ˜]$ cat /etc/host.conf
order hosts,bind

Oracle Grid Infrastructureユーザや、Oracle所有者の確認はこちら

念のためにuserとgroupのスナップショットを乗せておきますね。

Openfier側構成(やゾンビセッション抑止などは以前の記事参照のこと）

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月31日 (金) 13時57分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月26日 (日)

VirtualBox de Oracle11g R2 RAC #12

VirtualBox de Oracle11g R2 RACのつづきです。

今回はRACノード構成ファイルの確認という予定だったのですが、DNSの構成を別建てにして置く事にします。量が多いので (^^;;

構成するDNSは、ローカルネットワークかつRACを構成するノードの管理さえできればいいので、ローカルネームサーバとして機能すれば十分。
ということで、RAC向けローカルネームサーバを構成することにします。（DNSは素人なので調べるほうが大変だったw)

では、さっそくやってみましょう。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

DNSの構成

悩んだのが、DNSをどこにたてるかということ。いろいろ悩んでいたんですが、元ネタの１つからいいアイデアもらいました。
それは、DNSをOpenfiler上に構成するということ。ストレージサーバなのでRACを構成する各ノードより先に起動していますし。:)

最初にやるのはDNSサーバを最新版にアップデートすること。でもでもでもですね。以前痛い目にあっていたのでOpenfilerというかrPath Linuxのパッケージ管理は無効化していたんです。このままじゃDNSの最新パッケージを使えないので一時的に使えるようにします。

Openfilerのパッケージ管理は、conaryというrPath Linux由来のものが利用されています。/etc/conaryrcの内容をすべてコメントアウトして利用できないようしてあります。

[root@arowana2 ˜]# cat /etc/conaryrc
#installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
#pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
#autoResolve True
#includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]#

コメントアウトしていただけなのですぐに利用できるように戻せるのだ！ :)

[root@arowana2 ˜]# cat /etc/conaryrc
installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
autoResolve True
includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]#

conaryをつかってbindを最新版にアップデート！！

[root@arowana2 ˜]# conary update bind:runtime

確認！　最新版になりました！

[root@arowana2 ˜]# conary q bind
bind=9.4.3_P5-1.1-1

再び、conaryを無効化しておく。（トラウマなだけで今は安定しているかもしれんw　だけど止めとくw)

[root@arowana2 ˜]# cat /etc/conaryrc
#installLabelPath openfiler.rpath.org@ofns:2 conary.rpath.com@rpl:1
#pinTroves (kernel|linux-image-2\.6\.[0-9]+-[0-9]+(-[a-z]+)?)([:-].*|$)
#autoResolve True
#includeConfigFile /etc/conary/config.d/*
[root@arowana2 ˜]#

Openfiler（host名：arowana2）で、DNSの構成を始めるにあたって参考にしたサイトを書いておきますね。

・Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.7.4 グリッド・ネーミング・サービスの構成例
・Openfiler側にDNSを立てるというアイデアを頂いたサイト。元ネタの１つでもある。
・DNSの素人なりにいろいろググって見つけたすげー参考になったサイト「月刊NetworkWorld連載『DNSの仕組み完全解説』」(ありがとうございます！）

今回構築するRACのネットワーク構成は以前の書いたが以下のように構成する。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus164	Public	192.168.1.90	hostsおよびDNS
discus164-iscsi	Private	192.168.2.90
discus164-priv	Private	192.168.3.90
discus164-vip	Virtual	192.168.1.190
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus264	Public	192.168.1.91	hostsおよびDNS
discus264-iscsi	Private	192.168.2.91
discus264-priv	Private	192.168.3.91
discus264-vip	Virtual	192.168.1.191
SCAN VIP1/2/3
Hostname	タイプ	IP address	名前解決方法
discus-rac64-scan	Virtual	192.168.1.200	DNS
discus-rac64-scan		192.168.1.201
discus-rac64-scan		192.168.1.202
Openfiler2.3(iSCSI) - (hostname=arowana2.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
arowana2	Public	192.168.1.92	hostsおよびDNS
arowana2-priv	Private	192.168.2.92	hostsおよびDNS

・DNSの構成

/etc/resolv.confの構成は以下の通り。ローカルipアドレスを利用しているRACの各ノードやOpenfilerは/etc/hostsとdnsで解決できるようにしておきます。ipアドレスはすべて固定です。

[root@arowana2 ˜]# cat /etc/resolv.conf
search macdeoracle.jp
nameserver 192.168.1.92

; Forward Lookup Zone
discus164               IN A            192.168.1.90
discus264               IN A            192.168.1.91
discus164-priv          IN A            192.168.3.90
discus264-priv          IN A            192.168.3.91
discus164-iscsi         IN A            192.168.2.90
discus264-iscsi         IN A            192.168.2.91
discus164-vip           IN A            192.168.1.190
discus264-vip           IN A            192.168.1.191
arowana2                IN A            192.168.1.92
arowana2-priv           IN A            192.168.2.92
discus-rac64-scan       IN A            192.168.1.200
discus-rac64-scan       IN A            192.168.1.201
discus-rac64-scan       IN A            192.168.1.202

; Reverse Lookup Zone
90                      IN PTR          discus164.macdeoracle.jp.
91                      IN PTR          discus264.nacdeiracle,jp.
190                     IN PTR          discus164-vip.macdeoracle.jp.
191                     IN PTR          discus264-vip.macdeoracle.jp.
200                     IN PTR          discus-rac64-scan.macdeoracle.jp.
201                     IN PTR          discus-rac64-scan.macdeoracle.jp.
202                     IN PTR          discus-rac64-scan.macdeoracle.jp.
[root@arowana2 ˜]#

/etc/named.confの構成。（逆引き／正引きのゾーン設定や上位DNSへの回送設定）
逆引きの設定で、RACで利用しているローカルipアドレス以外はダーミーゾーンに設定しているところがポイント。気になっていたところなのでググってよい参考サイト見つけられてよかった。ほんと感謝、感謝。

[root@arowana2 ˜]# cat /etc/named.conf
# DNS configuration file for Oracle RAC 11g release 2 

options {


    // FORWARDERS:  Forward any name this DNS can't resolve to my router.
    forwarders { 192.168.1.1; };

    // DIRECTORY:   Directory where named will look for zone files.
    directory "/srv/named/data";

	//allow query requests 
    allow-query { 192.168.0.0/22; };
};

# ----------------------------------
# Forward Zone
# ----------------------------------

zone "macdeoracle.jp" IN {
    type master;
    file "macdeoracle.jp.zone";
    allow-update { none; };
};

# ----------------------------------
# Reverse Zone
# ----------------------------------

zone "1.168.192.in-addr.arpa" IN {
    type master;
    file "1.168.192.in-addr.arpa.zone";
    allow-update { none; };
};

zone "168.192.in-addr.arpa" IN {
	type master;
	file "dummy.zone";
	notify no;
};

zone "0.0.127.in-addr.arpa" IN {
	type master;
	file "0.0.127.in-addr.arpa.zone";
	notify no;
};

# ----------------------------------
# private addresses dummy Zone
# ---------------------------------

zone "10.in-addr.arpa" {
	type master;
	file "dummy.zone";
	notify no;
};

zone "16.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "17,172,in-addr.arpa" {
	type master;
	file "dummy.zone";
	notify no;
};

zone "18.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "19.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "20.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "21.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "22.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "23.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "24.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "25.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "26.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "27.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "28.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "29.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "30.172.in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

zone "31.172,in-addr.arpa" {
    type master;
    file "dummy.zone";
    notify no;
};

[root@arowana2 ˜]#

・以下、正引き／逆引き用ゾーンファイルの作成
/srv/named/data/macdeoracle.jp.zoneの作成（正引き用ゾーンファイル）

[root@arowana2 ˜]# cat /srv/named/data/macdeoracle.jp.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/macdeoracle.jp.zone                               |
; |                                                                   |
; | Forward zone definition file for macdeoracle.jp zone              |
; +-------------------------------------------------------------------+

$ORIGIN macdeoracle.jp.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.
localhost               IN A        127.0.0.1

; Oracle RAC Nodes
discus164               IN A            192.168.1.90
discus264               IN A            192.168.1.91
discus164-priv          IN A            192.168.3.90
discus264-priv          IN A            192.168.3.91
discus164-iscsi         IN A            192.168.2.90
discus264-iscsi         IN A            192.168.2.91
discus164-vip           IN A            192.168.1.190
discus264-vip           IN A            192.168.1.191

; Network Storage Server
arowana2                IN A            192.168.1.92
arowana2-priv           IN A            192.168.2.92

; Single Client Access Name (SCAN) virtual IP
discus-rac64-scan       IN A            192.168.1.200
discus-rac64-scan       IN A            192.168.1.201
discus-rac64-scan       IN A            192.168.1.202

; Miscellaneous Nodes
lampeye                 IN A            192.168.1.2
[root@arowana2 ˜]#

/srv/named/data/168.192.in-addr.arpa.zon（逆引き用ゾーンファイル）の作成

[root@arowana2 data]# cat 168.192.in-addr.arpa.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/168.192.in-addr.arpa.zone                         |
; |                                                                   |
; | Reverse zone definition file for 168.192.in-addr.arpa.zone        |
; +-------------------------------------------------------------------+

$ORIGIN 168.192.in-addr.arpa.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.

; Oracle RAC Nodes
90                      IN PTR          discus164.macdeoracle.jp.
91                      IN PTR          discus264.macdeoracle.jp.
190                     IN PTR          discus164-vip.macdeoracle.jp.
191                     IN PTR          discus264-vip.macdeoracle.jp.

; Network Storage Server
92                      IN PTR          arowana2.macdeoracle.jp.

; Single Client Access Name (SCAN) virtual IP
200                     IN PTR          discus-rac64-scan.macdeoracle.jp.
201                     IN PTR          discus-rac64-scan.macdeoracle.jp.
202                     IN PTR          discus-rac64-scan.macdeoracle.jp.

; Miscellaneous Nodes
2                       IN PTR          lampeye.macdeoracle.jp.
[root@arowana2 data]#

ローカルホスト(127.0.0.1)の逆引きゾーンの定義

[root@arowana2 ˜]# cat /srv/named/data/0.0.127.in-addr.arpa.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/0.0.127.in-addr.arpa.zone                         |
; |                                                                   |
; | Reverse zone definition file for 0.0.127.in-addr.arpa.zone        |
; +-------------------------------------------------------------------+

$ORIGIN 0.0.127.in-addr.arpa.

$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        7200        ; refresh        - (2 hours)
        300         ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        60          ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.

; localhost
1			IN PTR		localhost.
[root@arowana2 ˜]#

/srv/named/data/dummy.zone（ダミーゾーンファイル）の作成
「月刊NetworkWorld連載『DNSの仕組み完全解説』」の記事を参考にローカルipアドレスの逆引きの問い合わせが外部のDNSに発生しないようにするために利用するダミーゾーンファイルの定義を以下のように作成した。

[root@arowana2 ˜]# cat /srv/named/data/dummy.zone
; +-------------------------------------------------------------------+
; | /srv/named/data/dummy.zone                                        |
; +-------------------------------------------------------------------+


$TTL 86400          ; time-to-live   - (1 day)

@  IN SOA  arowana2.macdeoracle.jp. discus.lampeye.macdeoracle.jp. (
        201011021   ; serial number  - (yyyymmdd+s)
        28800       ; refresh        - (2 hours)
        2700        ; retry          - (5 minutes)
        604800      ; expire         - (1 week)
        3600        ; minimum        - (1 minute)
)
                        IN NS       arowana2.macdeoracle.jp.
[root@arowana2 ˜]#

構成できたらnamedを自動起動設定にしてnamedを起動

[root@arowana2 ˜]# chkconfig named on
[root@arowana2 ˜]# chkconfig --list named
named			0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@arowana2 ˜]# service named start
Starting named:								[  OK  ]

ここまでてdnsの設定はおしまい。前述の作業はすべてOpenfilerを乗せているサーバ上で行った。

つづいて、RACを構成する各ノードでOpenfiler上に構成したローカルネームサーバを参照させるように設定する。
/etc/host.confの構成（RACを構成する全ノード及び、Openfilerを構成したノード）

/etc/hostsを優先させる。/etc/hostsを見てもらうとわかるけど、dnsと重複定義している。無駄と言えばむだだと思うけど。SCAN VIPだけdns管理すればOKなのかってとこまでは見えてないからそれはそれで別途確認だな→TODO

[oracle@discus164 ˜]$ cat /etc/host.conf
order hosts,bind

/etc/hostsの構成（RACを構成する全ノード及び、Openfilerを構成したノード）

[oracle@discus164 ˜]$ cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip


192.168.1.2	lampeye.macdeoracle.jp		lampeye
[oracle@discus164 ˜]$

これで準備OK.続いて動作確認！

・正引きテスト

最初に外部サイトが引けるか確認…OK.

[root@discus164 ˜]# nslookup openfiler.com
Server:		192.168.1.92
Address:	192.168.1.92#53

Non-authoritative answer:
Name:	openfiler.com
Address: 84.45.94.236

[root@discus164 ˜]#

次に内部…

[root@discus164 ˜]# nslookup lampeye 
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   lampeye.macdeoracle.jp
Address: 192.168.1.2

[root@discus164 ˜]# nslookup discus164
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus164.macdeoracle.jp
Address: 192.168.1.90

[root@discus164 ˜]# nslookup discus164-vip
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus164-vip.macdeoracle.jp
Address: 192.168.1.190

[root@discus164 ˜]# nslookup discus264
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus264.macdeoracle.jp
Address: 192.168.1.91

[root@discus164 ˜]# nslookup discus264-vip
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus264-vip.macdeoracle.jp
Address: 192.168.1.191

[root@discus164 ˜]# nslookup discus-rac64-scan
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.201
Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.202
Name:   discus-rac64-scan.macdeoracle.jp
Address: 192.168.1.200

[root@discus164 ˜]# nslookup localhost
Server:         192.168.1.92
Address:        192.168.1.92#53

Name:   localhost.macdeoracle.jp
Address: 127.0.0.1

・逆引きテスト

[root@discus164 ˜]# nslookup 192.168.1.200
Server:         192.168.1.92
Address:        192.168.1.92#53

200.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.201
Server:         192.168.1.92
Address:        192.168.1.92#53

201.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.202
Server:         192.168.1.92
Address:        192.168.1.92#53

202.1.168.192.in-addr.arpa      name = discus-rac64-scan.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.90
Server:         192.168.1.92
Address:        192.168.1.92#53

90.1.168.192.in-addr.arpa       name = discus164.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.91
Server:         192.168.1.92
Address:        192.168.1.92#53

91.1.168.192.in-addr.arpa       name = discus264.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.190
Server:         192.168.1.92
Address:        192.168.1.92#53

190.1.168.192.in-addr.arpa      name = discus164-vip.macdeoracle.jp.

[root@discus164 ˜]# nslookup 192.168.1.191
Server:         192.168.1.92
Address:        192.168.1.92#53

191.1.168.192.in-addr.arpa      name = discus264-vip.macdeoracle.jp.


[root@discus164 ˜]# nslookup 127.0.0.1
Server:		192.168.1.92
Address:	192.168.1.92#53

1.0.0.127.in-addr.arpa	name = localhost.

[root@discus164 ˜]#

これでOK次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月26日 (日) 22時07分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月25日 (土)

VirtualBox de Oracle11g R2 RAC #11

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、RACノード間リモートアクセスの構成です。
Oracle11g R2 11.2.0.2.0ではパスフレーズなしでSSHを構成する必要があるのですが、OUIが自動構成してくれるということ、また、インストレーションガイドでもOUIの自動構成を利用するよう推奨されているんですが、今回はちょっと意地悪なことをしてみます。事前にパスワード付きでSSHを構成しておき、OUIがパスワードなしのSSH構成行われていないと認識しちゃんと自動構成してくれるか見てみます。

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.13 インストール時におけるSSHの自動構成
 Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - E.1 すべてのクラスタ・ノードでの手動によるSSHの構成

では、さっそくやってみましょう。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle RACノード間リモートアクセスの構成
（~~念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ちょいと意地悪な実験をしてみた）
sshパッケージの確認。（RACを構成する全ノードで）

[root@discus164 etc]# rpm -qa --queryformat "%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n"| grep ssh
openssh-server-4.3p2-41.el5_5.1 (x86_64)
openssh-askpass-4.3p2-41.el5_5.1 (x86_64)
openssh-clients-4.3p2-41.el5_5.1 (x86_64)
openssh-4.3p2-41.el5_5.1 (x86_64)
[root@discus164 etc]#

Oracle11g R2 11.2.0.2.0以降ではSSHのユーザの等価化ではパスフレーズなしのみサポートされているのだとか。なんなく面白そうなので、今回は手動でユーザの等価化をわざわざサポートされていないというパスフレーズ付きで実施してみた（ユーザの等価化チェックでエラーとなりOUI側で自動的にパスフレーズなしのユーザ等価化が行われるはず、なのでどうなるか楽しみ！！！）

RACを構成する全ノードのgrid infrastrucreユーザと/oracle所有者で実施する。（Oracle11g 11.2.0.2.0において手動でSSHのユーザ等価化を行う場合、パスフレーズを入力する箇所でパスフレーズを入力せず、[ENTER]キーをタイプすればOKなのですが、今回は、あえてパスフレーズを入力してあります。ログ上ではパスフレーズを入力していないように見えますが.)

[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ mkdir ˜/.ssh
[grid@discus164 ˜]$ chmod 700 ˜/.ssh
[grid@discus164 ˜]$ /usr/bin/ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/grid/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/grid/.ssh/id_dsa.
Your public key has been saved in /home/grid/.ssh/id_dsa.pub.
The key fingerprint is:
ba:bb:09:72:94:94:d6:29:99:12:7f:d2:a6:a6:60:0a grid@discus164.macdeoracle.jp
[grid@discus164 ˜]$ 

[root@discus164 ˜]# 
[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ mkdir ˜/.ssh
[oracle@discus164 ˜]$ chmod 700 ˜/.ssh
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ /usr/bin/ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_dsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/oracle/.ssh/id_dsa.
Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.
The key fingerprint is:
88:5d:b0:ec:80:8c:59:ed:22:f7:d8:88:6d:6c:41:1a oracle@discus164.macdeoracle.jp
[oracle@discus164 ˜]$

以下の操作はRAC上の１ノードから行えばOK。ただ、gid infrastructureユーザとOracle所有者の両ユーザで行う必要があるのでご注意を。11.2.0.2.0以降では以前のリリースのように神経質にならなくてもいいかもね。sshの構成に関しては……
Oracle Grid Infrastructureユーザから…

[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$ touch ˜/.ssh/authorized_keys
[grid@discus164 ˜]$ cd ˜/.ssh
[grid@discus164 .ssh]$ ls -l *.pub
-rw-r--r-- 1 grid oinstall 619 11月 24 13:11 id_dsa.pub
[grid@discus164 .ssh]$ ssh discus164 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus164 (192.168.1.90)' can't be established.
RSA key fingerprint is 15:90:e9:89:98:8e:ed:3f:67:7b:d4:e7:97:6b:58:c5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus164,192.168.1.90' (RSA) to the list of known hosts.
grid@discus164's password: 
[grid@discus164 .ssh]$ ssh discus264 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus264 (192.168.1.91)' can't be established.
RSA key fingerprint is 55:80:d3:23:4f:82:44:4b:b8:89:02:d8:69:31:7e:f5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus264,192.168.1.91' (RSA) to the list of known hosts.
grid@discus264's password: 
[grid@discus164 .ssh]$ scp ˜/.ssh/authorized_keys discus264:.ssh/authorized_keys
grid@discus264's password: 
authorized_keys                                                        100% 1238     1.2KB/s   00:00
[grid@discus164 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[grid@discus164 .ssh]$ 
[grid@discus164 ˜]$ ssh discus164 hostname
Enter passphrase for key '/home/grid/.ssh/id_dsa': 
discus164.macdeoracle.jp
[grid@discus164 ˜]$ ssh discus264 hostname
Enter passphrase for key '/home/grid/.ssh/id_dsa': 
discus264.macdeoracle.jp
[grid@discus164 ˜]$

次はOracle所有者で…　11.2.0.2.0以降パスブレーズなしにする必要があるのですがわざと入れてます　(^^)

[root@discus164 ˜]# su - oracle
[oracle@discus164 ˜]$ touch ˜/.ssh/authorized_keys
[oracle@discus164 ˜]$ cd ˜/.ssh
[oracle@discus164 .ssh]$ ls -l *.pub
-rw-r--r-- 1 oracle oinstall 621 11月 24 13:14 id_dsa.pub
[oracle@discus164 .ssh]$ ssh discus164 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus164 (192.168.1.90)' can't be established.
RSA key fingerprint is 15:90:e9:89:98:8e:ed:3f:67:7b:d4:e7:97:6b:58:c5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus164,192.168.1.90' (RSA) to the list of known hosts.
oracle@discus164's password: 
[oracle@discus164 .ssh]$ ssh discus264 cat ˜/.ssh/id_dsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus264 (192.168.1.91)' can't be established.
RSA key fingerprint is 55:80:d3:23:4f:82:44:4b:b8:89:02:d8:69:31:7e:f5.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus264,192.168.1.91' (RSA) to the list of known hosts.
oracle@discus264's password: 
[oracle@discus164 .ssh]$ scp ˜/.ssh/authorized_keys discus264:.ssh/authorized_keys
oracle@discus264's password: 
authorized_keys                                                        100% 1242     1.2KB/s   00:00
[oracle@discus164 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[oracle@discus164 .ssh]$ cd
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ ssh discus164 hostname
Enter passphrase for key '/home/oracle/.ssh/id_dsa': 
discus164.macdeoracle.jp

[oracle@discus164 ˜]$ ssh discus264 hostname
Enter passphrase for key '/home/oracle/.ssh/id_dsa': 
discus264.macdeoracle.jp
[oracle@discus164 ˜]$

確認！ gird infrastructureユーザとOracle所有者の両方で。

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus164 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_dsa: 
Identity added: /home/oracle/.ssh/id_dsa (/home/oracle/.ssh/id_dsa)
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ ssh discus164 hostname
discus164.macdeoracle.jp
[oracle@discus164 ˜]$ ssh discus264 hostname
discus264.macdeoracle.jp
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ exit
exit
[root@discus164 ˜]# su - grid
[grid@discus164 ˜]$ exec /usr/bin/ssh-agent $SHELL
[grid@discus164 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/grid/.ssh/id_dsa: 
Identity added: /home/grid/.ssh/id_dsa (/home/grid/.ssh/id_dsa)
[grid@discus164 ˜]$ ssh discus164 hostname
discus164.macdeoracle.jp
[grid@discus164 ˜]$ ssh discus264 hostname
discus264.macdeoracle.jp
[grid@discus164 ˜]$

最後に、sttyコマンドよるインストールエラーメッセージ抑止（全ノードの grid/oracleユーザで実施）

参考：Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.14.5 インストール中にsttyコマンドによって発生するエラーの防止

[grid@discus164 ˜]$ su - oracle
パスワード:
[oracle@discus164 ˜]$ vi .bashrc
[oracle@discus164 ˜]$ cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
        stty intr ^C
fi
[oracle@discus164 ˜]$

ここで、やる予定ではなかったのですが、次いでなのでNTPの設定もついでにやっちゃいました。

Host OS側で公開NTPサーバと同期、VirtualBox上に作成したRACを構成する各Guest OSは、Host OSをNTPサーバとして同期する。
このようにしておけば公開NTPサーバを参照するのはHost OSだけなので余計な問い合わせを押さえることができますよね。

RACを構成する全ノード及び、iSCSIでも同じ構成にしてあります。ちなみに、192.168.1.2がHost OS

/etc/ntp.confと/etc/sysconfig/ntpdで構成します。ntpはslewモードで調整するよう設定します。

[root@discus164 ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 
#restrict -6 ::1

# Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
#server 127.127.1.0
#fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
server 192.168.1.2
server 192.168.1.2
server 192.168.1.2
restrict 192.168.1.2 mask 255.255.255.255 nomodify notrap noquery
[root@discus164 ˜]#

[root@discus164 ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@discus164 ˜]#

HostOS側は公開NTPサーバと同期するので以下のような設定にしてあります。

[root@lampeye ˜]# cat /etc/ntp.conf
# Permit time synchronization with our time source, but do not
# permit the source to query or modify the service on this system.
restrict default kod nomodify notrap nopeer noquery

# Permit all access over the loopback interface.  This could
# be tightened as well, but to do so would effect some of
# the administrative functions.
restrict 127.0.0.1 

# Hosts on local network are less restricted.
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

# Use public servers from the pool.ntp.org project.
# Please consider joining the pool (http://www.pool.ntp.org/join.html).
server -4 ntp.nict.jp minpoll 8 maxpoll 12
server -4 ntp.nict.jp minpoll 8 maxpoll 12
server -4 ntp.nict.jp minpoll 8 maxpoll 12

#broadcast 192.168.1.255 key 42		# broadcast server
#broadcastclient			# broadcast client
#broadcast 224.0.1.1 key 42		# multicast server
#multicastclient 224.0.1.1		# multicast client
#manycastserver 239.255.254.254		# manycast server
#manycastclient 239.255.254.254 key 42	# manycast client

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available. 
server 127.127.1.0 #local clock
fudge	127.127.1.0 stratum 10	

# Drift file.  Put this in a directory which the daemon can write to.
# No symbolic links allowed, either, since the daemon updates the file
# by creating a temporary in the same directory and then rename()'ing
# it to the file.
driftfile /var/lib/ntp/drift

# Key file containing the keys and key identifiers used when operating
# with symmetric key cryptography. 
keys /etc/ntp/keys

# Specify the key identifiers which are trusted.
#trustedkey 4 8 42

# Specify the key identifier to use with the ntpdc utility.
#requestkey 8

# Specify the key identifier to use with the ntpq utility.
#controlkey 8
restrict ntp.nict.jp mask 255.255.255.255 nomodify notrap noquery
[root@lampeye ˜]#

[root@lampeye ˜]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=yes

# Additional options for ntpdate
NTPDATE_OPTIONS="-B"
[root@lampeye ˜]#

service ntpd restart で再起動。しばらくしてから…

Host OSがntpサーバと同期できているか確認！！

[root@lampeye ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*210.171.226.40  .NICT.           1 u   38 1024  377   10.447   59.103   9.904
 127.127.1.0     .LOCL.          10 l   22   64  377    0.000    0.000   0.001
[root@lampeye ˜]#

公開NTPサーバと同期できています。:)

次はRACを構成する各ノードでHost OSと同期しているか確認します。"*"が表示されているのでうまくいっているようですね。 :)

[root@discus164 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u   95  128  377    0.179  121.450  39.443
[root@discus164 ˜]# 

[root@discus264 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u    5  128  377    0.288  214.652  43.610
[root@discus264 ˜]# 

[root@arowana2 ˜]# ntpq -np
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.2     210.171.226.40   2 u   35  128  377    0.278  -83.188   0.087
[root@arowana2 ˜]#

ということで次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月25日 (土) 20時35分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月21日 (火)

VirtualBox de Oracle11g R2 RAC #10

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、カーネルパラメータの調整、その他。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.8 Oracleインストール所有者のシェル制限の構成

前述のマニュアルに従い各構成ファイルを設定します。(RACを構成する全ノードで実施します。)

/etc/security/limits.confの設定（差分を載せています）

[root@discus164 security]# diff -u limits.conf.org limits.conf
--- limits.conf.org     2010-03-12 02:24:15.000000000 +0900
+++ limits.conf 2010-11-24 11:10:30.000000000 +0900
@@ -48,3 +48,11 @@
 #@student        -       maxlogins       4
 
 # End of file
+grid soft nproc 2047
+grid hard nproc 16384
+grid soft nofile 1024
+grid hard nofile 65536
+oracle soft nproc 2047
+oracle hard nproc 16384
+oracle soft nofile 1024
+oracle hard nofile 65536
[root@discus164 security]#

/etc/pam.d/loginの設定（差分のみ載せています)

[root@discus164 pam.d]# diff -u login.org login
--- login.org   2010-01-20 19:36:29.000000000 +0900
+++ login       2010-11-24 11:16:33.000000000 +0900
@@ -12,3 +12,4 @@
 # pam_selinux.so open should only be followed by sessions to be executed in the user context
 session    required     pam_selinux.so open
 session    optional     pam_keyinit.so force revoke
+session    required     pam_limits.so
[root@discus164 pam.d]#

/etc/profileの設定（差分のみ載せています）

[root@discus164 etc]# diff -u profile.org profile
--- profile.org 2009-09-22 08:27:09.000000000 +0900
+++ profile     2010-11-24 11:21:27.000000000 +0900
@@ -56,3 +56,12 @@
 
 unset i
 unset pathmunge
+if [ $USER = "oracle" ] || [ $USER = "grid" ]; then 
+    if [ $SHELL = "/bin/ksh" ]; then
+        ulimit -p 16384
+        ulimit -n 65536
+    else
+        ulimit -u 16384 -n 65536
+    fi
+    umask 022
+fi
[root@discus164 etc]#

メモリ及びスワップの要件確認（RACを構成する全ノードで実施）
Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.2.1 メモリー要件

[root@discus264 ~]# 
[root@discus264 ~]# cat /proc/meminfo | grep MemTotal
MemTotal:      4051640 kB
[root@discus264 ~]# cat /proc/meminfo | grep SwapTotal
SwapTotal:     6094840 kB
[root@discus264 ~]#

カーネルパラメータの設定（RACを構成する全ノードで実施）
Oracle Databaseインストレーション・ガイド 11gリリース2（11.2） for Linux - 2.9 カーネル・パラメータの構成

[root@discus164 ~]# sysctl -a | grep -E '(se|sh)m|file-max|aio-max-nr|ip_local_port_range|(w|r)mem_(default|max)'
net.ipv4.ip_local_port_range = 32768    61000
net.core.rmem_default = 129024
net.core.wmem_default = 129024
net.core.rmem_max = 131071
net.core.wmem_max = 131071
vm.hugetlb_shm_group = 0
kernel.sem = 250        32000   32      128
kernel.shmmni = 4096
kernel.shmall = 4294967296
kernel.shmmax = 68719476736
fs.aio-max-nr = 65536
fs.file-max = 371217
[root@discus164 ~]#

変更の必要があるのはsem/file-max/aio-max-nr/ip_local_port_range/rmem/wmenね。マニュアルの推奨値に設定します。
(以下、差分だけ載せています。）

[root@discus164 etc]# diff -u sysctl.conf.org sysctl.conf
--- sysctl.conf.org     2010-11-24 12:17:12.000000000 +0900
+++ sysctl.conf 2010-11-24 12:17:48.000000000 +0900
@@ -33,3 +33,12 @@
 
 # Controls the maximum number of shared memory segments, in pages
 kernel.shmall = 4294967296
+# parameter setting for oracle 
+net.ipv4.ip_local_port_range = 9000 65500
+kernel.sem = 250 32000 100 128
+fs.aio-max-nr = 1048576
+fs.file-max = 6815744
+net.core.rmem_default = 262144
+net.core.rmem_max = 4194304
+net.core.wmem_default = 262144
+net.core.wmem_max = 1048576
[root@discus164 etc]# 
[root@discus164 etc]# 
[root@discus164 etc]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.ip_local_port_range = 9000 65500
kernel.sem = 250 32000 100 128
fs.aio-max-nr = 1048576
fs.file-max = 6815744
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
[root@discus164 etc]#

次回は、RACノード間リモートアクセスの構成へ続きます！（本場のミソカツ食べたお）

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月21日 (火) 23時47分 Oracle, Mac, Linux, RAC, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月19日 (日)

VirtualBox de Oracle11g R2 RAC #9

VirtualBox de Oracle11g R2 RACのつづきです。

さて、やっと、Oracle所有者と関連ディレクトリの作成及び環境変数の設定作業まできました〜。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

・Oracle所有者、Oracle Grid Infrastructureユーザの作成と関連ディレクトリの作成及び環境変数の設定

Oracle11g R2からOracle Grid Infrastructure（以前はOracle Clusterwareって言われていたやつにASMが組み込まれたと思えばいいのかな？）となり、Oracle所有者以外にOracle Grid Infrastructreユーザの作成が推奨されるようになったので、今回からはOracle所有者に加えてOracle Grid Infrastructureユーザも作成します。

さらに、asmadminやasmdbaといった新顔のグループも必要になり以前より手間が増えてる。 :)

グループの追加方法や、ユーザの作成方法はコマンドでやるもよし、GUIでやるもよし。好きなのを選べばよいと思います。
ノード数が多いとGUIではやらないと思いますけど２ノードですから気にする事ないと思いますよ。:)

で、フループも必要最低限で、oinstall/dba/asmadmin/asmdbaの４グループを作成します。

グループやユーザをコマンドで作成する方法はマニュアルにも記載されていので省略します。
参考：
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56271/prelinux.htm#CFIJDFIB
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56273/pre_install.htm#BABHHEJD
・http://download.oracle.com/docs/cd/E16338_01/install.112/b56271/prelinux.htm#BABBIDCF

以下完成した状態、以下のようになっていればOK.　

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/group | grep -E '(oinstall|dba|asm*)'
oinstall:x:601:oracle,grid
dba:x:602:oracle
asmadmin:x:603:grid
asmdba:x:604:oracle,grid
[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/passwd | grep -E '(oracle|grid)'
oracle:x:601:601:oracle:/home/oracle:/bin/bash
grid:x:602:601:grid:/home/grid:/bin/bash
[root@discus164 ˜]# 
[root@discus164 ˜]# id -a grid
uid=602(grid) gid=601(oinstall) 所属グループ=601(oinstall),603(asmadmin),604(asmdba) context=user_u:system_r:unconfined_t
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# id -a oracle
uid=601(oracle) gid=601(oinstall) 所属グループ=601(oinstall),602(dba),604(asmdba) context=user_u:system_r:unconfined_t

・ORACLE_BASE及びORACLE_HOMEディレクトリの作成

Oracle Grid InfrastructureユーザのORACLE_BASE/ORACLE_HOMEディレクトリ及び、Oracleソフトウェア所有者のORACLE_BASEディレクトリを作成しておきます。

Oracle Grid InfrastrucreユーザのORACLE_BASE=/u01/app/grid、ORACLE_HOME=/u01/app/11.2.0/grid、そして、Oracleソフトウェア所有者のORACLE_BASE=/u01/app/oracle となるように作成しておきます。

RACを構成する全ノードで実施します。

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# mkdir -p /u01/app/grid
[root@discus164 ˜]# mkdir -p /u01/app/11.2.0/grid
[root@discus164 ˜]# chown -R grid:oinstall /u01
[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# mkdir -p /u01/app/oracle
[root@discus164 ˜]# chown -R oracle:oinstall /u01/app/oracle
[root@discus164 ˜]# chmod -R 755 /u01
[root@discus164 ˜]#

[root@discus264 ˜]#
[root@discus264 ˜]#
[root@discus264 ˜]# mkdir -p /u01/app/grid
[root@discus264 ˜]# mkdir -p /u01/app/11.2.0/grid
[root@discus264 ˜]# chown -R grid:oinstall /u01
[root@discus264 ˜]#
[root@discus264 ˜]#
[root@discus264 ˜]# mkdir -p /u01/app/oracle
[root@discus264 ˜]# chown -R oracle:oinstall /u01/app/oracle
[root@discus264 ˜]# chmod -R 755 /u01
[root@discus264 ˜]#
[root@discus264 ˜]#

・環境変数

インストールの際には必要最低限の環境変数でいいんだけどね。設定してても問題になった事は、いまのところないのでこの時点で設定しちゃってます。

参考:
http://download.oracle.com/docs/cd/E16338_01/server.112/b56317/admin_ora.htm#i46652

ところで、Oracle11g だけど、ORA_NLS10なんだね。

でも、http://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/server.111/E05816-01/app_initparam.htm#BABGIEFDというGateways系のパラメータではORA_NLS11で同じパスをさすんだけど、紛らわしいから環境変数もORA_NLS11にしちゃえばわかりやすいのにと思うのは私だけ？…

・Oracle Grid Infrastructureユーザの環境変数の例（RACを構成する全ノードのOracle Grid Infrastructureユーザに設定します）

Oracleソフトウェア所有者とはORACLE_SID、ORACLE_BASE環境変数の値が異なっていることに注意！
Oracle Grid InfrastructureユーザはASM管理者でもあるので。

この辺の設定も以前より手間が増えた部分ですね〜。

なお、ついでなので2.14.5 インストール中にsttyコマンドによって発生するエラーの防止対応を行っています。

[grid@discus164 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[grid@discus164 ˜]$  
[grid@discus164 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Grid Infrastructure Owner
#for Grid Infrastructure Owner
# ORACLE_SID : discus164では+ASM1 , discus264では+ASM2をセット
export ORACLE_SID=+ASM1
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_PATH=.:/u01/app/oracle/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[grid@discus164 ˜]$ 
[grid@discus164 ˜]$

[grid@discus264 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[grid@discus264 ˜]$ 
[grid@discus264 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Grid Infrastructure Owner
# ORACLE_SID : discus164では+ASM1 , discus264では+ASM2をセット
export ORACLE_SID=+ASM2
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export ORACLE_PATH=.:/u01/app/oracle/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[grid@discus264 ˜]$ 
[grid@discus264 ˜]$

・Oracleソフトウェア所有者の環境変数の例（RACを構成する全ノードのOracleソフトウェア所有者に設定します）

以下、全ノードの設定内容。Oracleソフトウェア所有者の役割はいままで通り。今回作成するデータベースのSIDプリフィックスを orcl にするので
各ノードのORACLE_SID環境変数は orcl1／orcl2 に設定してあります。

[oracle@discus164 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Owner
# ORACLE_SID : discus164ではorcl1 , discus264ではorcl2をセット
export ORACLE_SID=orcl1
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_PATH=.:$ORACLE_BASE/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
# enterprise manager向け　(作成するデータベースユニーク名は:orclなのでorclを設定しておく)
export ORACLE_UNQNAME=orcl
umask 022
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$

[oracle@discus264 ˜]$  cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
	. /etc/bashrc
fi

# User specific aliases and functions
if [ -t 0 ]; then
	stty intr ^C
fi
[oracle@discus264 ˜]$
[oracle@discus264 ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
	. ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

#for Oracle Owner
# ORACLE_SID : discus164ではorcl1 , discus264ではorcl2をセット
export ORACLE_SID=orcl2
# ORACLE_BASE/ORACLE_HOME: Grid InfrastructreユーザとOracleソフトウェア所有者では異なるので要注意
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export ORACLE_PATH=.:$ORACLE_BASE/common/oracle/sql
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export CLASSPATH=$ORACLE_HOME/jre:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib:$CLASSPATH
export NLS_LANG=Japanese_japan.al32utf8
export PATH=.:$ORACLE_HOME/bin:$PATH
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export TNS_ADMIN=$ORACLE_HOME/network/admin
umask 022
[oracle@discus264 ˜]$

ということで次回カーネルパラメータなどの設定へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月19日 (日) 18時41分 Oracle, Mac, Linux, RAC, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月18日 (土)

VirtualBox de Oracle11g R2 RAC #8

VirtualBox de Oracle11g R2 RACのつづきです。

前回はiSCSI targetにローカルデバイス名をマッピングしたとこまででした。今回は前回iSCSIターゲットをマッピングしたローカルデバイスにパーティションを作成します。(
手順は前回と同じなので、そちらも参考に。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２、その３
Oracle所有者と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成（念のために行った、多分、実施しなくても大丈夫だと思うけど。別途確認する予定）
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

・パーティション

iSCSIターゲットを対応づけたローカルデバイスへfdiskコマンドでパーティションを作成します。

今回は、/dev/iscsi/openfiler:asm1/part、/dev/iscsi/openfiler:asm2/part、/dev/iscsi/openfiler:asm3/part、/dev/iscsi/openfiler:asm4/part、/dev/iscsi/openfiler:crs1/part、/dev/iscsi/openfiler:crs2/partに対して１パーティションを作成し利用可能な全シリンダを割り当てる。
尚、この操作はRACを構成するノードの１ノードからrootユーザとして実施する。

手順は前回の記事を参照のこと。ということで省略します。

最終的に以下の赤字部分の６パーティションが追加されることになります。RACを構成する全ノードで実施。

[root@discus164 ˜]# partprobe
[root@discus164 ˜]# fdisk -l

Disk /dev/sda: 53.6 GB, 53687091200 bytes
255 heads, 63 sectors/track, 6527 cylinders
Units = シリンダ数 of 16065 * 512 = 8225280 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1          13      104391   83  Linux
/dev/sda2              14        6527    52323705   8e  Linux LVM

Disk /dev/sde: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sde1               1        1009     2095662   83  Linux

Disk /dev/sdc: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       21504    22020080   83  Linux

Disk /dev/sdd: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       21504    22020080   83  Linux

Disk /dev/sdf: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdf1               1       21504    22020080   83  Linux

Disk /dev/sdg: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdg1               1        1009     2095662   83  Linux

Disk /dev/sdb: 22.5 GB, 22548578304 bytes
64 heads, 32 sectors/track, 21504 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       21504    22020080   83  Linux
[root@discus164 ˜]# 
[root@discus164 ˜]#

・確認
パーティションの作成が済んだらRACの全ノードでrootユーザとしてパーティションが認識されているか確認する。RACを構成する全ノードで。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cd /dev/disk/by-path; ls -l *openfiler* | awk '{print $9 " " $10 " " $11}'
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0-part1 -> ../../sdb1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0-part1 -> ../../sdc1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0-part1 -> ../../sdd1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0-part1 -> ../../sdf1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sde
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0-part1 -> ../../sde1
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sdg
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0-part1 -> ../../sdg1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm1/part -> ../../sdb
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm1/part1 -> ../../sdb1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm2/part -> ../../sdc
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm2/part1 -> ../../sdc1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm3/part -> ../../sdd
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm3/part1 -> ../../sdd1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:asm4/part -> ../../sdf
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:asm4/part1 -> ../../sdf1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:crs1/part -> ../../sde
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:crs1/part1 -> ../../sde1
lrwxrwxrwx 1 root root  9 12月 18 13:40 /dev/iscsi/openfiler:crs2/part -> ../../sdg
lrwxrwxrwx 1 root root 10 12月 18 13:40 /dev/iscsi/openfiler:crs2/part1 -> ../../sdg1
[root@discus164 ˜]#

2010/12//20追記
忘れてた、前回気づいたCentOS5.5でのiscsidの問題。これに対処しておかないと、Openfiler側に多数のゾンビセッションが残ってしまうので要注意！

ということで次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月18日 (土) 15時04分 Oracle, Mac, Linux, RAC, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

VirtualBox de Oracle11g R2 RAC #7

VirtualBox de Oracle11g R2 RACのつづきです。

前回に引き続き、Oracle RACの各ノードでiSCSIボリュームの構成です。前回は各ノードからiSCSI targetへ自動接続するまででした。
今回は、そのつづき。各ノードで接続したiSCSI targetにローカルデバイス名をマッピングします。
以前行ったCentOS5.2(x86)内容と同じ手順でのでそちらの記事も参考してくださいね。（今回はマッピングするiSCSI targetが１つ多いだけです！）

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１、その２
Oracle所有者と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

・ローカルデバイス名の作成
以前の記事も参考に。
iSCSIでは再起動／再接続する度にiscsi-targetにマッピングされるSCSIデバイス名が変わってしまうことがあるので、udevでマッピングするデバイス名を固定化します。

前回までの操作がうまく行っていれば、デバイス名のマッピングは異なると思いますがRACを構成する各ノードで以下のようになっているはず。（以下、discus164での例）

[root@discus164 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sde
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sdg
[root@discus164 ˜]#

udevを利用してデバイス名をiscsi-targetに固定割当する。（RACの全ノードのrootユーザで実施）

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# cd /etc/udev/scripts
[root@discus164 scripts]# cat iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}
[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"
[root@discus164 scripts]# 
[root@discus164 scripts]# chmod 755 iscsidev.sh
[root@discus164 scripts]# 
[root@discus164 scripts]# cd
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]#                                        [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Starting iSCSI daemon:                                     [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal:
192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
                                                           [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]#

再接続すると各ISCSIターゲットがマッピングされているSCSIデバイス名が前回と違っているのに気づくと思います。

[root@discus164 ˜]#
[root@discus164 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm1-lun-0 -> ../../sdb
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm2-lun-0 -> ../../sdc
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm3-lun-0 -> ../../sdg
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:asm4-lun-0 -> ../../sdd
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs1-lun-0 -> ../../sdf
ip-192.168.2.92:3260-iscsi-iqn.2006-01.com.openfiler:crs2-lun-0 -> ../../sde
[root@discus164 ˜]# 
[root@discus164 ˜]#

udevでiSCSIターゲットがローカルデバイスへ固定マッピングできているか確認！
うまくいってます。RACの全ノードで同じローカルデバイスへマッピングできています。

が、しか〜〜し、記事書いてて気づいたけど ":"入っちゃってた (^^;;; そゆーところはまねしないでね。
狙いとしては ":"入れるつもりはなかったっす！。ミスった〜。
今回、iSCSIターゲット名をちょっと変えてしまったので、以前から流用しているiscsidev.shスクリプトの最後の行　

echo "${target_name##*.}"

のところがイケてない＞＜　今回設定したiSCSIターゲット名だと

echo "${target_name#*:}"

しないと asm1やasm2だけを抜き出せない　＞＜
記載したiscsidev.shスクリプトをそのまま利用するのであれば、IQNは、iqn.2006-01.com.openfiler:xxx.asm1のように設定する必要があります！

そー作っちゃったのでそのまま載せときます。　(^^;;;;;;

[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm1/part -> ../../sdb
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm2/part -> ../../sdc
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm3/part -> ../../sdg
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:asm4/part -> ../../sdd
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:crs1/part -> ../../sdf
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/openfiler:crs2/part -> ../../sde
[root@discus164 ˜]#
[root@discus164 ˜]#

ということで、当初の設定予定とは違うローカルデバイス名にしちゃいましたがiSCSIとローカルデバイスは以下のようにマッピングしました。

iscsi-targetとローカルデバイス名の対応
iscsi-target名	ローカルデバイス名
iqn.2006-01.com.openfiler:asm1	/dev/iscsi/openfiler:asm1/part
iqn.2006-01.com.openfiler:asm2	/dev/iscsi/openfiler:asm2/part
iqn.2006-01.com.openfiler:asm3	/dev/iscsi/openfiler:asm3/part
iqn.2006-01.com.openfiler:asm4	/dev/iscsi/openfiler:asm4/part
iqn.2006-01.com.openfiler:crs1	/dev/iscsi/openfiler:crs1/part
iqn.2006-01.com.openfiler:crs2	/dev/iscsi/openfiler:crs2/part

でもほんとは以下のようなローカルデバイス名にしたかったんです〜〜。ごめんなさい。

[root@discus164 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm1/part -> ../../sdb
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm2/part -> ../../sdc
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm3/part -> ../../sdg
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/asm4/part -> ../../sdd
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/crs1/part -> ../../sdf
lrwxrwxrwx 1 root root  9 12月 17 22:36 /dev/iscsi/crs2/part -> ../../sde
[root@discus164 ˜]#

いやな間違いに気づいたので、今日はこの辺で…　(RAC自体で作れたんですけど、気持ち悪いので）

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月18日 (土) 09時00分 Oracle, RAC, Oracle Database 11g, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月10日 (金)

VirtualBox de Oracle11g R2 RAC #6

VirtualBox de Oracle11g R2 RACのつづきです。

前回はOpenfiler側でその準備をしたところまででした。今回はOracle RACの各ノードでiSCSIボリュームの構成です。

今回も以前行ったCentOS5.2(x86)内容と同じ手順なのでそちらの記事も参考してくださいね。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成　その１
Oracle所有者と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

・RACを構成する全ノードでiscsi-initiator-utilsがインストールされていることを確認。

インストールされていなかったらyumでインストールしてね。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# yum list installed iscsi-initiator-utils | grep installed
iscsi-initiator-utils.x86_64            6.2.0.871-0.16.el5             installed
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "yum list installed iscsi-initiator-utils | grep installed"
root@discus264's password: 
iscsi-initiator-utils.x86_64            6.2.0.871-0.16.el5             installed
[root@discus164 ˜]# 
[root@discus164 ˜]#

・iscsiの起動確認、起動してなかったら service iscsi startで起動.

[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi status
iscsid (pid  1998) を実行中...
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi status"
root@discus264's password: 
iscsid (pid  1996) を実行中...
[root@discus164 ˜]# 
[root@discus164 ˜]#

・自動起動の確認、自動起動になってなかったら chkconfig iscsi on で設定.

[root@discus164 ˜]# chkconfig --list iscsi
iscsi          	0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "chkconfig --list iscsi"
root@discus264's password: 
iscsi          	0:off	1:off	2:on	3:on	4:on	5:on	6:off
[root@discus164 ˜]# 
[root@discus164 ˜]#

以下、CentOS5.5では iscsiを起動・停止すればiscsidも起動・停止されるので前述のようになっていればOK.
[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/rc.d/init.d/iscsi | grep iscsid
	status iscsid
		/etc/init.d/iscsid start
	/etc/init.d/iscsid stop
		status iscsid
[root@discus164 ˜]# 
[root@discus164 ˜]#

/etc/iscsi/initiatorname.iscsiの設定.わかりやすいIQNにするといいですよん。

[root@discus164 ˜]# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2010-10.jp.macdeoracle.discus1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh root@discus264 "cat /etc/iscsi/initiatorname.iscsi"
root@discus264's password: 
InitiatorName=iqn.2010-10.jp.macdeoracle.discus2
[root@discus164 ˜]#

・iscsi-targetの検出
OpenfilerとRACの各ノードは、VirtualBoxの内部ネットワークアダプタ（VM間でしか通信できない）を利用してprivateネットワークで繋いでおり、Openfiler側で許可したipアドレスからの接続しか受け付けないよう設定していましたよね？、覚えてます？
で、Openfiler側のprivateネットワークのipアドレスは、192.168.2.92と設定したので、 iscsi-targetの検出先は前述のipアドレスということにまります。

なので iscsiadmコマンドの -p パラメータに設定する ipアドレスは 192.168.2.92となっているわけです。

iscsi-targetが検出されました〜！　検出されたiscsi-targetへの接続確認、自動接続設定へと続きます。

[root@discus164 ˜]# 
[root@discus164 ˜]# cat /etc/hosts | grep arowana2-priv
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m discovery -t sendtargets -p 192.168.2.92
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm1
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm4
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm3
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs1
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "iscsiadm -m discovery -t sendtargets -p 192.168.2.92"
root@discus264's password: 
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm3
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm1
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm2
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:asm4
192.168.2.92:3260,1 iqn.2006-01.com.openfiler:crs1
[root@discus164 ˜]# 
[root@discus164 ˜]#

・iscsi-targetへの手動接続（RACを構成する全ノードで試してください。以下、discus164からの例。)

[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs2 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm1 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm2 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm3 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm4 -p 192.168.2.92 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]#

ちなみに…手動ログアウトする場合は -l の部分を -u に変えて実行すればOK.

[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 -u
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[root@discus164 ˜]# 
[root@discus164 ˜]#

iscsi-targetへの自動接続設定（RACを構成する全ノードで実施します。以下discus164からの例）

[root@discus164 ˜]#
[root@discus164 ˜]#
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs2 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm1 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm2 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm3 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:asm4 -p 192.168.2.92 --op update -n node.startup -v automatic
[root@discus164 ˜]
[root@discus164 ˜]#

ちなみに…手動接続に戻す場合は automatic の部分を manual に変えて実行すればOK.（多分、使う事ないと思いますけど、念のため）

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:crs1 -p 192.168.2.92 --op update -n node.startup -v manual
[root@discus164 ˜]# 
[root@discus164 ˜]#

自動接続設定がうまく言っているか確認しましょう。
これまでの手順通りに操作していれば、RACを構成する各ノードから各iscsi-targetへ接続されている状態になっているはずです。

まず、サービスを停止してiscsi-targetからログアウトされるか確認してみます。

[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]#                                        [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi stop"
root@discus264's password: 
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging out of session [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Logout of [sid: 6, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
Stopping iSCSI daemon: 
[root@discus164 ˜]#

うまくいきました。次はiscsiサービスを起動して各iscsi-targetへ自動接続されるか確認します。

[root@discus164 ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Starting iSCSI daemon:                                     [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
                                                           [  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]# 
[root@discus164 ˜]# ssh discus264 "service iscsi start"
root@discus264's password: 
iscsid が停止していますが PID ファイルが残っています
[  OK  ] iSCSI daemon: [  OK  ]
[  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm3, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm1, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm2, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:asm4, portal: 192.168.2.92,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:crs1, portal: 192.168.2.92,3260]: successful
[  OK  ]
[root@discus164 ˜]# 
[root@discus164 ˜]#

うまく接続できたようです。

最後にOpenfilerの管理画面で接続状態を確認してみます。

参考：http://www.open-iscsi.org/

今日はこの辺で。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年12月10日 (金) 19時26分 Oracle, Mac, Linux, RAC, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月 9日 (木)

VirtualBox de Oracle11g R2 RAC #5

VirtualBox de Oracle11g R2 RACのつづきです。

Openfiler2.3のインストールとiSCSIボリュームの構成なのですが、VMでもリアルなマシンへのインストールとの違いは無いので詳しくは書きません。以前の記事を参考にしてくださいね。(ネットワーク関連は前回の記事もあわせてご覧ください）

なお、今回Openfier2.3 (x86)向けに作成したVM (x86 red hat linux)は、CPU*2/RAM:2GB/DISK:100GBとしてあります。
Openfiler2.3 (x86)インストール時のパーティションは/bootに100MB、/に4GB、swapにメモリサイズの倍で4GBを配分し、残りの91.9GBを未割当としました。
未割当とした91.9GBをiSCSIボリュームで利用することになります。(この未割当分が大切。この時点ではパーティションに割り当てないで残しておいてね）

NOTE:
この時点では/etc/hostsファイルだけで、DNSは利用していません。~~Oracle11g R2 11.2.0.1.0 RACインストール事前作業~~Oracle RACノード間リモートアクセスの構成が終わったあとでDNSの構成を行います。（OpenfilerにDNSを構成することにしたので、このタイミングでDNSの構成とhostsファイルの構成を行うほうがよいとは思うのですが…

Openfiler2.3によるiSCSIボリュームの構成はこちらを参考に…
Mac de Oracle - １０万円未満 de RAC (11g編）#4 - 4. Openfiler2.3によるiSCSIボリュームの構成

以前と違う点は、Oracle11g R2からVoting diskとOCRがASM管理可能となったので全ボリュームをASM管理で行うことにしました。

という１点だけ。(iSCSIボリュームで利用する残り91.9GBをどのような割合で論理ボリュームへ配分したかは後述）

（以前まではOracleの共有ディスク・クラスタ・ファイルシステム(ocfs2)をインストールしていましたが今回は利用しません。Oracle11g R2でもVoting diskとOCRの共有ディスク・クラスタ・ファイルシステム管理は可能なようですが…）

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成
Oracle所有者と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

以前の記事参照ください…ばかりだと、今回書く事がなくなってしまうのでiSCSIのボリューム構成で今回変えたところを書いておきますね。
（今回はすべてASM管理下に置くので…）

Openfiler2.3(x86)インストール完了後、/etc/hostsに設定した内容は以下の通り。

[root@arowana2 ˜]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost

192.168.1.92	arowana2.macdeoracle.jp		arowana2
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264

192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

192.168.1.2	lampeye.macdeoracle.jp		lampeye
[root@arowana2 ˜]#

今回作成するiSCSI論理ボリュームおよびターゲット名などは以下の通り。
(Openfilerの構成手順はMac de Oracle - １０万円未満 de RAC (11g編）#4を参照のこと。）

・ネットワークアクセスの構成

前回の書いた通り、iSCSI専用の経路でアクセスできるようdiscus164-iscsiおよびdiscus264-iscsiからのみOpenfilerへ接続できるよう設定した。

・Partitionの作成および、Volume groupの作成

91.9GBの未割当領域を/dev/sda4としてパーティション割当を行った後、rac1というVolume Groupを作成し/dev/sda4を割り当てる。

・論理ボリュームの割当

rac1（前述の操作で作成したVolume Group)を選択し、論理ボリュームを追加する。今回はcrs向けに2GBの論理ボリューム２つ、OracleのData向けに21GBの論理ボリューム２つ、そして、Fast Recovory Area向けに21GBの論理ボリュームを２つを追加作成する。（91.9GBのうち、88GBを利用したので3.9GBほど残っちゃいましたけどね）

・iSCSI Target Qualified Name(IQN)の設定

crs向けに２つ、Oracle data file向けに２つ、Oralce Fast Recovery Area向けに２つのボリュームグループを作成したので、それぞれにiSCSI Target Qualified Nameを割り当てた。

CRS向け - iqn.2006-01.com.openfiler:crs1 および crs2
Oracle Data file向け - iqn.2006-01.com.openfiler:asm1 および　asm2
Oracle Fast Recovery Area向け - iqn.2006-01.com.openfiler:asm3 および asm4

asm1〜4より、data1/2とか fra1/2にしたほうがわかりやすかったですね〜…後から反省。

・Network ACLの設定

RACを構成する２ノードのiscsi用privateネットワーク(discus164-iscsiおよび、discus264-iscsi(からのアクセスを許可するよう設定した。

・LUNマッピング

iSCSI Target Qualified Name(IQN)の設定で作成した各IQNをLUNへマッピングする。
マッピング内容は以下の通り。

ここまでくればiSCSIの準備は終了！

次回へつづく。

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3
・VirtualBox de Oracle11g R2 RAC #4

投稿日時 2010年12月 9日 (木) 18時00分 Oracle, Mac, Linux, RAC, Mac(Intel x86), iSCSI, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月 8日 (水)

VirtualBox de Oracle11g R2 RAC #4

VirtualBox de Oracle11g R2 RACのつづきです。

今回は、VirtuslBoxで作成したRed hat用64bitVMへCentOS5.5 (x86_64)をインストールします。が、もう既に何度も行っていることなのでインストール自体の解説は省略します。足りないパッケージがあればyumで都度インストールでもいいですし :)　端折りすぎと突っ込まれそうだが。
過去になんどか書いているのでそちらを参照していただいてもいいですし、元ネタを参照するもよし。（但し元ネタはOracle Enterprise Linuxですが、同じ系統なのでそれほど違いはないはず…Oracle Enterprise Linuxインスコしたことのないのに言うのもなんなんですが…）

Networkの構成については省略しないで書いてあるので m(_ _)m

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成
Oracle所有者と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

・CentOS5.5のダウンロード、DVDのisoイメージをダウンロードして今後のためにDVDに焼いておいた。MacOS XでisoイメージのDVDを焼く方法は以前の記事を参照のこと。
http://ftp.riken.jp/Linux/centos/5.5/isos/x86_64/CentOS-5.5-x86_64-bin-DVD-1of2.iso
http://ftp.riken.jp/Linux/centos/5.5/isos/x86_64/CentOS-5.5-x86_64-bin-DVD-2of2.iso

CentOS5.5になったからといって、特にインストール方法に大きな違いはないので詳細は以前の記事や、元ネタなどをご参考に。（元ネタはOracle Enterprise Linuxを利用していますが、系統は同じRed hatなので注意点などほぼ同じだと思います。）ちょっとだけ書いてくと、今回作成したCentOS5.5 x86_64用VMはメモリ4GB、DISK容量50GBを割り当てているので、swapはメモリと同サイズの4GB、/bootには100MB、残りを/へ配分しました。
また、SELinuxはPermissiveモード、FirewallはDisableにしておくというのはお約束なのでお忘れなく。FirewallをEnableにしたままだといろいろとハマりまるのでしっかりチェックしておくと吉ですよん。（ハマった人→私）

Oracle11g R2からネットワーク要件が変りネットワーク周りは大切なのでしっかり書いておきますね。
適当に書いた配置図も参照のこと。）また、IPv6はOFFで固定IPとしています。(IPv6はOFFにしなくても問題ないですが、今回のネタでは不要なので。)

以下、Openfiler(iSCSI)のノードも含めたネットワーク構成は以下。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアタプタ）	192.168.1.90	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.90	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用)、ギガビット
eth2（ネットワークアダプタ：内部ネットワーク）	192.168.3.90	255.255.255.0	プライベートネットワーク用(Interconnect用）、ギガビット
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアダプタ）	192.168.1.91	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.91	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用）、ギガビット
eth2（ネットワークアダプタ：内部ネットワーク）	192.168.3.91	255.255.255.0	プライベートネットワーク用(Interconnect用）、ギガビット
iSCSIを構成するノード (hostname=arowana2.macdeoracle.jp)
device	ip address	sub-netmask	備考
eth0（ネットワークアダプタ：ブリッジアダプタ）	192.168.1.92	255.255.255.0	パブリックネットワーク用、ギガビット
eth1（ネットワークアダプタ：内部ネットワーク）	192.168.2.92	255.255.255.0	プライベートネットワーク用(iSCSIアクセス用）、ギガビット

上記を元に以下のドキュメントをおよび元ネタなどを参考に、hostsおよびDNSを利用して固定IPアドレスでネットワークを構成することにした。

・Oracle Grid Infrastructureインストレーション・ガイド　11gリリース2（11.2）for Linux - 2.7.2.2 手動で構成する場合のIPアドレス要件

独り言：
２ノードRACでなぜ、3つのSCAN VIPが推奨されているのかは、未だによく理解できていない？？？？　２ノードRACだから２じゃだめなの？　３つだと何がおしいいの？
どんどん謎は深まる…。だれか教えてw　どっかにSCAN VIPってなにがおいしいのか２ノードRACで３つのSCAN VIPが推奨される理由が書いてある資料ないのかな〜。３ノード以上のRACだとSCAN VIPをどの程度増やせばおいしくなるの〜などなど？？？？w

・Oracle Grid Infrastructureインストレーション・ガイド　11gリリース2（11.2）for Linux - 2.7.5 手動によるIPアドレスの構成例

・http://www.oracle.com/technetwork/articles/hunter-rac11gr2-iscsi-088677.html

・http://www.idevelopment.info/data/Oracle/DBA_tips/Oracle11gRAC/CLUSTER_12.shtml

前述のマニュアルなどを参考に今回構築する全ノードのhostsファイルやDNS構成の概要は以下の通り。

RACを構成するノード１ (hostname=discus164.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus164	Public	192.168.1.90	hostsおよびDNS
discus164-iscsi	Private	192.168.2.90
discus164-priv	Private	192.168.3.90
discus164-vip	Virtual	192.168.1.190
RACを構成するノード２ (hostname=discus264.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
discus264	Public	192.168.1.91	hostsおよびDNS
discus264-iscsi	Private	192.168.2.91
discus264-priv	Private	192.168.3.91
discus264-vip	Virtual	192.168.1.191
SCAN VIP1/2/3
Hostname	タイプ	IP address	名前解決方法
discus-rac64-scan	Virtual	192.168.1.200	DNS
discus-rac64-scan		192.168.1.201
discus-rac64-scan		192.168.1.202
Openfiler2.3(iSCSI) - (hostname=arowana2.macdeoracle.jp)
Hostname	タイプ	IP address	名前解決方法
arowana2	Public	192.168.1.92	hostsおよびDNS
arowana2-priv	Private	192.168.2.92	hostsおよびDNS

ということで次回へつづく。
（こちらの都合で慌てて書いたので、おそらくいつもよりタイポとか誤字脱字、リンク先ミスなどが多いかもしれない…気づいたら後で修正します！）

2010/12/9追記：
hostsファイルとDNSで同じ名前解決するのってどうなんだろーって思っておりますが…hosts優先だし…。まあ、そのまんまでいきます。はい。
で、インストール後、各ノードの/etc/hostsはどう設定したかというと…

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1	localhost.localdomain localhost
#::1		localhost6.localdomain6 localhost6

#for public network
192.168.1.90	discus164.macdeoracle.jp	discus164
192.168.1.91	discus264.macdeoracle.jp	discus264
192.168.1.92	arowana2.macdeoracle.jp		arowana2

#for Oracle Interconnect private network
192.168.3.90	discus164-priv.macdeoracle.jp	discus164-priv
192.168.3.91	discus264-priv.macdeoracle.jp	discus264-priv

#for iSCSI private network
192.168.2.92	arowana2-priv.macdeoracle.jp	arowana2-priv
192.168.2.90	discus164-iscsi.macdeoracle.jp	discus164-iscsi
192.168.2.91	discus264-iscsi.macdeoracle.jp	discus264-iscsi

#for virtual public network
192.168.1.190	discus164-vip.macdeoracle.jp	discus164-vip
192.168.1.191	discus264-vip.macdeoracle.jp	discus264-vip

192.168.1.2	lampeye.macdeoracle.jp		lampeye

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…
・VirtualBox de Oracle11g R2 RAC #3

投稿日時 2010年12月 8日 (水) 12時30分 Oracle, Linux, RAC, Mac(Intel x86), iSCSI, MacOS X Snow Leopard, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月 4日 (土)

VirtualBox de Oracle11g R2 RAC #3

VirtualBox de Oracle11g R2 RACのつづきです。

以下のような内容で進めていきます。ほぼ元ネタに近いですけどね :)

前々回、前回と少々構成もあるあるていど書いてますが、全体像をまとめて書いておきますね。

ハードウェア構成(VMなのでVMの構成も含めて）、ソフトウェア構成など
Linux (CentOS 5.5 x86_64)のインストール
Openfiler2.3 x86のインストール
Openfiler2.3 x86によるiSCSIボリュームの構成
Oracle RACノードでのiSCSIボリュームの構成
Oracle所有者と関連ディレクトリの作成及び環境変数の設定
Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）
Oracle RACノード間リモートアクセスの構成とntpの構成
（~~sshの構成は念のために行った、多分、実施しなくても大丈夫だと思うけど…~~ついでなので、ちょいと意地悪な実験をしてみた）
ローカルネームサーバの構成
Oracle RACノード構成ファイルの確認
Oracle Automatic Storage Management(ASMLib 2.0.5 x84_64)のインストール及び構成
Oracle11g R2 11.2.0.1.0 RACインストール事前作業
Oracle11g R2 11.2.0.1.0 Grid Infrastractureのインストール
Oracle11g R2 11.2.0.1.0 Database softwareのインストール
Oracle11g R2 11.2.0.1.0 examplesのインストール
Oracle Cluster databaseの作成
Net Serviceの確認
Oralce Grid InsfastructureとDatabase構成の確認
Clusterの開始と停止の確認
簡単なTransparent Application Failover (TAF)の確認

・Hardware

・CPU - Intel Core i7-980X Extreme Edition 3.33Ghz (6 core / 12 thread) * 1
・Memory - 12GB (2GB * 6)
・Disk - S-ATA2 1TB * 2
・NIC - on board Gbit NIC * 1
グラフィックカードは気にしてなかったので安めの、 NVIDIA GeForce GTS 250 (512MB)

上記PCで3つのVMを起動するので結構いっぱいいっぱいなのでクライアントはいつものようにMacを使います。
MacProの12-Core (2.66GHz 6コア Intel Xeon"Westmere" * 2）ってお化けPCがもうちょっと早く発表されてたらな〜、Mac上でVM作って楽しめたんだがタイミングの問題なのでしかたない　
＞＜

・Software

・Host OS - CentOS5.5 (kernel 2.6.18-194.17.1.el5) x86_64
・System virtual machine software - VirtualBox 3.2.8 x86_64 for Linux

・Guest OS (for iSCSI) - Openfiler2.3 x86 (rPath Linux)

・DNS - bind9.4.3_P5-1.1-1 (rPath Linuxのソフトウェア管理ツールであるconaryを利用してインストールします）

・Guest OS (for RAC) - CentOS5.5 x86_64 (kernel 2.6.18-194.17.1.el5)

・Oracle11g R2 11.2.0.1.0 (Database/Grid Infrastructure/Examples) for Linux x86_64
・oracleasm-support-2.1.3-1.el5 (x86_64)
・oracleasmlib-2.0.4-1.el5 (x86_64)
・oracleasm-2.6.18-194.17.1.el5-2.0.5-1.el5 (x86_64)

VMの構成は前回の通りなのだが、一応書いておくと

・Openfiler2.3 x86向けVMの構成
ネットワークアダプタ１をブリッジアダプタで定義してPublicネットワーク用に利用し、ネットワークアダプタ１は内部ネットワークとして定義しPrivateネットワーク用(iSCSIのアクセス用)に利用する。
ちなみに、VirtualBoxの内部ネットワークは、VM間でのみ通信できるアダプタなのでInterConnectなどのPrivateネットワーク向きなんじゃないかと思っている。

・OSタイプ - Red Hat (32bit仮想マシン)
・メインメモリ - 2GB (ちょいと少なめ)
・プロセッサ数 - 2
・SATAポート0 - 100GB
・ネットワークアダプタ1 - Intel PRO/1000 MT Desktop (ブリッジアダプタ - eth0)
・ネットワークアダプタ2 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)

・各RACノードのCentOS5.5 x86_64向けVMの構成
Openfiler向けVMと同様にネットワークアダプタ１はブリッジアダプタとして定義して、Publicネットワークとして利用し、ネットワーク２は内部ネットワークで定義してiSCSI用のPrivateネットワーク。ネットワークアダプタ３も内部ネットワークとして定義し、Interconnect用Privateネットワークとして使う。

・OSタイプ - Red Hat (64bit仮想マシン)
・メインメモリ - 4GB
・プロセッサ数 - 4
・SATAポート0 - 50GB
・ネットワークアダプタ1 - Intel PRO/1000 MT Desktop (ブリッジアダプタ - eth0)
・ネットワークアダプタ2 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)
・ネットワークアダプタ3 - Intel PRO/1000 MT Desktop (内部ネットワーク - intnet)

ということで次回へつづく。

これまでのあらずすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

・VirtualBox de Oracle11g R2 RAC #1
・VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…

投稿日時 2010年12月 4日 (土) 22時18分 Oracle, Mac, Linux, RAC, Mac(Intel x86), iSCSI, VM, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年12月 2日 (木)

VirtualBox de Oracle11g R2 RAC #2 - 事前調査など…

VirtualBox de Oracle11g R2 RACの続きです。

構築記録の詳細は後にして、最初に事前調査など（Oracle11g R2でいろいろと変わってるところあるので…）

・hangcheck-timerカーネル・モジュール

Oracle11g R1まではhangcheck-timerカーネル・モジュールが必要となっていたが、Oracle11g R2では不要となっている。
（Oracle11g R1でも当初不要とマニュアルに記載されていたが、後に必要と訂正されていた。おそらくフライングね)

・RACノード間の時刻同期

Cluster Time Synchronization Service (CTSS)という新機能が追加され、NTPで時刻合わせできない環境やNTPを利用しない環境でも時刻同期できるようになった。

が、今回はNTPで時刻合わせするのでCTSSは使わない

・Single Client Access Name (SCAN) VIP

SCANなるものが登場した。まだ勉強不足でSCANを使うと何がどうおいしいのか理解できていないのであとでちゃんと読むw

参考：

http://www.oracle.com/technology/global/jp/products/database/clustering/pdf/scan.pdf

・ネットワーク要件

前述のSCAN VIPの構成にも関わるが、以下のマニュアルによれば固定IP方式である場合、hostsファイルおよび、DNSという構成で対応できるということは確認できたので、今回は、hostsファイル＋DNSという構成にすることにした。

参考：

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux - 2.7.5 手動によるIPアドレスの構成例

・ソフトウェア要件

いつもの通りCentOS5.5 x86_86を利用するのでRed Hadt系のソフトウェア要件を参考に…

参考：

Oracle Grid Infrastructureインストレーション・ガイド11gリリース2（11.2）for Linux 2.8.2 x86-64 - Linuxプラットフォームでのソフトウェア要件
 Oracle Databaseクイック・インストレーション・ガイド 11gリリース2（11.2） for Linux x86-644 - ソフトウェア要件の確認

・ストレージ

Oracle11g R2からOracle ClusterファイルもASM管理化に置くことができるようになったので、OpenfilerのiSCSIのボリュームをすべてASM管理にしちゃう。
Oracle11g R1の時はOracle Clusterファイルだけocfs2を利用していたが、今回はocsf2のインストール・構成は不要になった。

参考：

Oracle Grid Infrastructureインストレーション・ガイド11gリリース2（11.2）for Linux 3.1.3 - サポートされている記憶域オプション

・仮想NIC

以前はまではInterconnect用とiSCSI用を兼用させていたけど、今回はそれぞれに個別にVNICを割り当てて使う。
どうせ仮想だからお金かからないのがいいところw リアルな環境だと予算の都合上できないことも簡単に試せる :)

2010/12/3追記：
・SSHユーザの等価関係の有効化

OUIでパスフレーズなしのユーザ等価関係の有効化を自動的にやってくれるようになったみたい。信用しないわけじゃないんだけどとりあえず、Oracle11g R1までのように手動でもやっとく。

Oracle Grid Infrastructureインストレーション・ガイド 11gリリース2（11.2）for Linux- E.1 すべてのクラスタ・ノードでの手動によるSSHの構成

という、ざっくりとした方針だけ決めてVirtualBox de Oracle11g R2 RACを構築〜。

以下、Openfier2.3 (x86)とRACのノードに利用するCentOS5.5(x86_64)向けVM構成（VirtualBox3.2.8を利用した3.2.10リリースされてるけど）のスナップショットなど…。

ちなみに、VirtualBox3.2.10と3.2.12でいろいろbug fixされてるけど、3.2.8のままで。

・Openfiler2.3 (iSCSI)に利用するVM構成は以下の通り。
※100GBのディスクにx86_64なんて名称をつけちゃってますが32bitの仮想マシンです！

・Oracle11g R2 x86_64の各ノードで利用するCentOS5.5 x86_64向けVM構成は以下の通り。
※こちらは64bitの仮想マシンです。

次回へつづく。

これまでのあらずすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

・VirtualBox de Oracle11g R2 RAC #1

投稿日時 2010年12月 2日 (木) 13時50分 Oracle, Linux, RAC, Mac(Intel x86), iSCSI, VM, MacOS X Snow Leopard, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年11月30日 (火)

VirtualBox de Oracle11g R2 RAC #1

前回VirtualBoxでOracle11g R1 RACを試したので今回はOracle11g R2 2ノードRACをVirtualBox上に構築してみた。

Oracle11g R1 RACをVirtualBox上に構築した際にも発生したdbcaの最後に表示される確認ダイアログを表示したまま固まるという状況があったものの今回もデータベースは作成されていた。
前回はdbcaの最後に表示される確認ダイアログで固まった後に強制終了させ、dbcaでデータベースの作成／削除を数度行い時間を要したもののハング？したような状態から正常に復帰したためそれ以外はなにも行わなかったのだが、今回はハング状態からVMを強制終了／起動してみた。
結果オーライという感じなのだが、dbcaの処理は終わっていたようで問題なくインスタンスが起動したのにはニッコリ！

[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ 
[oracle@discus164 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.2.0.1.0 Production on 火 11月 29 21:54:50 2010

Copyright (c) 1982, 2009, Oracle.  All rights reserved.

SQL> conn system@orcl
パスワードを入力してください: 
接続されました。
SQL> 
SQL> 
SQL> select * from gv$version;

   INST_ID BANNER
---------- --------------------------------------------------------------------------------
	 1 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 1 PL/SQL Release 11.2.0.1.0 - Production
	 1 CORE	11.2.0.1.0	Production
	 1 TNS for Linux: Version 11.2.0.1.0 - Production
	 1 NLSRTL Version 11.2.0.1.0 - Production
	 2 Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
	 2 PL/SQL Release 11.2.0.1.0 - Production
	 2 CORE	11.2.0.1.0	Production
	 2 TNS for Linux: Version 11.2.0.1.0 - Production
	 2 NLSRTL Version 11.2.0.1.0 - Production

10行が選択されました。

SQL>

以下、前回よりもさらに適当に書いてしまった感じのする配置図。（雰囲気が伝われば問題ないのでこんなところで勘弁して〜w)

Oracle11g R2からGrid Infrastructure (Oracle11g R1までのOracle ASM + Oracle Clusterware)になりDNSまたはGNS(Grid Naming Service)が必要だってことで、iSCSIで利用しているOpenfiler上でDNSを構成したこと、および、RACを構成するノードごとVNICを３つ作成し、1つはPublicネットワーク用、1つはInterconnect専用用、そしてもう１つは、iSCSIストレージアクセス専用としたところがポイント。（ちなみに、InterconnectとiSCSIはprivateネットワークとしてVirtualBoxの内部ネットワークアダプタを利用した）

参考にしたブログでは、nslookupを改造しちゃってDNSを使わない方法なんかもあったが今回はDNSを利用した。(普段やらないからDNSの構成ファイルの記述方法調べんのが一番めんどくさかったw)
SCAN (Single Client Access Name)を利用するのにDNSかGNSが必須なんですよー。新しい用語増え過ぎw

参考：

・SCANの解説でわかりやすい資料はこれかも↓
http://www.oracle.com/technology/global/jp/products/database/clustering/pdf/scan.pdf

・インストールおよび構成で参考にした記事
http://www.oracle.com/technetwork/articles/hunter-rac11gr2-iscsi-088677.html
http://www.idevelopment.info/data/Oracle/DBA_tips/Oracle11gRAC/CLUSTER_12.shtml

これまでのあらすじ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

・VirtualBox de RAC (Oracle11g R1編） #1
・VirtualBox de RAC (Oracle11g R1編） #2

投稿日時 2010年11月30日 (火) 16時31分 Mac, Linux, RAC, iSCSI, VM, Oracle11g R2, VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2010年10月18日 (月)

Mac de Oracle - １０万円未満 de RAC (11g編）改め、 VirtualBox de RAC (Oracle11g R1編） #1

いままでいろいろと遊んでいたPCやうちの奥さんのPCがじゃまになってきたのでCore i7 980x (6 core / ハイパースレッディングを使って12CPU）というやつ１台に集約！。

さすがに"１０万円未満 de"はとは言えなくなった(購入金額をVM数で割ってもちょいと足がでるが、電気代とか占有スペースとか必要に応じてVM作って遊べるのでお得だ。）ので、VirtualBox de RACと改名いたしましたw

とは言っても、Oracle11g R1 EE for Linux x86でiSCSIを使うというのは同じで、違うのは全部VMっていうところだけ。
手順もMac de Oracle - １０万円未満 de RAC (11g編）と同じ（OCFS2やASMlibのバージョンはCentOSのバージョンに対応する最新のものを利用しています。）なのでVM使ってて悩んだ所などを中心に書く予定。

・CPU - Intel Core i7-980X Extreme Edition 3.33Ghz (6 core / 12 thread) * 1
・Memory - 12GB (2GB * 6)
・Disk - S-ATA2 1TB * 2
・NIC - on board Gbit NIC
グラフィックカードは気にしてなかったので安めの、 NVIDIA GeForce GTS 250 (512MB)

ソフトウェアは以下の通り。

ホストOS等
・CentOS5.5 x86_64 (Kernel:2.6.18-194.17.1.e15)
・VirtualBox3.2.8 x86_64

ゲストOS等
・CentOS5.5 x86 (kernel:2.6.18-194.17.1.e15PAE)
・Openfiler2.3 x86
・Oracle11g 11.1.0.6.0 EE for Linux x86
　など…

以下、適当に書いた配置図。
VNICの設定では、外部ネットワークにも行けるようにBridge Adapter~~を使ったこと~~とInterconnect向けにInternal Networkを使った（VirtualBoxのInternal NetworkはGestOS間でのみ通信できHostOSからも見えない）

という案で、VMごとクラッシュさせたりいろいろ悩みながらなんとかインスコ＆構築done。現在は以下ような状態！ :)

次回へつづく。

関連エントリ
・Mac de Oracle - １０万円未満 de RAC (11g編）#28

投稿日時 2010年10月18日 (月) 10時10分 Oracle, Mac, Linux, UML, RAC, SQL, Oracle Database 11g, Oracle Instant Client, Mac(Intel x86), VirtualBox | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月20日 (月)

Mac de Oracle - １０万円未満 de RAC (11g編）#28

今回はTransparent Application Failover (TAF)を簡単な方法で確認

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle Cluster databaseの作成　その１、その２、その３

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

~~MacOSXからの接続確認（Mac De Oracleではお約束！なので）~~☆項番１９．で確認してしまったので削除

２２．簡単なTransparent Application Failover (TAF)の確認

１．TAFの設定。
Oracle Database Net Servicesリファレンス 11g リリース1（11.1） - FAILOVER_MODE等のマニュアル参照のこと。（11/30:リンク先変更。オラクルさんのオンラインマニュアルのURL変更が激し過ぎ。なんとかして〜
USのOTNのマニュアルはリンク切れしてないのに...）

G5Server:˜ discus$ tail -16 $TNS_ADMIN/tnsnames.ora

RACTAF =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus1-vip)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus2-vip)(PORT = 1521))
    (LOAD_BALANCE = yes)
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (FAILOVER_MODE =
        (TYPE = SELECT)
        (METHOD = BASIC)
        (RETRIES = 180)
        (DELAY = 5)
      )
    )
  )

２．scottユーザでログインして表などを問い合わせておく。

G5Server:˜ discus$ sqlplus /nolog

SQL*Plus: Release 10.1.0.3.0 - Production on 月 10月 20 01:08:31 2008

Copyright (c) 1982, 2004, Oracle.  All rights reserved.

> conn scott/tiger@orcl
接続されました。
SCOTT> 
SCOTT> select count(*) from user_objects;

  COUNT(*)
----------
         5

ここでorcl2をabortで停止（その間に行っていた操作は「３．orcl2の強制停止と接続先の確認」を参照のこと）。

orcl2に接続されていたscottユーザでは特にエラーもなくクエリを発行できる。この時既にfailoverしorcl1からorcl2へセッションが引き継がれている。
SCOTT> select count(*) from user_objects;

  COUNT(*)
----------
         5

SCOTT>

３．orcl2の強制停止と接続先の確認

orcl2をabortで強制停止、scootの接続がfailoverしたことを確認。

[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.6.0 - Production on 月 10月 20 01:14:52 2008

Copyright (c) 1982, 2007, Oracle.  All rights reserved.

SQL> conn sys@orcl1 as sysdba
パスワードを入力してください: 
接続されました。
SQL> 
SYS> l
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8    gv$session sess join gv$instance inst
  9    on sess.inst_id = inst.inst_id
 10  where
 11*   sess.username = 'SCOTT'
SYS> /

INSTANCE_NAME    USERNAME                       FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl2            SCOTT                          SELECT        BASIC      NO

SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus1で実行中です。
インスタンスorcl2はノードdiscus2で実行中です。

SYS> !srvctl stop instance -d orcl -i orcl2 -o abort

SYS> !srvctl status database -d orcl
インスタンスorcl1はノードdiscus1で実行中です。
インスタンスorcl2はノードdiscus2で実行されていません。

SYS> l
  1  select
  2    instance_name
  3   ,username
  4   ,failover_type
  5   ,failover_method
  6   ,failed_over
  7  from
  8    gv$session sess join gv$instance inst
  9    on sess.inst_id = inst.inst_id
 10  where
 11*   sess.username = 'SCOTT'
SYS> /

INSTANCE_NAME    USERNAME                       FAILOVER_TYPE FAILOVER_M FAI
---------------- ------------------------------ ------------- ---------- ---
orcl1            SCOTT                          SELECT        BASIC      YES

SYS>

Oracle11g for Linux x86(CentOS5.2)とiSCSI(Openfiler2.3)を使った安価なOracle11g R1 RAC構築完

投稿日時 2008年10月20日 (月) 08時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#27

今回はOracle Clusterwareプロセス・モニター・デーモンの構成

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle Cluster databaseの作成　その１、その２、その３

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

~~MacOSXからの接続確認（Mac De Oracleではお約束！なので）~~☆項番１９．で確認してしまったので削除

２１．Oracle Clusterwareプロセス・モニター・デーモンの構成

以下のマニュアルを参考に。
Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux
　- 7.1.2 Configure Input/Output Fencing
Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux
　- 7.1.2.3 Configuring Oracle Clusterware Process Monitor Daemon

Cluster Database/ASMなどを停止（全ノード）

G5Server:˜ discus$ ssh root@discus1
root@discus1's password: 
Last login: Sat Oct 18 18:32:53 2008 from 192.168.1.19
[root@discus1 ˜]# su - oracle
[oracle@discus1 ˜]$ srvctl stop database -d orcl
[oracle@discus1 ˜]$ srvctl stop asm -n discus2
[oracle@discus1 ˜]$ srvctl stop asm -n discus1
[oracle@discus1 ˜]$ srvctl stop nodeapps -n discus2
[oracle@discus1 ˜]$ srvctl stop nodeapps -n discus1
[oracle@discus1 ˜]$ echo $ORA_CRS_HOME
/u01/app/crs
[oracle@discus1 ˜]$ exit
logout

rootユーザでRACの停止を確認（全てOFFLINEであればOK）

[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crs_stat
NAME=ora.discus1.ASM1.asm
TYPE=application
TARGET=OFFLINE
STATE=OFFLINE

NAME=ora.discus1.LISTENER_DISCUS1.lsnr
TYPE=application
TARGET=OFFLINE
STATE=OFFLINE

NAME=ora.discus1.gsd
TYPE=application
TARGET=OFFLINE
STATE=OFFLINE

・・・・中略・・・・

NAME=ora.orcl.db
TYPE=application
TARGET=OFFLINE
STATE=OFFLINE

NAME=ora.orcl.orcl1.inst
TYPE=application
TARGET=OFFLINE
STATE=OFFLINE

NAME=ora.orcl.orcl2.inst
TYPE=application
TARGET=OFFLINE
STATE=OFFLINE

crsの状態確認

[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crsctl check cluster
discus1    ONLINE
discus2    ONLINE
[root@discus1 ˜]#

crsの停止（RAC全ノードのrootユーザで実施）

[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crsctl check crs
Cluster Synchronization Services appears healthy
Cluster Ready Services appears healthy
Event Manager appears healthy
[root@discus1 ˜]# 
[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crsctl stop crs
Stopping resources. 
This could take several minutes.
Successfully stopped Oracle Clusterware resources 
Stopping Cluster Synchronization Services. 
Shutting down the Cluster Synchronization Services daemon. 
Shutdown request successfully issued.
[root@discus1 ˜]# 
[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crsctl check crs
Failure 1 contacting Cluster Synchronization Services daemon
Cannot communicate with Cluster Ready Services
Cannot communicate with Event Manager
[root@discus1 ˜]#

oprocdの停止手順が書いてあるがcrsを停止するとoprocdも停止するのでこの操作は不要なのでは？（マニュアルバグ？）とりあえずマニュアル通りにやったが・・・。（RAC全ノードのrootユーザで実施）

[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/oprocd stop
Oct 20 02:53:05.858 | ERR | failed to connect to daemon, errno(111)
[root@discus1 ˜]# 
[root@discus1 ˜]# 
[root@discus1 ˜]# ps -ef | grep oprocd
root     23327 21934  0 02:54 pts/1    00:00:00 grep oprocd
[root@discus1 ˜]#

diagwaitパラメータを１３秒に変更する。（この操作はRACを構成する１ノードから行う。）

[root@discus1 ˜]# /u01/app/crs/bin/crsctl set css diagwait 13 -force
Configuration parameter diagwait is now set to 13.
[root@discus1 ˜]#

crsの起動（RAC全ノードのrootユーザで実施）

[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crsctl start crs
Attempting to start Oracle Clusterware stack 
The CRS stack will be started shortly
[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/crsctl check crs
Cluster Synchronization Services appears healthy
Cluster Ready Services appears healthy
Event Manager appears healthy
[root@discus1 ˜]# 
[root@discus1 ˜]# ps -ef | grep oprocd
root     24758 22215  0 02:56 ?        00:00:00 /bin/sh /etc/init.d/init.cssd oprocd
root     25125 24758  0 02:56 ?        00:00:00 /u01/app/crs/bin/oprocd run -t 1000 -m 10000 -hsi 5:10:50:75:90 -f
root     26140 21934  0 02:57 pts/1    00:00:00 grep oprocd
[root@discus1 ˜]# 
[root@discus1 ˜]# /u01/app/crs/bin/oprocd check
Oct 19 03:16:49.630 | INF | daemon running in fatal mode
[root@discus1 ˜]#

次回へつづく

投稿日時 2008年10月20日 (月) 06時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月19日 (日)

Mac de Oracle - １０万円未満 de RAC (11g編）#26

今回はClusterの開始と停止の確認

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle Cluster databaseの作成　その１、その２、その３

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

~~MacOSXからの接続確認（Mac De Oracleではお約束！なので）~~☆項番１９．で確認してしまったので削除

２０．Clusterの開始と停止の確認

下記はdiscus1で実施例。(ついでなのでEnterprise Manager Enterprise Managerの停止、起動も確認。）

[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ emctl stop dbconsole
Oracle Enterprise Manager 11g Database Control Release 11.1.0.6.0 
Copyright (c) 1996, 2007 Oracle Corporation.  All rights reserved.
https://discus1.macdeoracle.jp:1158/em/console/aboutApplication
Stopping Oracle Enterprise Manager 11g Database Control ... 
 ...  Stopped. 
[oracle@discus1 ˜]$ srvctl stop database -d orcl
[oracle@discus1 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus1で実行されていません。
インスタンスorcl2はノードdiscus2で実行されていません。
[oracle@discus1 ˜]$ srvctl stop asm -n discus2
[oracle@discus1 ˜]$ srvctl status asm -n discus2
ASMインスタンス+ASM2はノードdiscus2で実行されていません。
[oracle@discus1 ˜]$ srvctl stop asm -n discus1
[oracle@discus1 ˜]$ srvctl status asm -n discus1
ASMインスタンス+ASM1はノードdiscus1で実行されていません。
[oracle@discus1 ˜]$ srvctl stop nodeapps -n discus2
[oracle@discus1 ˜]$ srvctl status nodeapps -n discus2
VIPはノードで実行されていません: discus2
GSDはノードで実行されていません: discus2
リスナーはノードで実行されていません:discus2
ONSデーモンはノードで実行されていません: discus2
[oracle@discus1 ˜]$ srvctl stop nodeapps -n discus1
[oracle@discus1 ˜]$ srvctl status nodeapps -n discus1
VIPはノードで実行されていません: discus1
GSDはノードで実行されていません: discus1
リスナーはノードで実行されていません:discus1
ONSデーモンはノードで実行されていません: discus1
[oracle@discus1 ˜]$ exit
logout
Connection to discus1 closed.
G5Server:˜ discus$ 
G5Server:˜ discus$ ssh root@discus1
root@discus1's password: 
Last login: Sun Oct 19 12:17:45 2008 from 192.168.1.19
[root@discus1 ˜]# shutdown -r now

Broadcast message from root (pts/1) (Sun Oct 19 18:33:05 2008):

The system is going down for reboot NOW!
[root@discus1 ˜]# exit
logoutConnection to discus1 closed.
G5Server:˜ discus$ ssh root@discus2
root@discus2's password: 
Last login: Sun Oct 19 12:17:55 2008 from 192.168.1.19
[root@discus2 ˜]# shutdown -r now

Broadcast message from root (pts/1) (Sun Oct 19 18:33:19 2008):

The system is going down for reboot NOW!
[root@discus2 ˜]# exit
logout
Connection to discus2 closed.
G5Server:˜ discus$

リブート中〜〜〜〜〜〜そしてリブート後、

Connection to discus2 closed.
G5Server:˜ discus$ ssh oracle@discus1
oracle@discus1's password: 
Last login: Sun Oct 19 15:47:12 2008 from 192.168.1.19
[oracle@discus1 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus1で実行中です。
インスタンスorcl2はノードdiscus2で実行中です。
[oracle@discus1 ˜]$ srvctl status asm -n discus2
ASMインスタンス+ASM2はノードdiscus2で実行中です。
[oracle@discus1 ˜]$ srvctl status asm -n discus1
ASMインスタンス+ASM1はノードdiscus1で実行中です。
[oracle@discus1 ˜]$ srvctl status nodeapps -n discus2
VIPはノードで実行中です: discus2
GSDはノードで実行中です: discus2
リスナーはノードで実行中です: discus2
ONSデーモンはノードで実行中です: discus2
[oracle@discus1 ˜]$ srvctl status nodeapps -n discus1
VIPはノードで実行中です: discus1
GSDはノードで実行中です: discus1
リスナーはノードで実行中です: discus1
ONSデーモンはノードで実行中です: discus1
[oracle@discus1 ˜]$

次回へつづく

投稿日時 2008年10月19日 (日) 22時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#25

今回はOralce RAC ClusterとDatabase構成の確認

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle Cluster databaseの作成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

~~MacOSXからの接続確認（Mac De Oracleではお約束！なので）~~☆項番１９．で確認してしまったので削除

２０．Oralce RAC ClusterとDatabase構成の確認

[oracle@discus1 ˜]$ srvctl status database -d orcl
インスタンスorcl1はノードdiscus1で実行中です。
インスタンスorcl2はノードdiscus2で実行中です。
[oracle@discus1 ˜]$ srvctl status nodeapps -n discus1
VIPはノードで実行中です: discus1
GSDはノードで実行中です: discus1
リスナーはノードで実行中です: discus1
ONSデーモンはノードで実行中です: discus1
[oracle@discus1 ˜]$ srvctl status nodeapps -n discus2
VIPはノードで実行中です: discus2
GSDはノードで実行中です: discus2
リスナーはノードで実行中です: discus2
ONSデーモンはノードで実行中です: discus2
[oracle@discus1 ˜]$ srvctl status asm -n discus1
ASMインスタンス+ASM1はノードdiscus1で実行中です。
[oracle@discus1 ˜]$ srvctl status asm -n discus2
ASMインスタンス+ASM2はノードdiscus2で実行中です。
[oracle@discus1 ˜]$ srvctl config database
orcl
[oracle@discus1 ˜]$ srvctl config database -d orcl
discus1 orcl1 /u01/app/oracle/product/11.1.0/db_1
discus2 orcl2 /u01/app/oracle/product/11.1.0/db_1
[oracle@discus1 ˜]$ srvctl config nodeapps -n discus1 -a -g -s -l
VIPが存在します。: /discus1-vip/192.168.1.100/255.255.255.0/eth0
GSDが存在します。
ONSデーモンが存在します。
リスナーが存在します。
[oracle@discus1 ˜]$ srvctl config nodeapps -n discus2 -a -g -s -l
VIPが存在します。: /discus2-vip/192.168.1.101/255.255.255.0/eth0
GSDが存在します。
ONSデーモンが存在します。
リスナーが存在します。
[oracle@discus1 ˜]$ srvctl config asm -n discus1
+ASM1 /u01/app/oracle/product/11.1.0/db_1
[oracle@discus1 ˜]$ srvctl config asm -n discus2
+ASM2 /u01/app/oracle/product/11.1.0/db_1

[oracle@discus1 ˜]$ sqlplus /nolog

SQL*Plus: Release 11.1.0.6.0 - Production on 日 10月 19 15:57:38 2008

Copyright (c) 1982, 2007, Oracle.  All rights reserved.

SQL> conn sys@orcl as sysdba
パスワードを入力してください: 
接続されました。
SQL> l
  1  select name from v$datafile
  2  union
  3  select member from v$logfile
  4  union
  5  select name from v$controlfile
  6  union
  7* select name from v$tempfile
SQL> /

NAME
--------------------------------------------------------------------------------
+FLASH_RECOVERY_AREA/orcl/controlfile/current.268.667323469
+FLASH_RECOVERY_AREA/orcl/onlinelog/group_1.269.667323483
+FLASH_RECOVERY_AREA/orcl/onlinelog/group_2.270.667323497
+FLASH_RECOVERY_AREA/orcl/onlinelog/group_3.271.667336061
+FLASH_RECOVERY_AREA/orcl/onlinelog/group_4.272.667336077
+ORCL_DATA1/orcl/controlfile/current.295.667323465
+ORCL_DATA1/orcl/datafile/apex.302.667323623
+ORCL_DATA1/orcl/datafile/example.303.667323669
+ORCL_DATA1/orcl/datafile/sysaux.299.667323543
+ORCL_DATA1/orcl/datafile/system.298.667323505
+ORCL_DATA1/orcl/datafile/undotbs1.300.667323559

NAME
--------------------------------------------------------------------------------
+ORCL_DATA1/orcl/datafile/undotbs2.304.667323685
+ORCL_DATA1/orcl/datafile/users.305.667323705
+ORCL_DATA1/orcl/datafile/xmldb.306.667323705
+ORCL_DATA1/orcl/onlinelog/group_1.296.667323473
+ORCL_DATA1/orcl/onlinelog/group_2.297.667323489
+ORCL_DATA1/orcl/onlinelog/group_3.307.667336051
+ORCL_DATA1/orcl/onlinelog/group_4.308.667336067
+ORCL_DATA1/orcl/tempfile/temp.301.667323579

19行が選択されました。

SQL>

あとは問題はないだろうね。次回へつづく。

投稿日時 2008年10月19日 (日) 18時30分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#24

今回はOracle Net Serviceの確認

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster databaseの作成　その１、その２、その３

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

~~MacOSXからの接続確認（Mac De Oracleではお約束！なので）~~☆項番１９．で確認してしまったので削除

１９．Oracle Net Serviceの確認

まずRAC側のtnsnames.oraの内容確認から。ORCL2以下の内容をMacOSXのOracle Instant Client 10g R1のtnsnames.oraへコピーする。

[oracle@discus1 ˜]$ cat $TNS_ADMIN/tnsnames.ora
# tnsnames.ora Network Configuration File: /u01/app/oracle/product/11.1.0/db_1/network/admin/tnsnames.ora
# Generated by Oracle configuration tools.

LISTENERS_ORCL =
  (ADDRESS_LIST =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus1-vip)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus2-vip)(PORT = 1521))
  )

ORCL2 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus2-vip)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (INSTANCE_NAME = orcl2)
    )
  )

ORCL1 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus1-vip)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (INSTANCE_NAME = orcl1)
    )
  )

ORCL =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus1-vip)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus2-vip)(PORT = 1521))
    (LOAD_BALANCE = yes)
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
    )
  )

[oracle@discus1 ˜]$

コピー内容を確認。

G5Server:˜ discus$ tail -31 $TNS_ADMIN/tnsnames.ora
ORCL2 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus2-vip)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (INSTANCE_NAME = orcl2)
    )
  )

ORCL1 =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus1-vip)(PORT = 1521))
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
      (INSTANCE_NAME = orcl1)
    )
  )

ORCL =
  (DESCRIPTION =
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus1-vip)(PORT = 1521))
    (ADDRESS = (PROTOCOL = TCP)(HOST = discus2-vip)(PORT = 1521))
    (LOAD_BALANCE = yes)
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = orcl.macdeoracle.info)
    )
  )

G5Server:˜ discus$

次にOracle Instant Client 10g R1 for MacOSX(PPC)から接続テストを行う。

G5Server:˜ discus$ sqlplus -version

SQL*Plus: Release 10.1.0.3.0 - Production

G5Server:˜ discus$ sqlplus /nolog

SQL*Plus: Release 10.1.0.3.0 - Production on 日 10月 19 10:37:35 2008

Copyright (c) 1982, 2004, Oracle.  All rights reserved.

> !sw_vers
ProductName:    Mac OS X Server
ProductVersion: 10.4.11
BuildVersion:   8S169

> !/usr/sbin/system_profiler SPHardwareDataType SPSoftwareDataType | grep -E '((System|Kernel) Version|CPU)'
      CPU Type: PowerPC G5  (3.1)
      Number Of CPUs: 2
      CPU Speed: 2.7 GHz
      L2 Cache (per CPU): 512 KB
      System Version: Mac OS X Server 10.4.11 (8S169)
      Kernel Version: Darwin 8.11.0

> 
> conn sys@orcl1 as sysdba
パスワードを入力してください: 
接続されました。
SYS> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SYS> conn sys@orcl2 as sysdba
パスワードを入力してください: 
接続されました。
SYS> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SYS> conn sys@orcl as sysdba
パスワードを入力してください: 
接続されました。
SYS> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl1

SYS> conn sys@orcl as sysdba
パスワードを入力してください: 
接続されました。
SYS>: --ロードバランシングされて次はorcl2へ繋がるだろうな・・・・・多分。
SYS> select instance_name from v$instance;

INSTANCE_NAME
----------------
orcl2

SYS> -- gv$instanceビューでracの全インスタンスのチェック
SYS> select
  2    inst_id
  3   ,instance_number
  4   ,instance_name
  5   ,host_name
  6   ,version
  7   ,status
  8   ,parallel
  9  from
 10    gv$instance;

   INST_ID INSTANCE_NUMBER INSTANCE_NAME    HOST_NAME                VERSION           STATUS       PAR
---------- --------------- ---------------- ------------------------ ----------------- ------------ ---
         1               1 orcl1            discus1.macdeoracle.jp   11.1.0.6.0        OPEN         YES
         2               2 orcl2            discus2.macdeoracle.jp   11.1.0.6.0        OPEN         YES

SYS> 
SYS> select * from v$version;

BANNER
--------------------------------------------------------------------------------
Oracle Database 11g Enterprise Edition Release 11.1.0.6.0 - Production
PL/SQL Release 11.1.0.6.0 - Production
CORE    11.1.0.6.0      Production
TNS for Linux: Version 11.1.0.6.0 - Production
NLSRTL Version 11.1.0.6.0 - Production

SYS>

同様にintel x86版のMacOSXからも接続確認(^^)。intel x86 mac向けにはOracle Instant Client 10g R2が利用できる。もちろんOracle Instant Client 10g R1(PPC)をRosetta上で動作させてもOKだが。。

Macintosh:˜ discus$ sqlplus -version

SQL*Plus: Release 10.2.0.4.0 - Production

Macintosh:˜ discus$ sqlplus /nolog
¥
SQL*Plus: Release 10.2.0.4.0 - Production on 日 10月 19 11:31:45 2008

Copyright (c) 1982, 2007, Oracle.  All Rights Reserved.

SQL> !sw_vers
ProductName:	Mac OS X
ProductVersion:	10.5.5
BuildVersion:	9F33

SQL> !/usr/sbin/system_profiler SPHardwareDataType SPSoftwareDataType | grep -E '((System|Kernel) Version|Processor (Name|Speed))'
      Processor Name: Intel Core 2 Duo
      Processor Speed: 2.2 GHz
      System Version: Mac OS X 10.5.5 (9F33)
      Kernel Version: Darwin 9.5.0

SQL> conn sys@orcl as sysdba
Enter password: 
Connected.
SQL> select
  2    instance_number
  3   ,instance_name
  4   ,status
  5   ,version
  6  from
  7   gv$instance;

INSTANCE_NUMBER INSTANCE_NAME	 STATUS       VERSION
--------------- ---------------- ------------ -----------------
	      2 orcl2		 OPEN	      11.1.0.6.0
	      1 orcl1		 OPEN	      11.1.0.6.0

SQL>

Yahoo! 上手く行ったね〜。Oracle11g R1でお遊びRAC環境を構築するにも物理メモリ１ＧＢは載せないとダメね。ということで次回へつづく

追記(2008/10/19)
しまった〜、一番最後に行う予定だったMacOSXのOracle Clientからの接続テストをやっちゃった。w
しかたないので項番２４．は削除しておくか。。(^^;;

投稿日時 2008年10月19日 (日) 13時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Oracle Instant Client, Mac(Intel x86), Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#23

今回はOracle Cluster databaseの作成その３

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster databaseの作成　その１、その２、その３

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１８．Oracle Cluster databaseの作成その３

Cluster Database作成再々チャレンジ。３度目の正直ということで今度は大丈夫。w

iLifeで作成、BGMはGarage Bandのループの組み合わせだけで作成したものをYouTubeへ。。
高画質版はこちらから

ふ〜、上手く行った。(^^。次回へつづく

投稿日時 2008年10月19日 (日) 06時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月18日 (土)

Mac de Oracle - １０万円未満 de RAC (11g編）#22

今回はOracle Cluster databaseの作成その２

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster databaseの作成　その１、その２

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１８．Oracle Cluster databaseの作成その２

さて、前回「ORA-00845: MEMORY_TARGET no support on this system」という既知の落とし穴に落ちてしまったがなんとか脱出、dbcaにて中途半端な状態のデータベースを削除後、Cluster databaseの作成を再開。
今回はASMの作成はすんなりできたものの・・・・こんどこそ物理メモリ５１２ＭＢという最低限必要とされていた物理メモリサイズの半分ではRAC+ASMのインストールは無理だ・・・という結論に。・・・。
以前シングルインスタンスのOracle11g R1 EEを物理メモリ７６８ＭＢのDynabookにインストールした経験からギリギリなんとかなるかもと思っていたが、５１２ＭＢでは無理でしたね、さすがに．．．。www

順調に見えたが上記の画面でステータスが全く進まなくなった（そのように見えるがハングしている訳ではない）。原因はORA-04031が連発、バッググラウンドプロセスもまともに動けずエラー終了と再起動を繰り返している様子がalert.logファイルから確認できた。
ということで各５１２ＭＢのメモリを追加しRAC全ノードの物理メモリを１ＧＢに。
カーネルパラメータshmmax調整後、dbcaにて中途半端な状態のデータベースを削除してからcluster database作成を再開。。結果は次回。。。(^^)

[root@discus1 ˜]# cat /proc/meminfo | grep MemTotal
MemTotal:      1033760 kB
[root@discus1 ˜]# 
[root@discus1 ˜]# sysctl -a | grep shmmax
kernel.shmmax = 536870912
[root@discus1 ˜]#

ちなみにOracleの初期化パラメータsga_max_size/memory_max_target/memory_targetは各400M程度に設定する

Cluster Databaseの作成はまだつづく・・・・・・・。

投稿日時 2008年10月18日 (土) 10時28分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月17日 (金)

Mac de Oracle - １０万円未満 de RAC (11g編）#21

今回はOracle Cluster databaseの作成その１

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster databaseの作成　その１

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１８．Oracle Cluster databaseの作成その１

まず、dbca実行事前チェック。
CentOSで実行出来るよう構成ファイルをカスタマイズしたCVUを利用する。尚、事前にsshのユーザ等価関係を有効にしておくこと。（RACを構成する１ノードから実行する。）

[oracle@discus1 ˜]$ cd /home/oracle/orainstall/clusterware
[oracle@discus1 clusterware]$ ./bin/cluvfy stage -pre dbcfg -n discus1,discus2 -d ${ORACLE_HOME} -verbose

データベース構成の事前チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus1"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus1                               はい                      
  discus2                               はい                      
結果: ノード"discus1"からのノード到達可能性チェックに合格しました。


ユーザー等価をチェック中...

チェック: ユーザー"oracle"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus2                               合格                      
  discus1                               合格                      
結果: ユーザー"oracle"のユーザー等価チェックに合格しました。

管理権限をチェック中...

・・・・中略・・・・

チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus2:eth0                    discus2:eth0                    はい              
  discus2:eth0                    discus1:eth0                    はい              
  discus2:eth0                    discus1:eth0                    はい              
  discus2:eth0                    discus1:eth0                    はい              
  discus2:eth0                    discus1:eth0                    はい              
  discus1:eth0                    discus1:eth0                    はい              
結果: ノードdiscus2,discus1を持つサブネット"192.168.1.0"のノード接続性チェックに合格しました。

チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus2:eth1                    discus1:eth1                    はい              
結果: ノードdiscus2,discus1を持つサブネット"192.168.2.0"のノード接続性チェックに合格しました。

インタフェースがVIPの候補となるサブネット"192.168.1.0"で見つかりました:
discus2 eth0:192.168.1.4 eth0:192.168.1.101
discus1 eth0:192.168.1.3 eth0:192.168.1.100

インタフェースがプライベート・インタコネクトの候補となるサブネット"192.168.2.0"で見つかりました:
discus2 eth1:192.168.2.4
discus1 eth1:192.168.2.3

・・・・中略・・・・

CRS状態をチェック中...

チェック: CRSの状態
  ノード名                                  CRS OK?                 
  ------------------------------------  ------------------------
  discus2                               はい                      
  discus1                               はい                      
結果: CRS状態チェックに合格しました。

CRS整合性チェックに合格しました。

データベース構成の事前チェックは成功しました。 
[oracle@discus1 clusterware]$

チェックOKなので、dbcaを起動しCluster database作成を作成する。
今回もMacOSXのxterm(X11)から行う。尚、sshのユーザ等価関係が有効になっていない場合は有効化しておくこと。

G5Server:˜ discus$ ssh -Y oracle@discus1
oracle@discus1's password: 
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus1 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_rsa:
 Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa)
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ ssh discus1 hostname
discus1.macdeoracle.jp
[oracle@discus1 ˜]$ ssh discus2 hostname
discus2.macdeoracle.jp
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ dbca &

・・・中略・・・

あ〜〜〜〜、ダメか？、物理メモリ５１２ＭＢでは・・・無理しているのは承知だが．．？？　ASMインスタンスを作成しようとしているところで以下のエラーが出て進む事ができない。。。ここまでか・・・。

ORA-00845: MEMORY_TARGET no support on this system

諦めずにログから調査していくと．．．ありました・・・既知の問題が・・・

どうやらtmpfsを大きく取ってやることで回避できるようだ。。以下のマニュアルを参照のこと。
Oracle Clusterware Installation Guide11g Release 1 (11.1) for Linux
- MEMORY_TARGET not supported on this system

なんとか回避できそうだな・・・ということで、早速tmpfsのサイズを増す。。

Connection to discus1 closed.
G5Server:˜ discus$ ssh root@discus1
root@discus1's password: 
Last login: Sat Oct  4 04:08:21 2008 from 192.168.1.19
[root@discus1 ˜]# df -a
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/mapper/VolGroup00-LogVol00
                      16790968  11316644   4607612  72% /
proc                         0         0         0   -  /proc
sysfs                        0         0         0   -  /sys
devpts                       0         0         0   -  /dev/pts
/dev/hda1               101086     11816     84051  13% /boot
tmpfs                   256984         0    256984   0% /dev/shm
none                         0         0         0   -  /proc/sys/fs/binfmt_misc
sunrpc                       0         0         0   -  /var/lib/nfs/rpc_pipefs
configfs                     0         0         0   -  /sys/kernel/config
ocfs2_dlmfs                  0         0         0   -  /dlm
/dev/sdc1              2095648    335520   1760128  17% /u02
oracleasmfs                  0         0         0   -  /dev/oracleasm
[root@discus1 ˜]# umount tmpfs

[root@discus1 ˜]# mount -t tmpfs shmfs -o size=2g /dev/shm
[root@discus1 ˜]# df -a
Filesystem           1K-ブロック    使用   使用可 使用% マウント位置
/dev/mapper/VolGroup00-LogVol00
                      16790968  11316648   4607608  72% /
proc                         0         0         0   -  /proc
sysfs                        0         0         0   -  /sys
devpts                       0         0         0   -  /dev/pts
/dev/hda1               101086     11816     84051  13% /boot
none                         0         0         0   -  /proc/sys/fs/binfmt_misc
sunrpc                       0         0         0   -  /var/lib/nfs/rpc_pipefs
configfs                     0         0         0   -  /sys/kernel/config
ocfs2_dlmfs                  0         0         0   -  /dlm
/dev/sdc1              2095648    335520   1760128  17% /u02
oracleasmfs                  0         0         0   -  /dev/oracleasm
shmfs                  2097152         0   2097152   0% /dev/shm
[root@discus1 ˜]# 
[root@discus1 ˜]# cat /etc/fstab
/dev/VolGroup00/LogVol00 /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                   /sys                    sysfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
/dev/VolGroup00/LogVol01 swap                    swap    defaults        0 0
LABEL=oracrsfiles       /u02                    ocfs2   _netdev,datavolume,nointr       0 0
shmfs                   /dev/shm                tmpfs   size=2g 0
[root@discus1 ˜]# 

・・・・・一旦再起動・・・・・

[root@discus1 ˜]# df -ah
Filesystem          サイズ  使用  残り 使用% マウント位置
/dev/mapper/VolGroup00-LogVol00
                       17G   11G  4.4G  72% /
proc                     0     0     0   -  /proc
sysfs                    0     0     0   -  /sys
devpts                   0     0     0   -  /dev/pts
/dev/hda1              99M   12M   83M  13% /boot
tmpfs                 2.0G     0  2.0G   0% /dev/shm
shmfs                 2.0G     0  2.0G   0% /dev/shm
none                     0     0     0   -  /proc/sys/fs/binfmt_misc
sunrpc                   0     0     0   -  /var/lib/nfs/rpc_pipefs
configfs                 0     0     0   -  /sys/kernel/config
ocfs2_dlmfs              0     0     0   -  /dlm
/dev/sdd1             2.0G  328M  1.7G  17% /u02
oracleasmfs              0     0     0   -  /dev/oracleasm
[root@discus1 ˜]#

注）上記操作はRAC全ノードのrootユーザで行った

Cluster Databaseの作成は次回へつづく・・・・・・・。

投稿日時 2008年10月17日 (金) 12時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#20

今回はTNS Listenerの構成

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１７．TNS Listenerの構成

netcaでの構成はRACの１ノードから実行する。
netcaもMacOSXのxterm(X11)から行う。尚、sshのユーザ等価関係が有効になっていない場合は有効化しておくこと。

G5Server:˜ discus$ ssh -Y oracle@discus1
oracle@discus1's password: 
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus1 ˜]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_rsa:
 Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa)
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ ssh discus1 hostname
discus1.macdeoracle.jp
[oracle@discus1 ˜]$ ssh discus2 hostname
discus2.macdeoracle.jp
[oracle@discus1 ˜]$ 
[oracle@discus1 ˜]$ netca &

・・・中略・・・

久々にMovie化、iLifeで作成、BGMはGarage Bandのループの組み合わせだけで作成したものをYouTubeへ。。
高画質版はこちらから

確認はRAC全ノードのoracleユーザで実施する。（以下はdiscus1で実施した例）

[oracle@discus1 ˜]$ hostname
discus1.macdeoracle.jp
[oracle@discus1 ˜]$ ps -ef | grep lsnr | grep -v 'grep' | grep -v 'ocfs' | awk '{print $9}'
LISTENER_DISCUS1
[oracle@discus1 ˜]$ $ORA_CRS_HOME/bin/crs_stat ora.discus1.LISTENER_DISCUS1.lsnr
NAME=ora.discus1.LISTENER_DISCUS1.lsnr
TYPE=application
TARGET=ONLINE
STATE=ONLINE on discus1

[oracle@discus1 ˜]$

次回へつづく

投稿日時 2008年10月17日 (金) 09時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#19

今回はOracle11g R1 examplesのインストール

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１６．Oracle11g R1 examplesのインストール

OUIによるインストールはRACの１ノードから実行する。
Oracle11g R1 exapmlesのインストールもMacOSXのxterm(X11)からOUIを起動して行う。尚、sshのユーザ等価関係が有効になっていない場合は有効化しておくこと。

G5Server:~ discus$ ssh -Y oracle@discus1
oracle@discus1's password: 
[oracle@discus1 ˜]$ cd /home/oracle/orainstall/examples
[oracle@discus1 examples]$ 
[oracle@discus1 examples]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus1 examples]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_rsa:
 Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa)
[oracle@discus1 examples]$ 
[oracle@discus1 examples]$ ssh discus1 hostname
discus1.macdeoracle.jp
[oracle@discus1 examples]$ ssh discus2 hostname
discus2.macdeoracle.jp
[oracle@discus1 examples]$ 
[oracle@discus1 examples]$ ./runInstaller &

・・・中略・・・

Copyright (C) 1999, 2007, Oracle. All rights reserved.

MacOSXのxtermからOUIを起動した場合、xterm上のログは文字化けするが起動されるOUIは文字化けしないので特に困ることもない。

久々にMovie化、iLifeで作成、BGMはGarage Bandのループの組み合わせだけで作成したものをYouTubeへ。。

高画質版はこちらからどうぞ。

尚、他のインストールと同様にOUIが実行するCVUでは物理メモリチェック失敗となるが物理メモリ５１２MBで実行している影響なので無視して続行する。

次回へつづく

投稿日時 2008年10月17日 (金) 03時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月16日 (木)

Mac de Oracle - １０万円未満 de RAC (11g編）#18

今回はOracle11g R1 Database softwareのインストール

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１５．Oracle11g R1 Database softwareのインストール（ソフトウェアのみインストール）

Oracle databaseインストール事前チェックを手動実行する。CentOS向けに構成ファイルを変更したCVUで行う。物理メモリ及び物理メモリ（５１２ＭＢ）に合わせたカーネルパラメータshmmaxのチェックに失敗するが想定内のことなのでそれ以外のチェック失敗がなければインストールが行える。尚、チェック実施前にsshのユーザ等価関係は有効にしておくこと。

[oracle@discus1 &tilde]$ cd clusterware
[oracle@discus1 clusterware]$ ./bin/cluvfy stage -pre dbinst -n discus1,discus2 -r 11gR1 -verbose

データベース・インストールの事前チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus1"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus1                               はい                      
  discus2                               はい                      
結果: ノード"discus1"からのノード到達可能性チェックに合格しました。


ユーザー等価をチェック中...

チェック: ユーザー"oracle"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus2                               合格                      
  discus1                               合格                      
結果: ユーザー"oracle"のユーザー等価チェックに合格しました。

・・・中略・・・

システム要件をチェック中: 'database'...

チェック: メモリー合計 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       501.92MB (513968KB)       1GB (1048576KB)           失敗
  discus1       501.92MB (513968KB)       1GB (1048576KB)           失敗        
結果: メモリー合計チェックが失敗しました。

チェック: "/tmp"ディレクトリのディスク空き領域
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       10.5GB (11012728KB)       400MB (409600KB)          合格        
  discus1       8.01GB (8396028KB)        400MB (409600KB)          合格        
結果: ディスク空き領域チェックに合格しました。

チェック: スワップ領域 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       2GB (2097144KB)           1.5GB (1572864KB)         合格        
  discus1       2GB (2097144KB)           1.5GB (1572864KB)         合格        
結果: スワップ領域チェックに合格しました。

・・・中略・・・

チェック: "shmmax"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       268435456                 536870912                 失敗        
  discus1       268435456                 536870912                 失敗        
結果: "shmmax"のカーネル・パラメータチェックが失敗しました。

チェック: "shmall"のカーネル・パラメータ 
  ノード名          構成済                       必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       2097152                   2097152                   合格        
  discus1       2097152                   2097152                   合格        
結果: "shmall"のカーネル・パラメータチェックに合格しました。


・・・中略・・・

チェック: CRSの状態
  ノード名                                  CRS OK?                 
  ------------------------------------  ------------------------
  discus2                               はい                      
  discus1                               はい                      
結果: CRS状態チェックに合格しました。

CRS整合性チェックに合格しました。

データベース・インストールの事前チェックはすべてのノードで失敗しました。 
[oracle@discus1 clusterware]$

物理メモリとshmmaxのチェックが失敗しているが、実メモリが少ないことによる影響なので無視して作業を進める。５１２ＢＭの物理メモリでどこまでいけるか・・・
尚、OUI内のチェックでも同じポイントでチェックが失敗するが同じ問題なので無視してインストールを続ける。(^^)

OUIによるインストールはRACの１ノードから実行する。
Oracle databaseのインストールもMacOSXのxterm(X11)からOUIを起動して行う。尚、sshのユーザ等価関係が有効になっていない場合は有効化しておくこと。

G5Server:~ discus$ ssh -Y oracle@discus1
oracle@discus1's password: 
[oracle@discus1 ˜]$ cd /home/oracle/orainstall/database
[oracle@discus1 database]$ 
[oracle@discus1 database]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus1 database]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_rsa:
 Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa)
[oracle@discus1 database]$ 
[oracle@discus1 database]$ ssh discus1 hostname
discus1.macdeoracle.jp
[oracle@discus1 database]$ ssh discus2 hostname
discus2.macdeoracle.jp
[oracle@discus1 database]$ 
[oracle@discus1 database]$ ./runInstaller &

・・・中略・・・

Copyright (C) 1999, 2007, Oracle. All rights reserved.

MacOSXのxterm上では文字化けするがOUI自体は文字化けしないのでご心配なく。

インストールの最後でのお約束！　root.shの実行。RAC全ノードのrootユーザで実施後、OUIに戻りダイアログを閉じる。

[root@discus1 ~]# /u01/app/oracle/product/11.1.0/db_1/root.sh
Running Oracle 11g root.sh script...

The following environment variables are set as:
    ORACLE_OWNER= oracle
    ORACLE_HOME=  /u01/app/oracle/product/11.1.0/db_1

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root.sh script.
Now product-specific root actions will be performed.
Finished product-specif

次回へつづく

投稿日時 2008年10月16日 (木) 16時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#17

今回はOracle11g R1 Clusterwareのインストール

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１４．Oracle11g R1 Clusterwareのインストール

ということでやっとインストール作業。まずはOracle Clusterwareのインストール。OUIによるインストールはRACの１ノードから実行する。
今回もMacOSXのxterm(X11)でOUIを起動する。

G5Server:~ discus$ ssh -Y oracle@discus1
oracle@discus1's password: 
[oracle@discus1 ˜]$ cd /home/oracle/orainstall/clusterware
[oracle@discus1 clusterware]$ 
[oracle@discus1 clusterware]$ exec /usr/bin/ssh-agent $SHELL
[oracle@discus1 clusterware]$ /usr/bin/ssh-add
Enter passphrase for /home/oracle/.ssh/id_rsa:
 Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa)
[oracle@discus1 clusterware]$ 
[oracle@discus1 clusterware]$ ssh discus1 hostname
discus1.macdeoracle.jp
[oracle@discus1 clusterware]$ ssh discus2 hostname
discus2.macdeoracle.jp
[oracle@discus1 clusterware]$ 
[oracle@discus1 clusterware]$ ./runInstaller &

・・・中略・・・

Copyright (C) 1999, 2007, Oracle. All rights reserved.

MacOSXのxterm上では文字化けするがOUI自体は文字化けしないのでご心配なく。

お約束のorainstRoot.sh及びroot.shスクリプトはRAC全ノードのrootユーザで実行する。

[root@discus1 ˜]# /u01/app/oraInventory/orainstRoot.sh
権限の変更:/u01/app/oraInventory : 770.
グループ名の変更:/u01/app/oraInventory : oinstall.
スクリプトの実行が完了しました
[root@discus1 ˜]# /u01/app/crs/root.sh
WARNING: directory '/u01/app' is not owned by root
Checking to see if Oracle CRS stack is already configured
/etc/oracle does not exist. Creating it now.

Setting the permissions on OCR backup directory
Setting up Network socket directories
Oracle Cluster Registry configuration upgraded successfully
The directory '/u01/app' is not owned by root. Changing owner to root
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node <nodenumber>: <nodename> <private interconnect name> <hostname>
node 1: discus1 discus1-priv discus1
node 2: discus2 discus2-priv discus2
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Now formatting voting device: /u02/oradata/orcl/CSSFile
Now formatting voting device: /u02/oradata/orcl/CSSFile_mirror1
Now formatting voting device: /u02/oradata/orcl/CSSFile_mirror2
Format of 3 voting devices complete.
Startup will be queued to init within 30 seconds.
Adding daemons to inittab
Expecting the CRS daemons to be up within 600 seconds.
Cluster Synchronization Services is active on these nodes. 
        discus1
Cluster Synchronization Services is inactive on these nodes. 
        discus2
Local node checking complete. Run root.sh on remaining nodes to start CRS daemons.
[root@discus1 ˜]# ssh root@discus2
root@discus1's password: 
[root@discus2 ˜]# /u01/app/oraInventory/orainstRoot.sh
権限の変更:/u01/app/oraInventory : 770.
グループ名の変更:/u01/app/oraInventory : oinstall.
スクリプトの実行が完了しました
[root@discus2 ˜]# /u01/app/crs/root.sh
WARNING: directory '/u01/app' is not owned by root
Checking to see if Oracle CRS stack is already configured
/etc/oracle does not exist. Creating it now.

・・・．中略・・・・

        discus1
        discus2
Cluster Synchronization Services is active on all the nodes. 
Waiting for the Oracle CRSD and EVMD to start
Oracle CRS stack installed and running under init(1M)
Running vipca(silent) for configuring nodeapps

(2)ノードでVIPアプリケーション・リソースを作成しています...
(2)ノードでGSDアプリケーション・リソースを作成しています...
(2)ノードでONSアプリケーション・リソースを作成しています...
(2)ノードでVIPアプリケーション・リソースを起動しています...
(2)ノードでGSDアプリケーション・リソースを起動しています...
(2)ノードでONSアプリケーション・リソースを起動しています...


Done.
[root@discus2 ˜]#

OUIの最後のCVUでエラーが発生するが既知の問題(CentOS5.2がサポートされていないから）なので無視してOUIを進め、OTN USから別途ダウンロードしCentOS5でも実行できるようカスタマイズしたCVUをOUIを起動したノードで実行し正常であることの確認が取れればOK。
以下はOUIのログ。

-----------------------------------------------------------------------------
コンフィギュレーション・アシスタント"Oracle Cluster Verification Utility"から生成された出力:
Command = /u01/app/crs/bin/cluvfy stage -post crsinst -n discus1,discus2

ERROR: 
オペレーティング・システムを識別できません。このオペレーティング・システムに対して正しいソフトウェアが実行中であることを確認してください。
検証を続行できません。


コンフィギュレーション・アシスタント"Oracle Cluster Verification Utility"が失敗しました。
-----------------------------------------------------------------------------
"/u01/app/crs/cfgtoollogs/configToolFailedCommands"スクリプトには、失敗したコマンド、スキップされたコマンド、または取り消されたコマンドがすべて含まれています。
このファイルは、OUI以外でコンフィギュレーション・アシスタントを実行するために使用される場合があります。このスクリプトを実行する前に、
(存在する場合は)パスワードを使用してスクリプトを更新する必要がある場合があります。
-----------------------------------------------------------------------------

[oracle@discus1 clusterware]$ ./bin/cluvfy stage -post crsinst -n discus1,discus2 -verbose

クラスタ・サービス設定の事後チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus1"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus1                               はい                      
  discus2                               はい                      
結果: ノード"discus1"からのノード到達可能性チェックに合格しました。


ユーザー等価をチェック中...

チェック: ユーザー"oracle"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus2                               合格                      
  discus1                               合格                      
結果: ユーザー"oracle"のユーザー等価チェックに合格しました。

クラスタ・マネージャ整合性をチェック中... 


CSSデーモンをチェック中...
  ノード名                                  ステータス                   
  ------------------------------------  ------------------------
  discus2                               実行中                     
  discus1                               実行中                     
結果: "CSS daemon"のデーモン・ステータスチェックに合格しました。

クラスタ・マネージャ整合性チェックに合格しました。

クラスタ整合性をチェック中... 

  ノード名                                
  ------------------------------------
  discus1                             
  discus2                             

クラスタ整合性チェックに合格しました


OCR整合性をチェック中...

非クラスタ構成がないことをチェック中...
すべてのノードにローカル専用の非クラスタ構成がありません。

OCRデバイスの一意性チェックに合格しました。

OCRのバージョンをチェック中...
OCRの正しいバージョン"2"が存在します。

OCRのデータ整合性をチェック中...
OCRのデータ整合性チェックに合格しました。

OCR整合性チェックに合格しました。

CRS整合性をチェック中...

デーモン活性をチェック中...

チェック: "CRS daemon"の活性

・・・・中略・・・・

GSDノード・アプリケーションの存在をチェック中です 
  ノード名          必須                        ステータス                     コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       いいえ                       存在します                     合格     
     discus1       いいえ                       存在します                     合格        
結果: チェックに合格しました。


クラスタ・サービス設定の事後チェックは成功しました。 
[oracle@discus1 clusterware]$

最後に全ノードのOracleユーザで以下の確認を行ってOracle clusterwareのインストールは終了。

[oracle@discus1 ˜]$ $ORA_CRS_HOME/bin/olsnodes -n
discus1 1
discus2 2
[oracle@discus1 ˜]$ $ORA_CRS_HOME/bin/crs_stat -t -v
Name           Type           R/RA   F/FT   Target    State     Host        
----------------------------------------------------------------------
ora....us1.gsd application    0/5    0/0    ONLINE    ONLINE    discus1
ora....us1.ons application    0/3    0/0    ONLINE    ONLINE    discus1     
ora....us1.vip application    0/0    0/0    ONLINE    ONLINE    discus1     
ora....us2.gsd application    0/5    0/0    ONLINE    ONLINE    discus2     
ora....us2.ons application    0/3    0/0    ONLINE    ONLINE    discus2     
ora....us2.vip application    0/0    0/0    ONLINE    ONLINE    discus2     
[oracle@discus1 ˜]$ $ORA_CRS_HOME/bin/crsctl check crs
Cluster Synchronization Services appears healthy
Cluster Ready Services appears healthy
Event Manager appears healthy
[oracle@discus1 ˜]$ ls -l /etc/init.d/init.*
-rwxr-xr-x 1 root root  2236 10月  2 21:43 /etc/init.d/init.crs
-rwxr-xr-x 1 root root  5290 10月  2 21:43 /etc/init.d/init.crsd
-rwxr-xr-x 1 root root 49416 10月  2 21:43 /etc/init.d/init.cssd
-rwxr-xr-x 1 root root  3859 10月  2 21:43 /etc/init.d/init.evmd
[oracle@discus1 ˜]$

次回へつづく

投稿日時 2008年10月16日 (木) 12時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月15日 (水)

Mac de Oracle - １０万円未満 de RAC (11g編）#16

今回はOracle11g R1 インストール事前作業

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１３．Oracle11g R1 インストール事前作業

インストールするOracle製品は、
linux_x86_11gR1_database.zip　/　linux_x86_11gR1_clusterware.zip　/　linux_11gR1_examples.zip

及び、cvupack_Linux_x86.zip

CVUのFAQ:
http://www.oracle.com/technology/products/database/clustering/cvu/faq/cvufaq_11g.htmlを参照のこと。

2008/10/16追記
尚、DVDを利用する場合はcvupack_Linux_x86.zipだけを別途ダウンロードし適当なディレクトリで解凍して利用する。DVDを利用する場合、OUIはDatabase/Clusterware/Oracle Clientを選択してインストールすることができるが、本エントリではOracle Database及び、Clusterwareは個々のOUIで個別にインストールしているためrunInstallerのディレクトリが異なっていることに注意してください。
ちなみに１枚のDVDに纏まられているOUIを起動した場合は以下のような画面が現れ、インストールする製品を選択できる。

インストールするOracle製品をダウンロードする。

インストールは１つのノードから行うのでRACを構成するいずれか１ノードへダウンロードすればOK。だたDISK容量はそれほど多くないのでunzipしたファイルはどんどん削除。（こちらの事情ですのでインストール上必須ではありません。こんなこと書かなくても大丈夫だと思いますが。）
ただし、cvuqdisk-1.0.1-1.rpmだけはRAC全ノードにダウンロードして個別にインストールする。

[root@discus1 ˜]# su - oracle
[oracle@discus1 ˜]$ mkdir orainstall
[oracle@discus1 ˜]$ cd orainstall
[oracle@discus1 orainstall]$ pwd
/home/oracle/orainstall
[oracle@discus1 orainstall]$ ll
合計 2524844
-rw-r--r-- 1 oracle oinstall   36428926 10月  1 21:12 cvupack_Linux_x86.zip
-rw-r--r-- 1 oracle oinstall  457209469 10月  1 21:41 linux_11gR1_examples.zip
-rw-r--r-- 1 oracle oinstall  244660141 10月  1 21:20 linux_x86_11gR1_clusterware.zip
-rw-r--r-- 1 oracle oinstall 1844572234 10月  1 21:27 linux_x86_11gR1_database.zip
[oracle@discus1 orainstall]$ unzip linux_x86_11gR1_database.zip

・・・・中略・・・

[oracle@discus1 orainstall]$ rm linux_x86_11gR1_database.zip
[oracle@discus1 orainstall]$ unzip linux_11gR1_examples.zip

・・・・中略・・・

[oracle@discus1 orainstall]$ rm linux_11gR1_examples.zip
[oracle@discus1 orainstall]$unzip linux_x86_11gR1_clusterware.zip

・・・・中略・・・

[oracle@discus1 orainstall]$ rm linux_x86_11gR1_clusterware.zip
[oracle@discus1 orainstall]$ ll
合計 35644
drwxr-xr-x 8 oracle oinstall     4096  9月 19  2007 clusterware/
-rw-r--r-- 1 oracle oinstall 36428926 10月  1 21:12 cvupack_Linux_x86.zip
drwxr-xr-x 6 oracle oinstall     4096  9月 19  2007 database/
drwxr-xr-x 6 oracle oinstall     4096  8月  7  2007 examples/
[oracle@discus1 orainstall]$ mv cvupack_Linux_x86.zip ./clusterware
[oracle@discus1 orainstall]$ ll
合計 24
drwxr-xr-x 8 oracle oinstall 4096  9月 19  2007 clusterware/
drwxr-xr-x 6 oracle oinstall 4096  9月 19  2007 database/
drwxr-xr-x 6 oracle oinstall 4096  8月  7  2007 examples/
[oracle@discus1 orainstall]$ cd clusterware
[oracle@discus1 clusterware]$ unzip cvupack_Linux_x86.zip

・・・・中略・・・

  inflating: lib/libsrvm11.so        
replace rpm/cvuqdisk-1.0.1-1.rpm? [y]es, [n]o, [A]ll, [N]one, [r]ename: n
[oracle@discus1 clusterware]$ rm cvupack_Linux_x86.zip
[oracle@discus1 clusterware]$ ll
合計 112
drwxr-xr-x  2 oracle oinstall 4096  8月 19 15:34 bin/
drwxr-xr-x  6 oracle oinstall 4096  8月 19 15:34 cv/
drwxr-xr-x  8 oracle oinstall 4096  8月  7  2007 doc/
drwxr-xr-x  4 oracle oinstall 4096  8月  4  2007 install/
drwxr-xr-x  3 oracle oinstall 4096  8月 19 15:34 jdk/
drwxr-xr-x  2 oracle oinstall 4096  8月 19 15:34 jlib/
drwxr-xr-x  2 oracle oinstall 4096  8月 19 15:34 lib/
drwxr-xr-x  2 oracle oinstall 4096  9月 19  2007 response/
drwxr-xr-x  2 oracle oinstall 4096  8月  4  2007 rpm/
-rwxr-xr-x  1 oracle oinstall 2912  8月  4  2007 runInstaller*
-rwxr-xr-x  1 oracle oinstall 2990  8月  4  2007 runcluvfy.sh*
drwxr-xr-x 13 oracle oinstall 4096  8月  4  2007 stage/
drwxr-xr-x  2 oracle oinstall 4096  8月  4  2007 upgrade/
-rw-r--r--  1 oracle oinstall 3824  7月 13  2007 welcome.html

この例ではRACを構成するdiscus1で解凍したcvuqdisk-1.0.1-1.rpmを残りのノードへコピー後、全ノードで個別にインストールする。

[oracle@discus1 clusterware]$ cd rpm
[oracle@discus1 rpm]$ ll
合計 12
-rw-r--r-- 1 oracle oinstall 5339  8月  4  2007 cvuqdisk-1.0.1-1.rpm
[oracle@discus1 rpm]$ scp cvuqdisk-1.0.1-1.rpm discus2:/home/oracle/orainstall/clusterware/rpm
Enter passphrase for key '/home/oracle/.ssh/id_rsa': 
cvuqdisk-1.0.1-1.rpm                                                        100% 5339     5.2KB/s   00:00    
[oracle@discus1 rpm]$ 
[root@discus1 rpm]# export CVUQDISK_GRPP=oinstall
[root@discus1 rpm]# rpm -iv cvuqdisk-1.0.1-1.rpm
準備中...
cvuqdisk-1.0.1-1

今回利用するzipファイルを全て展開すると上記のようなdirectory構成になる。cvupack_Linux_x86.zipを利用する理由は、後続作業にてCentOS5.2上でCVUによる事前チェックが行えるようにすることが目的でcvu_configファイルのCV_ORACLE_RELEASEパラメータ及び、CV_ASSUME_DISTIDパラメータをカスタマイズするため。

CV_ORACLE_RELEASEパラメータはコメントアウトされているだけなので#を削除するだけ。
CV_ASSUME_DISTIDパラメータはCentOS5.2をRHEL5と思わせるためにRHEL5へ変更する。

前述の設定を怠ると．．．．

[oracle@discus1 clusterware]$ ./bin/cluvfy stage -pre crsinst -n discus1,discus2 -verbose

ERROR: 
オペレーティング・システムを識別できません。このオペレーティング・システムに対して正しいソフトウェアが実行中であることを確認してください。
検証を続行できません。

[oracle@discus1 clusterware]$

というエラーが発生するのでご注意を


[oracle@discus1 clusterware]$ cat ./cv/admin/cvu_config
# Configuration file for Cluster Verification Utility(CVU)
# Version: 011405
#
# NOTE:
# 1._ Any line without a '=' will be ignored
# 2._ Since the fallback option will look into the environment variables,
#     please have a component prefix(CV_) for each property to define a
#     namespace.
# 


#Default Oracle release(10gR1/10gR2/11gR1). If specified here, this release 
#will be assumed when -r option is not specified in the command line.
CV_ORACLE_RELEASE=11gR1

#Nodes for the cluster. If CRS home is not installed, this list will be 
#picked up when -n all is mentioned in the commandline argument.
#CV_NODE_ALL=

#if enabled, cvuqdisk rpm is required on all nodes on RedHat 3 or Redhat 4
CV_RAW_CHECK_ENABLED=TRUE

# Fallback to this distribution id
CV_ASSUME_DISTID=RHEL5

# Whether X-Windows check should be performed for user equivalence with SSH
#CV_XCHK_FOR_SSH_ENABLED=TRUE

# To override SSH location
#ORACLE_SRVM_REMOTESHELL=/usr/bin/ssh

# To override SCP location
#ORACLE_SRVM_REMOTECOPY=/usr/bin/scp

[oracle@discus1 clusterware]$

さ事前チェックを行う前にsshのユーザ等価は確認しておく。
ここでpasswordを要求されるようならユーザ等価関係が有効になっていないので再度設定するべし。

[oracle@discus1 clusterware]$ ssh discus1 hostname
discus1.macdeoracle.jp
[oracle@discus1 clusterware]$ ssh discus2 hostname
discus2.macdeoracle.jp
[oracle@discus1 clusterware]$

・CVUによるOracle Clusterware事前チェック（RACを構成する１ノードのoracleユーザで実施すればOK）

[oracle@discus1 clusterware]$ pwd
/home/oracle/orainstall/clusterware
[oracle@discus1 clusterware]$ ./bin/cluvfy stage -pre crsinst -n discus1,discus2 -verbose

クラスタ・サービス設定の事前チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus1"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus1                               はい                      
  discus2                               はい                      
結果: ノード"discus1"からのノード到達可能性チェックに合格しました。


ユーザー等価をチェック中...

チェック: ユーザー"oracle"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus2                               合格                      
  discus1                               合格                      
結果: ユーザー"oracle"のユーザー等価チェックに合格しました。

管理権限をチェック中...

チェック: ユーザー"oracle"の存在
  ノード名          ステータス                     ユーザーID                  
  ------------  ------------------------  ------------------------
  discus2       存在します                     601                     
  discus1       存在します                     601                     
結果: "oracle"のユーザーの存在チェックに合格しました。

チェック: グループ"oinstall"の存在
  ノード名          ステータス                     グループID                  
  ------------  ------------------------  ------------------------
  discus2       存在します                     601                     
  discus1       存在します                     601                     
結果: "oinstall"のグループの存在チェックに合格しました。

チェック: グループ"oinstall"内のユーザー"oracle"[プライマリ]のメンバーシップ
  ノード名              ユーザーが存在します    グループが存在します    グループ内のユーザー    プライマリ         コメント        
  ----------------  ------------  ------------  ------------  ------------  ------------
 discus2          はい           はい           はい           はい           合格          
 discus1          はい           はい           はい           はい           合格          
結果: グループ"oinstall"内のユーザー"oracle"[プライマリ]のメンバーシップ・チェックに合格しました。

管理権限チェックに合格しました。

ノード接続性をチェック中...


・・・・中略・・・・


システム要件をチェック中: 'crs'...

チェック: メモリー合計 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       501.92MB (513968KB)       1GB (1048576KB)           失敗        
  discus1       501.92MB (513968KB)       1GB (1048576KB)           失敗        
結果: メモリー合計チェックが失敗しました。

チェック: "/tmp"ディレクトリのディスク空き領域
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       11.2GB (11743644KB)       400MB (409600KB)          合格        
  discus1       8.56GB (8972272KB)        400MB (409600KB)          合格        
結果: ディスク空き領域チェックに合格しました。

チェック: スワップ領域 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       2GB (2097144KB)           1.5GB (1572864KB)         合格        
  discus1       2GB (2097144KB)           1.5GB (1572864KB)         合格        
結果: スワップ領域チェックに合格しました。

チェック: システム・アーキテクチャ 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       i686                      i686                      合格        
  discus1       i686                      i686                      合格        
結果: システム・アーキテクチャチェックに合格しました。

チェック: カーネル・バージョン 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       2.6.18-92.el5             2.6.9                     合格        
  discus1       2.6.18-92.el5             2.6.9                     合格        
結果: カーネル・バージョンチェックに合格しました。

・・・・中略・・・・

チェック: "glibc-headers-2.5-12"のパッケージの存在 
  ノード名                            ステータス                           コメント            
  ------------------------------  ------------------------------  ----------------
  discus2                         glibc-headers-2.5-24            合格              
  discus1                         glibc-headers-2.5-24            合格              
結果: "glibc-headers-2.5-12"のパッケージの存在チェックに合格しました。

チェック: "dba"のグループの存在 
  ノード名          ステータス                     グループID                  
  ------------  ------------------------  ------------------------
  discus2       存在します                     602                     
  discus1       存在します                     602                     
結果: "dba"のグループの存在チェックに合格しました。

チェック: "oinstall"のグループの存在 
  ノード名          ステータス                     グループID                  
  ------------  ------------------------  ------------------------
  discus2       存在します                     601                     
  discus1       存在します                     601                     
結果: "oinstall"のグループの存在チェックに合格しました。

チェック: "nobody"の既存ユーザー 
  ノード名          ステータス                     ユーザーID                  
  ------------  ------------------------  ------------------------
  discus2       存在します                     99                      
  discus1       存在します                     99                      
結果: "nobody"の既存ユーザーチェックに合格しました。

チェック: "オープン・ファイル・ディスクリプタ"のハード・リソース制限 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       65536                     65536                     合格        
  discus1       65536                     65536                     合格        
結果: "オープン・ファイル・ディスクリプタ"のハード・リソース制限チェックに合格しました。

チェック: "オープン・ファイル・ディスクリプタ"のソフト・リソース制限 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       1024                      1024                      合格        
  discus1       1024                      1024                      合格        
結果: "オープン・ファイル・ディスクリプタ"のソフト・リソース制限チェックに合格しました。

チェック: "最大ユーザー・プロセス"のハード・リソース制限 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       16384                     16384                     合格        
  discus1       16384                     16384                     合格        
結果: "最大ユーザー・プロセス"のハード・リソース制限チェックに合格しました。

チェック: "最大ユーザー・プロセス"のソフト・リソース制限 
  ノード名          使用可能                      必須                        コメント      
  ------------  ------------------------  ------------------------  ----------
  discus2       2047                      2047                      合格        
  discus1       2047                      2047                      合格        
結果: "最大ユーザー・プロセス"のソフト・リソース制限チェックに合格しました。

システム要件が失敗しました 'crs'

クラスタ・サービス設定の事前チェックはすべてのノードで失敗しました。 
[oracle@discus1 clusterware]$

NGなのはメモリだけなのでこのまま先へ進む。（実メモリが少ないのは承知の上で行っているので）

・CVUによるハードウェアとOSのセットアップチェック。（RACを構成する１ノードのoracleユーザで実施すればOK）

[oracle@discus1 clusterware]$ ./bin/cluvfy stage -post hwos -n discus1,discus2 -verbose

ハードウェアとオペレーティング・システム設定の事後チェックを実行しています 

ノード到達可能性をチェック中...

チェック: ノード"discus1"からのノード到達可能性
  宛先ノード                                 到達可能ですか                 
  ------------------------------------  ------------------------
  discus1                               はい                      
  discus2                               はい                      
結果: ノード"discus1"からのノード到達可能性チェックに合格しました。


ユーザー等価をチェック中...

チェック: ユーザー"oracle"のユーザー等価
  ノード名                                  コメント                    
  ------------------------------------  ------------------------
  discus2                               合格                      
  discus1                               合格                      
結果: ユーザー"oracle"のユーザー等価チェックに合格しました。

ノード接続性をチェック中...


ノード"discus2"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.4     192.168.1.0     0.0.0.0         192.168.1.1     00:08:74:B1:C4:4C 1500  
 eth1   192.168.2.4     192.168.2.0     0.0.0.0         192.168.1.1     00:01:8E:B3:6E:BA 1500  


ノード"discus1"のインタフェース情報
 名前     IPアドレス          サブネット           ゲートウェイ          デフォルト・ゲートウェイ    HWアドレス            MTU   
 ------ --------------- --------------- --------------- --------------- ----------------- ------
 eth0   192.168.1.3     192.168.1.0     0.0.0.0         192.168.1.1     00:08:74:B1:C4:50 1500  
 eth1   192.168.2.3     192.168.2.0     0.0.0.0         192.168.1.1     00:01:8E:B3:76:A3 1500  


チェック: サブネット"192.168.1.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus2:eth0                    discus1:eth0                    はい              
結果: ノードdiscus2,discus1を持つサブネット"192.168.1.0"のノード接続性チェックに合格しました。

チェック: サブネット"192.168.2.0"のノード接続性
  ソース                             宛先                              接続しましたか         
  ------------------------------  ------------------------------  ----------------
  discus2:eth1                    discus1:eth1                    はい              
結果: ノードdiscus2,discus1を持つサブネット"192.168.2.0"のノード接続性チェックに合格しました。

インタフェースがVIPの候補となるサブネット"192.168.1.0"で見つかりました:
discus2 eth0:192.168.1.4
discus1 eth0:192.168.1.3

インタフェースがプライベート・インタコネクトの候補となるサブネット"192.168.2.0"で見つかりました:
discus2 eth1:192.168.2.4
discus1 eth1:192.168.2.3

結果: ノード接続性チェックに合格しました。


共有記憶域アクセス可能性をチェック中...

  Disk                                  共有ノード(数量: 2)            
  ------------------------------------  ------------------------
  /dev/sdc                              discus2                 
  /dev/sda                              discus1                 

  Disk                                  共有ノード(数量: 2)            
  ------------------------------------  ------------------------
  /dev/sdb                              discus2 discus1         

  Disk                                  共有ノード(数量: 2)            
  ------------------------------------  ------------------------
  /dev/sda                              discus2                 
  /dev/sdd                              discus1                 

  Disk                                  共有ノード(数量: 2)            
  ------------------------------------  ------------------------
  /dev/sdd                              discus2                 
  /dev/sdc                              discus1                 

  Disk                                  共有ノード(数量: 2)            
  ------------------------------------  ------------------------
  /dev/sde                              discus2 discus1         


共有記憶域チェックはノード"discus2,discus1"で成功しました。

ハードウェアとオペレーティング・システム設定の事後チェックは成功しました。 
[oracle@discus1 clusterware]$

ということでメモリ５１２ＭＢ以外は問題なし。想定通りなのでそのまま続行。

次回へつづく<

投稿日時 2008年10月15日 (水) 16時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#15

今回はOracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１２．Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

以下のRHEL5 x86用パッケージをインストールする。
oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm
oracleasm-support-2.0.4-1.el5.i386.rpm
oracleasmlib-2.0.3-1.el5.i386.rpm

インストールガイド：
http://oss.oracle.com/projects/oracleasm/dist/documentation/asm-install.txt

OCFS2の場合と同様に関連するパッケージを一旦MacOSXへダウンロード後、scpにてRAC全ノードへ配布してインストールする。

G5Server:˜ discus$ scp /Users/discus/Desktop/oracleasm-support-2.0.4-1.el5.i386.rpm oracle@discus1:/tmp
oracle@discus1's password: 
oracleasm-support-2.0.4-1.el5.i386.rpm                                      100%   22KB  22.4KB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/oracleasm-support-2.0.4-1.el5.i386.rpm oracle@discus2:/tmp
oracle@discus2's password: 
oracleasm-support-2.0.4-1.el5.i386.rpm                                      100%   22KB  22.4KB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/oracleasmlib-2.0.3-1.el5.i386.rpm oracle@discus1:/tmp
oracle@discus1's password: 
oracleasmlib-2.0.3-1.el5.i386.rpm                                           100%   13KB  13.3KB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/oracleasmlib-2.0.3-1.el5.i386.rpm oracle@discus2:/tmp
oracle@discus2's password: 
oracleasmlib-2.0.3-1.el5.i386.rpm                                           100%   13KB  13.3KB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm oracle@discus1:/tmp
oracle@discus1's password: 
oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm                                100%  122KB 122.2KB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm oracle@discus2:/tmp
oracle@discus2's password: 
oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm                                100%  122KB 122.2KB/s   00:00    
G5Server:˜ discus$

配布が完了したらRAC全ノードのrootユーザでインストール及び構成を行う。
(2010/10/13訂正)

[root@discus1 tmp]# ll *.rpm
-rw-r--r-- 1 oracle oinstall  125137 10月  2 00:51 oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm
-rw-r--r-- 1 oracle oinstall   22936 10月  2 00:50 oracleasm-support-2.0.4-1.el5.i386.rpm
-rw-r--r-- 1 oracle oinstall   13658 10月  2 00:51 oracleasmlib-2.0.3-1.el5.i386.rpm
[root@discus1 tmp]# rpm -qa | grep oracleasm | sort
[root@discus1 tmp]# rpm -Uvh oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm oracleasm-support-2.0.4-1.el5.i386.rpm oracleasmlib-2.0.3-1.el5.i386.rpm
準備中...                 ########################################### [100%]
1:oracleasm-support      ########################################### [ 33%]
2:oracleasm-2.6.18-92.el5########################################### [ 67%]
3:oracleasmlib           ########################################### [100%]
[root@discus1 tmp]# rpm -qa | grep oracleasm | sort
oracleasm-2.6.18-92.el5-2.0.4-1.el5
oracleasm-support-2.0.4-1.el5
oracleasmlib-2.0.3-1.el5
[root@discus1 tmp]# 
[root@discus1 ˜]# /etc/init.d/oracleasm configure
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting  without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: oracle
Default group to own the driver interface []: oinstall
Start Oracle ASM library driver on boot (y/n) [n]: y
Fix permissions of Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration:           [  OK  ]
Creating /dev/oracleasm mount point:                       [  OK  ]
Loading module "oracleasm":                                [  OK  ]
Mounting ASMlib driver filesystem:                         [  OK  ]
Scanning system for ASM disks:                             [  OK  ]
[root@discus1 ˜]#

asmディスク作成する。（iscsiとして作成したデバイスへ作成する）。以下の操作はRACを構成する１ノードのrootユーザで実行する。



[root@discus1 ˜]# /etc/init.d/oracleasm createdisk VOL1 /dev/iscsi/asm1/part1
Marking disk "/dev/iscsi/asm1/part1" as an ASM disk:       [  OK  ]
[root@discus1 ˜]# /etc/init.d/oracleasm createdisk VOL2 /dev/iscsi/asm2/part1
Marking disk "/dev/iscsi/asm2/part1" as an ASM disk:       [  OK  ]
[root@discus1 ˜]# /etc/init.d/oracleasm createdisk VOL3 /dev/iscsi/asm3/part1
Marking disk "/dev/iscsi/asm3/part1" as an ASM disk:       [  OK  ]
[root@discus1 ˜]# /etc/init.d/oracleasm createdisk VOL4 /dev/iscsi/asm4/part1
Marking disk "/dev/iscsi/asm4/part1" as an ASM disk:       [  OK  ]
[root@discus1 ˜]#

asmディスクの確認。以下の操作はRAC全ノードのrootユーザで実施する。

[root@discus1 ˜]# /etc/init.d/oracleasm scandisks
Scanning system for ASM disks:                             [  OK  ]
[root@discus1 ˜]# /etc/init.d/oracleasm listdisks
VOL1
VOL2
VOL3
VOL4
[root@discus1 ˜]#

次回へつづく

投稿日時 2008年10月15日 (水) 08時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月14日 (火)

Mac de Oracle - １０万円未満 de RAC (11g編）#14

今回はOracle Cluster File System (OCFS2)のインストール及び構成　その３

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２、その３

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１１．Oracle Cluster File System (OCFS2)のインストール及び構成　その３

・O2CBの構成
「１０万円 de RAC」と同じH/WなのでO2CBのheartbeatのしきい値は以前と同じで81に設定する。configureだけで全て行えるのでocfs2 1.2.3のときより構成は楽。。(Heartbeat dead threshholdに関してはマニュアルP.18 Heartbeat Dead Threshold参照のこと。)

[root@discus1 ocfs2]# /etc/init.d/o2cb offline ocfs2
Stopping O2CB cluster ocfs2: OK
[root@discus1 ocfs2]#
[root@discus1 ocfs2]# /etc/init.d/o2cb unload
Unmounting ocfs2_dlmfs filesystem: OK
Unloading module "ocfs2_dlmfs": OK
Unmounting configfs filesystem: OK
Unloading module "configfs": OK
[root@discus1 ocfs2]#
[root@discus1 ocfs2]# /etc/init.d/o2cb configure
Configuring the O2CB driver.

This will configure the on-boot properties of the O2CB driver.
The following questions will determine whether the driver is loaded on
boot.  The current values will be shown in brackets ('[]').  Hitting
<ENTER> without typing an answer will keep that current value.  Ctrl-C
will abort.

Load O2CB driver on boot (y/n) [n]: y
Cluster stack backing O2CB [o2cb]: 
Cluster to start on boot (Enter "none" to clear) [ocfs2]: 
Specify heartbeat dead threshold (>=7) [31]: 81
Specify network idle timeout in ms (>=5000) [30000]: 
Specify network keepalive delay in ms (>=1000) [2000]: 3000
Specify network reconnect delay in ms (>=2000) [2000]: 
Writing O2CB configuration: OK
Loading filesystem "configfs": OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading filesystem "ocfs2_dlmfs": OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
Starting O2CB cluster ocfs2: OK

・OCFS2ファイルシステムのフォーマット

[root@discus1 ˜]# mkfs.ocfs2 -b 4K -C 32K -N 4 -L oracrsfiles /dev/iscsi/crs/part1
mkfs.ocfs2 1.4.1
Cluster stack: classic o2cb
Filesystem label=oracrsfiles
Block size=4096 (bits=12)
Cluster size=32768 (bits=15)
Volume size=2145943552 (65489 clusters) (523912 blocks)
3 cluster groups (tail covers 977 clusters, rest cover 32256 clusters)
Journal size=67108864
Initial number of node slots: 4
Creating bitmaps: done
Initializing superblock: done
Writing system files: done
Writing superblock: done
Writing backup superblock: 1 block(s)
Formatting Journals: done
Formatting slot map: done
Writing lost+found: done
mkfs.ocfs2 successful

事前に作成しておいたマウントポイント/u02へOCFS2ファイルシステムをマウントする。また、/etc/fstabも以下のようの編集する。

[root@discus1 ˜]# mount -t ocfs2 -o datavolume,nointr -L "oracrsfiles" /u02
[root@discus1 ˜]# mount
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
/dev/hda1 on /boot type ext3 (rw)
tmpfs on /dev/shm type tmpfs (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
configfs on /sys/kernel/config type configfs (rw)
ocfs2_dlmfs on /dlm type ocfs2_dlmfs (rw)
/dev/sde1 on /u02 type ocfs2 (rw,_netdev,datavolume,nointr,heartbeat=local)
[root@discus1 ˜]# vi /etc/fstab

/dev/VolGroup00/LogVol00 /                       ext3    defaults        1 1
LABEL=/boot             /boot                   ext3    defaults        1 2
tmpfs                   /dev/shm                tmpfs   defaults        0 0
devpts                  /dev/pts                devpts  gid=5,mode=620  0 0
sysfs                   /sys                    sysfs   defaults        0 0
proc                    /proc                   proc    defaults        0 0
/dev/VolGroup00/LogVol01 swap                    swap    defaults        0 0
LABEL=oracrsfiles       /u02                    ocfs2   _netdev,datavolume,nointr       0 0
[root@discus1 ˜]#

最後に/etc/sysctl.confへ以下の２行を追加（詳細はマニュアルのP.19 Kernel Configuration 参照）。
kernel.panic_on_oops = 1
kernel.panic = 30

[root@discus1 ˜]# vi /etc/sysctl.conf
# Kernel sysctl configuration file for Red Hat Linux
#
# For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
# sysctl.conf(5) for more details.

# Controls IP packet forwarding
net.ipv4.ip_forward = 0

# Controls source route verification
net.ipv4.conf.default.rp_filter = 1

# Do not accept source routing
net.ipv4.conf.default.accept_source_route = 0

・・・・中略・・・・
# for Oracle11g
kernel.sem = 250 32000 100 128
fs.file-max = 65536
kernel.shmall = 2097152
kernel.shmmax = 268435456
kernel.shmmni = 4096
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 262144
kernel.panic_on_oops = 1
kernel.panic = 30

ここでRAC全ノードを再起動する。再起動後、mountコマンドで状態を確認する。

[root@discus1 ˜]# mount
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
/dev/hda1 on /boot type ext3 (rw)
tmpfs on /dev/shm type tmpfs (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
configfs on /sys/kernel/config type configfs (rw)
ocfs2_dlmfs on /dlm type ocfs2_dlmfs (rw)
/dev/sde1 on /u02 type ocfs2 (rw,_netdev,datavolume,nointr,heartbeat=local)

OCFS2のバージョン確認方法。以前とかわったようだ。以前は/proc/fs/ocfs2/versionで見る事ができたが1.4.1では以下のようにすると確認できる。

[root@discus1 ˜]# mkfs.ocfs2 -V
mkfs.ocfs2 1.4.1
[root@discus1 ˜]#

これでOCFS2に関する作業はひとまず終了。次回へつづく

投稿日時 2008年10月14日 (火) 23時32分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#13

今回はOracle Cluster File System (OCFS2)のインストール及び構成　その２

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle Cluster File System (OCFS2)のインストール及び構成　その１、その２

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１１．Oracle Cluster File System (OCFS2)のインストール及び構成　その２

・OCFS2の構成

ocfs2consoleというGUIツールが提供されているのでそれを利用する。この操作はRACを構成する全ノードで実施する。（OCFS2の構成もMacOSXのxtermから行う。お約束.w）

2010/10/16訂正
Node Configurationダイアログの画像を訂正。private networkのホスト名として設定したdiscus1-priv/discus2-privではなく、public networkのホスト名として設定したdiscus1/discus2を設定するのが正しい。

OCFS2コンソールで構成後には/etc/ocfs2/cluster.confが作成される。

[root@discus1 ˜]# cat /etc/ocfs2/cluster.conf
node:
        ip_port = 7777
        ip_address = 192.168.2.3
        number = 0
        name = discus1
        cluster = ocfs2

node:
        ip_port = 7777
        ip_address = 192.168.2.4
        number = 1
        name = discus2
        cluster = ocfs2

cluster:
        node_count = 2
        name = ocfs2

[root@discus1 ˜]#

簡単な状況確認及び動作確認。（これをやらなくてもインストール及び構成には支障はありませんが。。。念のため。）
後ほど調整するが、Heatbeat dead threshholdが31（デフォルト）になっていることが確認できる。

[root@discus2 ocfs2]# /etc/init.d/o2cb status
Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster ocfs2: Online
Heartbeat dead threshold = 31
  Network idle timeout: 30000
  Network keepalive delay: 2000
  Network reconnect delay: 2000
Checking O2CB heartbeat: Not active
[root@discus2 ocfs2]#
[root@discus2 ocfs2]# /etc/init.d/o2cb offline ocfs2
Stopping O2CB cluster ocfs2: OK
[root@discus2 ocfs2]#
[root@discus2 ocfs2]# /etc/init.d/o2cb unload
Unmounting ocfs2_dlmfs filesystem: OK
Unloading module "ocfs2_dlmfs": OK
Unmounting configfs filesystem: OK
Unloading module "configfs": OK
[root@discus2 ocfs2]#
[root@discus2 ocfs2]# /etc/init.d/o2cb load
Loading filesystem "configfs": OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading filesystem "ocfs2_dlmfs": OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
[root@discus2 ocfs2]#
[root@discus2 ocfs2]# /etc/init.d/o2cb online ocfs2
Starting O2CB cluster ocfs2: OK
[root@discus2 ocfs2]#
[root@discus2 ocfs2]# /etc/init.d/o2cb status
Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster ocfs2: Online
Heartbeat dead threshold = 31

  Network idle timeout: 30000

  Network keepalive delay: 2000
  Network reconnect delay: 2000
Checking O2CB heartbeat: Not active
[root@discus2 ocfs2]#

その３へつづく。

(2010/10/17追記）
ちなみに、add nodeダイアログで「Name」欄にpublic networkに設定したhost名ではなく、private networkに設定したhost名を設定してしまうと、cluster file system（以下の例では “ocfs2”)をonlineにできずエラーが発生する。 add nodeダイアログでは、public networkに指定したhost名を設定しましょうね。（直感的に分かりにくいので注意しましょ！）

[root@discus1 ˜]# /etc/init.d/o2cb status
Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster ocfs2: Offline

[root@discus1 ˜]# /etc/init.d/o2cb unload
Unmounting ocfs2_dlmfs filesystem: OK
Unloading module "ocfs2_dlmfs": OK
Unmounting configfs filesystem: OK
Unloading module "configfs": OK

[root@discus1 ˜]# /etc/init.d/o2cb load
Loading filesystem "configfs": OK
Mounting configfs filesystem at /sys/kernel/config: OK
Loading filesystem "ocfs2_dlmfs": OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK

[root@discus1 ˜]# /etc/init.d/o2cb online ocfs2
Starting O2CB cluster ocfs2: Failed
Cluster ocfs2 created
Node discus1-priv added
Node discus2-priv added
o2cb_ctl: Configuration error discovered while populating cluster ocfs2. 
          None of its nodes were considered local.  
          A node is considered local when its node name 
          in the configuration matches this machine's host name.

投稿日時 2008年10月14日 (火) 22時30分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#12

今回はOracle Cluster File System (OCFS2)のインストール及び構成　その１

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Cluster File System (OCFS2)のインストール及び構成　その１

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１１．Oracle Cluster File System (OCFS2)のインストール及び構成　その１

・Oracle Cluster File System (OCFS2)と関連ツールのダウンロード

約２年前はRHEL4向けのOCFS2 1.2.3-1を利用したが今回はCentOS5.2なのでRHEL5向け1.4.1-1を利用する。kernelのリリース毎に個別のパッケージが用意されているので対応するものを利用する。

[oracle@discus1 ˜]$ uname -r
2.6.18-92.el5
[oracle@discus1 ˜]$

今回インストールしたCentOS5.2のkernelは2.6.18-92.el5なので以下のパッケージをインストールする。尚、「１０万円 de RAC #20」のようにRAC全ノードからwgetで直接ダウンロードすることも可能なのだが今回は一旦MacOSX側で全てダウンロード後、各RACノードへscpでコピーすることにした。（Macも絡めないとね・・・Mac De Oracleですから。wwww）

http://oss.oracle.com/projects/ocfs2/dist/files/RedHat/RHEL5/i386/1.4.1-1/2.6.18-92.el5/ocfs2-2.6.18-92.el5-1.4.1-1.el5.i686.rpm
http://oss.oracle.com/projects/ocfs2-tools/dist/files/RedHat/RHEL5/i386/1.4.1-1/ocfs2-tools-1.4.1-1.el5.i386.rpm
http://oss.oracle.com/projects/ocfs2-tools/dist/files/RedHat/RHEL5/i386/1.4.1-1/ocfs2console-1.4.1-1.el5.i386.rpm

OCFS2 1.4.1-1のドキュメント（USER'S GUIDE FOR RELEASE 1.4）は以下。
http://oss.oracle.com/projects/ocfs2/dist/documentation/v1.4/ocfs2-1_4-usersguide.pdf

MacでダンロードしたOCFS2関連パッケージをscpでRACの各ノードの/tmpへ配布。（以下はdiscus1の/tmpへscpしている例。）

Welcome to Darwin!
G5Server:˜ discus$
G5Server:˜ discus$ scp /Users/discus/Desktop/ocfs2-2.6.18-92.el5-1.4.1-1.el5.i686.rpm oracle@discus1:/tmp
oracle@discus1's password: 
ocfs2-2.6.18-92.el5-1.4.1-1.el5.i686.rpm                                          100%  303KB 303.0KB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/ocfs2-tools-1.4.1-1.el5.i386.rpm oracle@discus1:/tmp
oracle@discus1's password: 
ocfs2-tools-1.4.1-1.el5.i386.rpm                                                  100% 1396KB   1.4MB/s   00:00    
G5Server:˜ discus$ scp /Users/discus/Desktop/ocfs2console-1.4.1-1.el5.i386.rpm oracle@discus1:/tmp
oracle@discus1's password: 
ocfs2console-1.4.1-1.el5.i386.rpm                                                 100%  306KB 306.5KB/s   00:00    
G5Server:˜ discus$

RACの各ノードでOCFS2関連パーッケージをインストール

G5Server:˜ discus$ ssh root@discus1
root@discus1's password: 
Last login: Mon Oct 1 21:00:10 2008 from 192.168.1.19
[root@discus1 ˜]# 
[root@discus1 ˜]# cd /tmp
[root@discus1 tmp]# ll *.rpm
-rw-r--r-- 1 oracle oinstall  310243 10月  1 22:07 ocfs2-2.6.18-92.el5-1.4.1-1.el5.i686.rpm
-rw-r--r-- 1 oracle oinstall 1429676 10月  1 22:08 ocfs2-tools-1.4.1-1.el5.i386.rpm
-rw-r--r-- 1 oracle oinstall  313824 10月  1 22:10 ocfs2console-1.4.1-1.el5.i386.rpm
[root@discus1 tmp]# rpm -qa | grep ocfs2 | sort
[root@discus1 tmp]# rpm -Uvh ocfs2-tools-1.4.1-1.el5.i386.rpm
準備中...                ########################################### [100%]
   1:ocfs2-tools            ########################################### [100%]
[root@discus1 tmp]# rpm -Uvh ocfs2-2.6.18-92.el5-1.4.1-1.el5.i686.rpm
準備中...                ########################################### [100%]
   1:ocfs2-2.6.18-92.el5    ########################################### [100%]
[root@discus1 tmp]# rpm -Uvh ocfs2console-1.4.1-1.el5.i386.rpm
準備中...                ########################################### [100%]
   1:ocfs2console           ########################################### [100%]
[root@discus1 tmp]# rpm -qa | grep ocfs2 | sort
ocfs2-2.6.18-92.el5-1.4.1-1.el5
ocfs2-tools-1.4.1-1.el5
ocfs2console-1.4.1-1.el5
[root@discus1 tmp]#

ファイヤーウォール及びSELinux設定はCentOS5.2インストール後に行っているので特に行はないが、もう一度確認。
MacOSXのxterm(X11)から行っている。MacOSXのxtermから ssh -Y username@hostname　でX forwardingが有効になる。

ここで各RACノードを再起動。

長いので次回へ続く

投稿日時 2008年10月14日 (火) 16時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月13日 (月)

Mac de Oracle - １０万円未満 de RAC (11g編）#11

今回はOracle RACノード構成ファイルの確認

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Linux (CentOS 5.2)のインストール

Openfiler2.3のインストール

Openfiler2.3によるiSCSIボリュームの構成

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

１０．Oracle RACノード構成ファイルの確認。

ここまでの作業で編集したり作成したRACノードの構成ファイル等の確認。内容の確認だけなのでさらりと・・・楽しい部分ではないのでね・・・w。（RACの全ノードで確認する。）

/etc/sysctl.conf
(2010/10/13訂正)

[root@discus1 ˜]#  cat /etc/sysctl.conf
# Kernel sysctl configuration file for Red Hat Linux
#
# For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
# sysctl.conf(5) for more details.

・・・・中略・・・・

# for Oracle11g
kernel.sem = 250 32000 100 128
fs.file-max = 6553600
fs.aio-max-nr = 1048576
kernel.shmall = 2097152
kernel.shmmax = 268435456
kernel.shmmni = 4096
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
[root@discus1 ˜]#

/etc/security/limits.conf

[root@discus1 ˜]# cat /etc/security/limits.conf | grep oracle
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

/etc/pam.d/login

[root@discus1 ˜]# cat /etc/pam.d/login | grep pam_limits.so
session  required  /lib/security/pam_limits.so
session  required  pam_limits.so

/etc/profile
(2010/10/13訂正)

[root@discus1  ˜]# tail -9 /etc/profile
 if [ $USER = "oracle" ]; then
     if [ $SHELL = "/bin/ksh" ]; then
         ulimit -p 16384
         ulimit -n 65536
    else
         ulimit -u 16384 -n 65536
     fi
     umask 022
 fi
[root@discus1  ˜]#

/etc/hosts

[root@discus1 ˜]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1       localhost.localdomain localhost

# Public Networks - (eth0)
192.168.1.3     discus1.macdeoracle.jp  discus1
192.168.1.4     discus2.macdeoracle.jp  discus2
192.168.1.5     arowana.macdeoracle.jp  arowana

# Private Network - (eth1)
192.168.2.3     discus1-priv.macdeoracle.jp     discus1-priv
192.168.2.4     discus2-priv.macdeoracle.jp     discus2-priv
192.168.2.5     arowana-priv.macdeoracle.jp     arowana-priv

# Public Virtual IP(VIP) address for - (eth0)
192.168.1.100   discus1-vip.macdeoracle.jp      discus1-vip
192.168.1.101   discus2-vip.macdeoracle.jp      discus2-vip
[root@discus1 ˜]#

/etc/modprobe.conf

[root@discus1 ˜]# cat /etc/modprobe.conf | grep hangcheck-timer
options hangcheck-timer hangcheck_tick=1 hangcheck_margin=55 hangcheck_reboot=1
[root@discus1 ˜]#

/etc/rc.local

[root@discus1 ˜]# cat /etc/rc.local | grep hangcheck-timer
/sbin/modprobe hangcheck-timer
[root@discus1 ˜]#

/etc/udev/rules.d/55-openiscsi.rules

[root@discus1 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"

/etc/udev/sripts/iscsidev.sh

[root@discus1 ˜]# cat /etc/udev/scripts/iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}

[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"

/etc/iscsi/initiatorname.iscsi

[root@discus1 ˜]# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.jp.macdeoracle:discus1
[root@discus1 ˜]# ssh root@discus2 cat /etc/iscsi/initiatorname.iscsi
root@discus2's password: 
InitiatorName=iqn.1994-05.jp.macdeoracle:discus2
[root@discus1 ˜]#

iscsid及び、iscsiの自動起動設定の確認

[root@discus1 ˜]# chkconfig --list iscsid
iscsid          0:off   1:off   2:off   3:on    4:on    5:on    6:off
[root@discus1 ˜]# chkconfig --list iscsi
iscsi           0:off   1:off   2:off   3:on    4:on    5:on    6:off
[root@discus1 ˜]#

そして最後はOracleユーザの.bash_profile

[oracle@discus1  ˜]$ cat .bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f  ˜/.bashrc ]; then
        .  ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

alias ls="ls -FA"

export JAVA_HOME=/usr/local/java

# User specific environment and startup programs
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.1.0/db_1
export ORA_CRS_HOME=/u01/app/crs
export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin

# discus1の場合はorcl1 / discus2の場合はorcl2をセット
export ORACLE_SID=orcl1

export PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp

次回へつづく。

投稿日時 2008年10月13日 (月) 18時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#10

今回はOracle RACノード間リモートアクセスの構成

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

９．Oracle RACノード間リモートアクセスの構成。

行う操作はマニュアルに記載している内容に沿っているので詳細は以下マニュアルを参照のこと。
Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux - 2.11 Configuring SSH on All Cluster Nodes

RAC全ノードのoracleユーザで実施する。

[oracle@discus1 ˜]$ mkdir -p ˜/.ssh
[oracle@discus1 ˜]$ chmod 700 ˜/.ssh
[oracle@discus1 ˜]$ /usr/bin/ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
・・・・以下略・・・・

以下の操作はRACを構成する１ノードのoracleユーザで実施すればOK(この例ではdiscus1から）

[oracle@discus1 ˜]$ touch ˜/.ssh/authorized_keys
[oracle@discus1 ˜]$ cd ˜/.ssh
[oracle@discus1 .ssh]$ ls -l *.pub
-rw-r--r-- 1 oracle oinstall 411 10月  1 21:39 id_rsa.pub
[oracle@discus1 .ssh]$ ssh discus1 cat ˜/.ssh/id_rsa.pub >> ~˜.ssh/authorized_keys
The authenticity of host 'discus1 (192.168.1.3)' can't be established.
RSA key fingerprint is 4c:17:88:23:b0:40:3a:b2:cb:93:07:61:63:4d:12:03.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus1,192.168.1.3' (RSA) to the list of known hosts.
oracle@discus1's password: 
[oracle@discus1 .ssh]$ ssh discus2 cat ˜/.ssh/id_rsa.pub >> ˜/.ssh/authorized_keys
The authenticity of host 'discus2 (192.168.1.4)' can't be established.
RSA key fingerprint is 15:d7:fe:b0:dd:7f:42:cc:2d:5e:60:e8:a5:06:5b:d2.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'discus2,192.168.1.4' (RSA) to the list of known hosts.
oracle@discus2's password: 
[oracle@discus1 .ssh]$ scp ˜/.ssh/authorized_keys discus2:.ssh/authorized_keys
oracle@discus2's password: 
authorized_keys                                      100%  822     0.8KB/s   00:00    
[oracle@discus1 .ssh]$

RAC全ノードのoracleユーザで実施する。

[oracle@discus1 .ssh]$ chmod 600 ˜/.ssh/authorized_keys
[oracle@discus1 .ssh]$

以下の操作はRACを構成する１ノードのoracleユーザで実施すればOK(この例ではdiscus1から）
[oracle@discus1 ˜]$ ssh discus1 hostname root@discus1's password: discus1.macdeoracle.jp [oracle@discus1 ˜]$ ssh discus2 hostname root@discus2's password: discus2.macdeoracle.jp [oracle@discus1 ˜]$

sshユーザ等価関係の有効化。以下の操作はRACを構成する１ノードのoracleユーザで実施すればOK(この例ではdiscus1から）
RACのインストールではOUIを実行する前にsshユーザ等価関係の有効化を行っておく必要があるのでお忘れなく。
[oracle@discus1 ˜]$ [oracle@discus1 ˜]$ exec /usr/bin/ssh-agent $SHELL [oracle@discus1 ˜]$ /usr/bin/ssh-add Enter passphrase for /home/oracle/.ssh/id_rsa: Identity added: /home/oracle/.ssh/id_rsa (/home/oracle/.ssh/id_rsa) [oracle@discus1 ˜]$ [oracle@discus1 ˜]$ [oracle@discus1 ˜]$ ssh discus1 hostname discus1.macdeoracle.jp [oracle@discus1 ˜]$ ssh discus2 hostname discus2.macdeoracle.jp [oracle@discus1 ˜]$

次回へつづく。

投稿日時 2008年10月13日 (月) 13時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#9

今回はhangcheck-timerカーネル・モジュールの構成

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Linux (CentOS 5.2)のインストール

Openfiler2.3のインストール

Openfiler2.3によるiSCSIボリュームの構成

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle所有者と関連ディレクトリの作成及び環境変数の設定

hangcheck-timerカーネル・モジュールの構成

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

８．hangcheck-timerカーネル・モジュールの構成。

注）
現時点(2008年10月時点）で公開されているUS OTN：Oracle11gのRAC構築記事ではhangcheck-timerに関する設定は見当たらないのだが、どうもマニュアルバグがあり初期のマニュアルにはhangcheck-timerの構成は不要とされていたことが影響しているのかもしれない。（あくまで想像）
「１０万円未満 de RAC (11g編）」では訂正された手順に従い構成することにする。

訂正されたマニュアルは以下。

Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux
　- 7.1.2.2 Configuring the Hangcheck-timer Module　日本語、English
Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux
　- OPROCD and Hangcheck Timer Provide Fencing for Cluster Nodes : 日本語、English

hangcheck-margin以外はマニュアルに記載されている内容と同じ値に設定した。少々非力なPCを利用しているので長目の設定。（CSS misscountはデフォルト値(60sec)を利用するのでhangcheck_tick+hangcheck_margin < CSS misscountとなるように設定した。）
この操作はRAC全ノードのrootユーザで実施する。

[root@discus1 ˜]# find /lib/modules -name "hangcheck-timer.ko"
/lib/modules/2.6.18-92.el5/kernel/drivers/char/hangcheck-timer.ko
[root@discus1 ˜]# echo "options hangcheck-timer hangcheck_tick=1 hangcheck_margin=55 hangcheck_reboot=1" >> /etc/modprobe.conf
[root@discus1 ˜]# cat /etc/modprobe.conf
alias eth0 e1000
alias eth1 r8169
alias scsi_hostadapter ata_piix
alias snd-card-0 snd-intel8x0
options snd-card-0 index=0
options snd-intel8x0 index=0
remove snd-intel8x0 { /usr/sbin/alsactl store 0 >/dev/null 2>&1 || : ; }; /sbin/modprobe -r --ignore-remove snd-intel8x0
options hangcheck-timer hangcheck_tick=1 hangcheck_margin=55 hangcheck_reboot=1
[root@discus1˜~]# 
[root@discus1 ˜]# echo "/sbin/modprobe hangcheck-timer" >> /etc/rc.local
[root@discus1 ˜]# cat /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local
/sbin/modprobe hangcheck-timer
[root@discus1 ˜]#

次回へつづく

投稿日時 2008年10月13日 (月) 08時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月12日 (日)

Mac de Oracle - １０万円未満 de RAC (11g編）#8

今回はOracle向けLinuxサーバーの構成（カーネルパラメータの設定）

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle Database Quick Installation Guide 11g Release 1 (11.1) for Linux x86 - 6 Configuring Kernel Parameters / Settting Shell limits for the oracle user

Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）

hangcheck-timerカーネル・モジュールの構成

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

７．Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）。

リブートするのが面倒なのでOSのリブートなしで変更したカーネルパラメータ値を反映させたついでに/etc/sysctl.confへも追加。
(2010/10/13訂正。）

[root@discus1 ˜]# sysctl -w fs.file-max=65536 >> /etc/sysctl.conf; tail -1 /etc/sysctl.conf;
fs.file-max = 65536

・・・・中略・・・・

[root@discus1 ˜]# sysctl -w net.core.wmem_max = 1048576 >> /etc/sysctl.conf; tail -1 /etc/sysctl.conf;
net.core.wmem_max = 1048576
[root@discus1 ˜]#

として、今回は以下のように設定。
物理メモリが少な過ぎる（５１２ＭＢなので）ので・・・キツいかな・・・今回は・・DynaBookの時でさえ７６８ＭＢだったからな・・）
(2010/10/13訂正。）

[root@discus1 ˜]# 
[root@discus1 ˜]# cat /etc/sysctl.conf
# Kernel sysctl configuration file for Red Hat Linux
#
# For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
# sysctl.conf(5) for more details.

# Controls IP packet forwarding
net.ipv4.ip_forward = 0

# Controls source route verification
net.ipv4.conf.default.rp_filter = 1

# Do not accept source routing
net.ipv4.conf.default.accept_source_route = 0

# Controls the System Request debugging functionality of the kernel
kernel.sysrq = 0

# Controls whether core dumps will append the PID to the core filename
# Useful for debugging multi-threaded applications
kernel.core_uses_pid = 1

# Controls the use of TCP syncookies
net.ipv4.tcp_syncookies = 1

# Controls the maximum size of a message, in bytes
kernel.msgmnb = 65536

# Controls the default maxmimum size of a mesage queue
kernel.msgmax = 65536

# Controls the maximum shared segment size, in bytes
#kernel.shmmax = 4294967295

# Controls the maximum number of shared memory segments, in pages
#kernel.shmall = 268435456

# for Oracle11g
kernel.sem = 250 32000 100 128
fs.file-max = 65536
fs.aio-max-nr = 1048576
kernel.shmall = 2097152
kernel.shmmax = 268435456
kernel.shmmni = 4096
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
[root@discus1 ˜]#

・Oracleユーザのshell limitの設定
(2010/10/13訂正。バックスラッシュを削除）

[root@discus1 ˜]# cat >> /etc/security/limits.conf <<EOF
> oracle soft nproc 2047
> oracle hard nproc 16384
> oracle soft nofile 1024
> oracle hard nofile 65536
> EOF
[root@discus1 ˜]#
[root@discus1 ˜]# cat >> /etc/pam.d/login  <<EOF
> # added for oracle shell limits
> session  required  /lib/security/pam_limits.so
> session  required  pam_limits.so
> EOF
[root@discus1 ˜]#
[root@discus1 ˜]# cat >> /etc/profile  <<EOF
> if [ $USER = "oracle" ]; then
>     if [ $SHELL = "/bin/ksh" ]; then
>         ulimit -p 16384
>         ulimit -n 65536
>     else
>         ulimit -u 16384 -n 65536
>     fi
>     umask 022
> fi
> EOF
[root@discus1 ˜]#

discus1からOracleのインストールを行うので他のノード時刻をduscus1より少々進めておく。今回はdiscus2を約４０秒進めてある。（NTPによる時刻調整はRACインストール後に行えばよいので。）

[root@discus1 ˜]# date
2008年 10月  1日 水曜日 21:23:47 JST
[root@discus1 ˜]# 

[root@discus2 ˜]# date
2008年 10月  1日 水曜日 21:24:28 JST
[root@discus2 ˜]#

次回へつづく。

投稿日時 2008年10月12日 (日) 13時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月11日 (土)

Mac de Oracle - １０万円未満 de RAC (11g編）#7

今回はOracle所有者と関連ディレクトリの作成及び環境変数の設定

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle所有者と関連ディレクトリの作成及び環境変数の設定

Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）

hangcheck-timerカーネル・モジュールの構成

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

６．Oracle所有者と関連ディレクトリの作成及び環境変数の設定。

この作業はインストレーションガイドに記載されているお約束の作業なので詳細はOracle Database Installation Guide 11g Release 1 (11.1) for Linux - 2 Oracle Database Preinstallation Requirements / Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux - 2 Oracle Clusterware Preinstallation Tasks / Oracle Clusterware Installation Guide 11g Release 1 (11.1) for Linux - 3 Oracle Real Application Clusters Preinstallation Tasksなどを参照のこと。

・Oracle用ユーザとグループの作成（RACの全ノードのrootユーザで実施）

[root@discus1 ˜]# groupadd -g 601 oinstall
[root@discus1 ˜]# groupadd -g 602 dba
[root@discus1 ˜]# groupadd -g 603 oper
[root@discus1 ˜]# groupadd -g 604 asm
[root@discus1 ˜]# groupadd -g 605 asmdba
[root@discus1 ˜]# 
[root@discus1 ˜]# useradd -m -u 601 -g oinstall -G dba,oper,asm -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle
[root@discus1 ˜]# id oracle
uid=601(oracle) gid=601(oinstall) 所属グループ=601(oinstall),602(dba),603(oper),604(asm) context=root:system_r:unconfined_t:SystemLow-SystemHigh
[root@discus1 ˜]# 
[root@discus1 ˜]# id nobody
uid=99(nobody) gid=99(nobody) 所属グループ=99(nobody) context=root:system_r:unconfined_t:SystemLow-SystemHigh
[root@discus1 ˜]#

・Oracle Base向けディレクトリの作成（RACの全ノードのrootユーザで実施）

[root@discus1 ˜]# mkdir -p /u01/app/oracle
[root@discus1 ˜]# chown -R oracle:oinstall /u01/app
[root@discus1 ˜]# chmod -R 755 /u01/app
[root@discus1 ˜]#

・Oracle Clusterware向けホームディレクトリの作成（RACの全ノードのrootユーザで実施）

[root@discus1 ˜]# mkdir -p /u01/app/crs
[root@discus1 ˜]# chown -R oracle:oinstall /u01/app/crs
[root@discus1 ˜]# chmod -R 755 /u01/app/crs
[root@discus1 ˜]#

・Oracle Cluster File System 2 (OCSF2)のマウントポイントの作成（RACの全ノードのrootユーザで実施）

[root@discus1 ˜]# mkdir -p /u02
[root@discus1 ˜]# chown -R oracle:oinstall /u02
[root@discus1 ˜]# chmod -R 755 /u02
[root@discus1 ˜]#

尚、iSCSI共有ストレージの構成は以下のようにする。

共有ストレージの構成

ファイルシステム iSCSIターゲット名サイズ(GB) マウントポイント ASMディスクグループ名ファイルタイプ

OCFS2

crs

2
/u02/oradata/orcl
-
Oracle Cluster Registry - (100 MB)
Voting Disk - (20MB)

ASM

asm1

21.5
ORCL:VOL1 +ORCL_DISK_GRP1 Oracleデータベースファイル

ASM

asm2

21.5
ORCL:VOL2 +ORCL_DISK_GRP1 Oracleデータベースファイル

ASM

asm3

21.5
ORCL:VOL3 +FLASH_RECOVERY_AREA Flash recovery area

ASM

asm4

21.5
ORCL:VOL4 +FLASH_RECOVERY_AREA Flash recovery area

合計

-

88

-

-

-

・Oracleユーザのログインスクリプトの作成（RACの全ノードのoracleユーザで実施）

環境変数全般についてはOracle Database Administrator's Reference 11g Release 1 (11.1) for Linux and UNIX-Based Operating Systems - 1.2 Environment Variablesを参照のこと。

以下、viを利用する前後で環境変数LANGをja_JP.UTF-8からus_US.UTF-8そしてまたja_JP.UTF-8へ変更しているが、MacOSX10.4.11のTerminalからssh接続しているのだが、LANG=ja_JP.UTF-8のままだとviで編集する際、行のポジションがずれるなど問題が生じることからviを利用する前後でLANGの設定を変更している。MacOSX10.4.11のTerminalからssh接続しないのであれば特に行う必要はない。

[oracle@discus1 ˜]$ export LANG=us_US.UTF-8
[oracle@discus1 ˜]$ vi .bash_profile
[oracle@discus1 ˜]$ cat .bach_profile
# .bash_profile

# Get the aliases and functions
if [ -f ˜/.bashrc ]; then
        . ˜/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

alias ls="ls -FA"

export JAVA_HOME=/usr/local/java

# User specific environment and startup programs
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.1.0/db_1
export ORA_CRS_HOME=/u01/app/crs
export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin

# discus1の場合はorcl1 / discus2の場合はorcl2をセット
export ORACLE_SID=orcl1

export PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
[oracle@discus1 ˜]$ export LANG=ja_JP.UTF-8
[oracle@discus1 ˜]$

次回へつづく

投稿日時 2008年10月11日 (土) 18時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#6

今回はOracle RACノード側でiSCSIボリュームの構成の後半。

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１、その２

Oracle所有者と関連ディレクトリの作成及び環境変数の設定

Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）

hangcheck-timerカーネル・モジュールの構成

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

５．Oracle RACノードでのiSCSIボリュームの構成のつづき。

udevに関連しない操作／確認は「１０万円でRAC」の場合と同じなのでそちらも参照のこと。

・fdiskでSCSIデバイスにパーティション作成

/dev/iscsi/asm1/part、/dev/iscsi/asm2/part、/dev/iscsi/asm3/part、/dev/iscsi/asm4/part、/dev/iscsi/crs/partに対して１パーティションを作成し利用可能な全シリンダを割り当てる。
尚、この操作はRACを構成するノードの１ノードでrootユーザとして実施する。

[root@discus1 ˜]# fdisk /dev/iscsi/asm1/part
デバイスは正常な DOS 領域テーブルも、Sun, SGI や OSF ディスクラベルも
含んでいません
新たに DOS ディスクラベルを作成します。あなたが書き込みを決定するまで、変更は
メモリ内だけに残します。その後はもちろん以前の内容は修復不可能になります。

このディスクのシリンダ数は 22016 に設定されています。
間違いではないのですが、1024 を超えているため、以下の場合
に問題を生じうる事を確認しましょう:
1) ブート時に実行するソフトウェア (例. バージョンが古い LILO)
2) 別の OS のブートやパーティション作成ソフト
   (例. DOS FDISK, OS/2 FDISK)
警告: 領域テーブル 4 の不正なフラグ 0x0000 は w(書き込み)によって
正常になります

コマンド (m でヘルプ): n
コマンドアクション
   e   拡張
   p   基本領域 (1-4)
p
領域番号 (1-4): 1
最初 シリンダ (1-22016, default 1): 1
終点 シリンダ または +サイズ または +サイズM または +サイズK (1-22016, default 22016): 22016

コマンド (m でヘルプ): w
領域テーブルは交換されました！

ioctl() を呼び出して領域テーブルを再読込みします。
ディスクを同期させます。
[root@discus1 ˜]# 

/dev/iscsi/asm2/part、/dev/iscsi/asm3/part、/dev/iscsi/asm3/partにも同様の操作を繰り返す。
・・・・中略・・・・

[root@discus1 ˜]# 
[root@discus1 ˜]# fdisk /dev/iscsi/crs/part
デバイスは正常な DOS 領域テーブルも、Sun, SGI や OSF ディスクラベルも
含んでいません
新たに DOS ディスクラベルを作成します。あなたが書き込みを決定するまで、変更は
メモリ内だけに残します。その後はもちろん以前の内容は修復不可能になります。
警告: 領域テーブル 4 の不正なフラグ 0x0000 は w(書き込み)によって
正常になります

コマンド (m でヘルプ): n
コマンドアクション
   e   拡張
   p   基本領域 (1-4)
p
領域番号 (1-4): 1
最初 シリンダ (1-1009, default 1): 1
終点 シリンダ または +サイズ または +サイズM または +サイズK (1-1009, default 1009): 1009

コマンド (m でヘルプ): w
領域テーブルは交換されました！

ioctl() を呼び出して領域テーブルを再読込みします。
ディスクを同期させます。
[root@discus1 ˜]#

・確認

パーティションの作成が済んだらRACの全ノードでrootユーザとしてパーティションが認識されているか確認する。以下はdiscus1から実施したもの

[root@discus1 ˜]#
[root@discus1 ˜]# partprobe
[root@discus1 ˜]#
[root@discus1 ˜]# fdisk -l

Disk /dev/hda: 20.0 GB, 20020396032 bytes
255 heads, 63 sectors/track, 2434 cylinders
Units = シリンダ数 of 16065 * 512 = 8225280 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/hda1   *           1          13      104391   83  Linux
/dev/hda2              14        2434    19446682+  8e  Linux LVM

Disk /dev/sda: 23.0 GB, 23085449216 bytes
64 heads, 32 sectors/track, 22016 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sda1               1       22016    22544368   83  Linux

Disk /dev/sdb: 23.0 GB, 23085449216 bytes
64 heads, 32 sectors/track, 22016 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdb1               1       22016    22544368   83  Linux

Disk /dev/sdc: 23.0 GB, 23085449216 bytes
64 heads, 32 sectors/track, 22016 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdc1               1       22016    22544368   83  Linux

Disk /dev/sdd: 23.0 GB, 23085449216 bytes
64 heads, 32 sectors/track, 22016 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       22016    22544368   83  Linux

Disk /dev/sde: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = シリンダ数 of 4154 * 512 = 2126848 bytes

デバイス Boot      Start         End      Blocks   Id  System
/dev/sde1               1        1009     2095662   83  Linux
[root@discus1 ˜]#
[root@discus1 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm1 -> ../../sdb
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm1-part1 -> ../../sdb1
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm2 -> ../../sdd
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm2-part1 -> ../../sdd1
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm3 -> ../../sdc
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm3-part1 -> ../../sdc1
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm4 -> ../../sda
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm4-part1 -> ../../sda1
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.crs -> ../../sde
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.crs-part1 -> ../../sde1
[root@discus1 ˜]#

udevが作成したパーティションに対して新たなデバイス名をruleに従い作成してくれている。(^^..

[root@discus1 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm1/part -> ../../sdd
lrwxrwxrwx 1 root root 10  9月 30 18:01 /dev/iscsi/asm1/part1 -> ../../sdd1
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm2/part -> ../../sde
lrwxrwxrwx 1 root root 10  9月 30 18:01 /dev/iscsi/asm2/part1 -> ../../sde1
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm3/part -> ../../sdb
lrwxrwxrwx 1 root root 10  9月 30 18:01 /dev/iscsi/asm3/part1 -> ../../sdb1
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm4/part -> ../../sda
lrwxrwxrwx 1 root root 10  9月 30 18:01 /dev/iscsi/asm4/part1 -> ../../sda1
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/crs/part -> ../../sdc
lrwxrwxrwx 1 root root 10  9月 30 18:01 /dev/iscsi/crs/part1 -> ../../sdc1
[root@discus1 ˜]#

特に問題もなく作成できたようだ。

次回へつづく

投稿日時 2008年10月11日 (土) 10時28分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

Mac de Oracle - １０万円未満 de RAC (11g編）#5

つづきです。今回はOracle RACノード側でiSCSIボリュームの構成を行う。

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Oracle RACノードでのiSCSIボリュームの構成　その１

Oracle所有者と関連ディレクトリの作成及び環境変数の設定

Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）

hangcheck-timerカーネル・モジュールの構成

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

５．Oracle RACノードでのiSCSIボリュームの構成 尚、iscsi-targetがOpenfiler2.3でもiscsi-initiator側の設定手順には違いはないのでUS OTNのBuild Your Own Oracle RAC Clusters on Oracle Enterprise Linux and iSCSI - 11.COnfigure iSCSI Volumes on Oracle Rac Nodesも参照のこと。注）iscsi-initiatorの構成はOracle RACの全ノードで行うがパーティションの作成は１ノードだけで行う。 ・iscsi-initiator-utilsのインストール

rpmでやるのもいいが今回はyumを使ってiscsi-initiator-utilsパッケージをインストールする。Oracle RACの全ノードのrootユーザで実行する。（以下のdiscus1で実施したログ。）

(20101013訂正というか追記)
以下の例ではiscsidを自動起動にしていますが、CentOS5.5ではiscsiを自動起動にすればiscsi起動・停止時にiscsidの起動・停止も行っているのでCentOS5.5ではiscsidの自動起動は不要。CentOS5.4以前はどうか未確認なので、/etc/rc.d/init.d/iscsiを確認するか、service iscsi start/stopでiSCSI deamonが起動・停止されるか確認するよいかと。

[root@discus1 ˜]# yum list iscsi-initiator-utils
Available Packages
iscsi-initiator-utils.i386               6.2.0.868-0.7.el5      base            
[root@discus1 ˜]# yum -y install iscsi-initiator-utils
Setting up Install Process
Parsing package install arguments
Resolving Dependencies
--> Running transaction check
---> Package iscsi-initiator-utils.i386 0:6.2.0.868-0.7.el5 set to be updated
--> Finished Dependency Resolution

Dependencies Resolved

=============================================================================
 Package                 Arch       Version          Repository        Size 
=============================================================================
Installing:
 iscsi-initiator-utils   i386       6.2.0.868-0.7.el5  base              550 k

Transaction Summary
=============================================================================
Install      1 Package(s)         
Update       0 Package(s)         
Remove       0 Package(s)         

Total download size: 550 k
Downloading Packages:
(1/1): iscsi-initiator-ut 100% |=========================| 550 kB    00:00     
Running rpm_check_debug
Running Transaction Test
Finished Transaction Test
Transaction Test Succeeded
Running Transaction
  Installing: iscsi-initiator-utils        ######################### [1/1] 

Installed: iscsi-initiator-utils.i386 0:6.2.0.868-0.7.el5
Complete!
[root@discus1 ˜]# service iscsid start
Turning off network shutdown. Starting iSCSI daemon: [  OK  ]
                                                     [  OK  ]

[root@discus1 ˜]# chkconfig iscsid on
[root@discus1 ˜]# chkconfig iscsi on

/etc/iscsi/initiatorname.iscsiの設定。
分かり易いIQNにしておいたほうがいいですよ。RACを構成する全ノードで実施

[root@discus1 ˜]# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.jp.macdeoracle:discus1
[root@discus1 ˜]# 

[root@discus2 ˜]# cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.1994-05.jp.macdeoracle:discus2
[root@discus2 ˜]#

・iscsi-targetの検出

以下のコマンドでiscsi-targetの検出しそのIQNのリストしてくれる。-p にはiscsi-targetのip addressを指定する。以下の例はdiscus1からarowana-privに存在するiscsi-targetを検出した例。尚、この操作はRACの全ノードのrootユーザで実施する。

[root@discus1 ˜]# iscsiadm -m discovery -t sendtargets -p 192.168.2.5
192.168.2.5:3260,1 iqn.2006-01.com.openfiler:tsn.asm1
192.168.2.5:3260,1 iqn.2006-01.com.openfiler:tsn.asm2
192.168.2.5:3260,1 iqn.2006-01.com.openfiler:tsn.asm3
192.168.2.5:3260,1 iqn.2006-01.com.openfiler:tsn.asm4
192.168.2.5:3260,1 iqn.2006-01.com.openfiler:tsn.crs

・iscsi-targetへの手動接続

iscsi-target側では認証設定はしていないので以下のコマンドで手動ログインする。
-Tで接続するiscsi-targetのIQNを指定する。-pはiscsi-targetが起動しているホストのhostname又はip addressを指定する。詳細はこの操作はRACの全ノードのrootユーザで実施する。

[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm1 -p 192.168.2.5 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm1, portal: 192.168.2.5,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm1, portal: 192.168.2.5,3260]: successful
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm2 -p 192.168.2.5 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm2, portal: 192.168.2.5,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm2, portal: 192.168.2.5,3260]: successful
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm3 -p 192.168.2.5 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm3, portal: 192.168.2.5,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm3, portal: 192.168.2.5,3260]: successful
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm4 -p 192.168.2.5 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm4, portal: 192.168.2.5,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm4, portal: 192.168.2.5,3260]: successful
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.crs -p 192.168.2.5 -l
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.crs, portal: 192.168.2.5,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.crs, portal: 192.168.2.5,3260]: successful
[root@discus1 ˜]#

・iscsi-targetへの自動ログインの構成

iscsiadmコマンドでiscsi-targetへの自動ログインができるようにしておく。この操作はRACの全ノードのrootユーザで実施する。

[root@discus1 ˜]# 
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm1 -p 192.168.2.5 --op update -n node.startup -v automatic
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm2 -p 192.168.2.5 --op update -n node.startup -v automatic
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm3 -p 192.168.2.5 --op update -n node.startup -v automatic
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.asm4 -p 192.168.2.5 --op update -n node.startup -v automatic
[root@discus1 ˜]# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.crs -p 192.168.2.5 --op update -n node.startup -v automatic
[root@discus1 ˜]#

・ローカルデバイス名の作成

iSCSIでは再起動する度にiscsi-targetにマッピングされるSCSIデバイス名が変ってしまうことがある。（少々面倒）。
ということでudevを利用してデバイス名を固定しておきましょう。そのほうが使い易いですから。
たとえば、ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm1が /dev/sdaにマッピングされているが再起動すると/dev/sdbにマッピングされたりすることがある。

[root@discus1 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm1 -> ../../sda
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm2 -> ../../sdb
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm3 -> ../../sdc
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm4 -> ../../sdd
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.crs -> ../../sde
[root@discus1 ˜]#

udevについては以下のドキュメントが参考になるのではないだろうか。
Udev on Fedora（英語) - http://docs.fedoraproject.org/udev/
Writing udev rules（英語） - http://www.reactivated.net/writing_udev_rules.html 日本語訳も見つけたのでメモ代わりに・・（翻訳してくださっている方々に感謝！）
Udev on Fedora（日本語訳） - http://mux03.panda64.net/docs/udev_on_fedora_ja.html
Writing udev rules（日本語訳） - http://www.gentoo.gr.jp/transdocs/udevrules/udevrules.html

udevを利用して固定的なデバイス名をiscsi-targetに割り当てる。内容は元ネタと同じです。（以下の操作はRACの全ノードのrootユーザで実施する。

[root@discus1 ˜]# cat /etc/udev/rules.d/55-openiscsi.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM="/etc/udev/scripts/iscsidev.sh %b",SYMLINK+="iscsi/%c/part%n"
[root@discus1 ˜]# 
[root@discus1 ˜]# cd /etc/udev/scripts
[root@discus1 scripts]# ls -l iscsidev.sh
-rwxr-xr-x 1 root root 334  9月 30 17:50 iscsidev.sh
[root@discus1 scripts]# cat iscsidev.sh
#!/bin/sh

# FILE: /etc/udev/scripts/iscsidev.sh

BUS=${1}
HOST=${BUS%%:*}

[ -e /sys/class/iscsi_host ] || exit 1

file="/sys/class/iscsi_host/host${HOST}/device/session*/iscsi_session*/targetname"

target_name=$(cat ${file})

# This is not an open-scsi drive
if [ -z "${target_name}" ]; then
   exit 1
fi

echo "${target_name##*.}"
[root@discus1 scripts]# 
[root@discus1 scripts]# chmod 755 iscsidev.sh
[root@discus1 scripts]# cd
[root@discus1 ˜]# service iscsi stop
Logging out of session [sid: 1, target: iqn.2006-01.com.openfiler:tsn.asm1, portal: 192.168.2.5,3260]
Logging out of session [sid: 2, target: iqn.2006-01.com.openfiler:tsn.asm2, portal: 192.168.2.5,3260]
Logging out of session [sid: 3, target: iqn.2006-01.com.openfiler:tsn.asm3, portal: 192.168.2.5,3260]
Logging out of session [sid: 4, target: iqn.2006-01.com.openfiler:tsn.asm4, portal: 192.168.2.5,3260]
Logging out of session [sid: 5, target: iqn.2006-01.com.openfiler:tsn.crs, portal: 192.168.2.5,3260]
Logout of [sid: 1, target: iqn.2006-01.com.openfiler:tsn.asm1, portal: 192.168.2.5,3260]: successful
Logout of [sid: 2, target: iqn.2006-01.com.openfiler:tsn.asm2, portal: 192.168.2.5,3260]: successful
Logout of [sid: 3, target: iqn.2006-01.com.openfiler:tsn.asm3, portal: 192.168.2.5,3260]: successful
Logout of [sid: 4, target: iqn.2006-01.com.openfiler:tsn.asm4, portal: 192.168.2.5,3260]: successful
Logout of [sid: 5, target: iqn.2006-01.com.openfiler:tsn.crs, portal: 192.168.2.5,3260]: successful
Stopping iSCSI daemon: /etc/init.d/iscsi: line 33:  8989 強制終了            /etc/init.d/iscsid stop
[root@discus1 ˜]#                                          [  OK  ]
[root@discus1 ˜]# 
[root@discus1 ˜]# service iscsi start
iscsid が停止していますが PID ファイルが残っています
Turning off network shutdown. Starting iSCSI daemon:       [  OK  ]
                                                           [  OK  ]
iSCSI ターゲットを設定中: Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm4, portal: 192.168.2.5,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm1, portal: 192.168.2.5,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm3, portal: 192.168.2.5,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm2, portal: 192.168.2.5,3260]
Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.crs, portal: 192.168.2.5,3260]
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm4, portal: 192.168.2.5,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm1, portal: 192.168.2.5,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm3, portal: 192.168.2.5,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.asm2, portal: 192.168.2.5,3260]: successful
Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.crs, portal: 192.168.2.5,3260]: successful
                                                           [  OK  ]
[root@discus1 ˜]# 
[root@discus1 ˜]# (cd /dev/disk/by-path; ls -l *openfiler* | awk '{FS=" "; print $9 " " $10 " " $11}')
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm1 -> ../../sda
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm2 -> ../../sdb
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm3 -> ../../sdc
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.asm4 -> ../../sdd
ip-192.168.2.5:3260-iscsi-iqn.2006-01.com.openfiler:tsn.crs -> ../../sde
[root@discus1 ˜]# 
[root@discus1 ˜]# ls -l /dev/iscsi/*/*
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm1/part -> ../../sda
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm2/part -> ../../sdb
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm3/part -> ../../sdc
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/asm4/part -> ../../sdd
lrwxrwxrwx 1 root root  9  9月 30 17:52 /dev/iscsi/crs/part -> ../../sde
[root@discus1 ˜]#

これでiscsi-targetとローカルデバイス名の固定的なマッピングができた。

iscsi-targetとローカルデバイス名の対応

iscsi-target名ローカルデバイス名

iqn.2006-01.com.openfiler:tsn.asm1 /dev/iscsi/asm1/part

iqn.2006-01.com.openfiler:tsn.asm2 /dev/iscsi/asm2/part

iqn.2006-01.com.openfiler:tsn.asm3 /dev/iscsi/asm3/part

iqn.2006-01.com.openfiler:tsn.asm4 /dev/iscsi/asm4/part

iqn.2006-01.com.openfiler:tsn.crs /dev/iscsi/crs/part

chkconigで確認しておく。念のため。（RACの全ノードで）
(20101013訂正というか追記)
以下の例ではiscsidを自動起動にしていますが、CentOS5.5ではiscsiを自動起動にすればiscsi起動・停止時にiscsidの起動・停止も行っているのでCentOS5.5ではiscsidの自動起動は不要。CentOS5.4以前はどうか未確認なので、/etc/rc.d/init.d/iscsiを確認するか、service iscsi start/stopでiSCSI deamonが起動・停止されるか確認するよいかと。

[root@discus1 ˜]# chkconfig --list iscsid
iscsid          0:off   1:off   2:off   3:on    4:on    5:on    6:off
[root@discus1 ˜]# chkconfig --list iscsi
iscsi           0:off   1:off   2:off   3:on    4:on    5:on    6:off
[root@discus1 ˜]#

上記操作後openfiler storage control centerのiscsi-target-status画面では以下のようなに接続状況を確認できるようになる。

次回へつづく子供寝かしつけようと一緒に横に寝ていると、私が先に寝ちゃうんだなこれが・・・、予定していたことは早起きしてやるようになったりして。。w

投稿日時 2008年10月11日 (土) 05時49分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月 9日 (木)

Mac de Oracle - １０万円未満 de RAC (11g編）#4

つづきです。今回はOpenfiler2.3によるiSCSIボリュームの構成を行う。

ハードウェア構成と価格（Mac De Oracle - １０万円 de RAC #1とMac De Oracle - １０万円 de RAC #5参照のこと）

Openfiler2.3によるiSCSIボリュームの構成

Oracle RACノードでのiSCSIボリュームの構成

Oracle所有者と関連ディレクトリの作成及び環境変数の設定

Oracle向けLinuxサーバーの構成（カーネルパラメータの設定）

hangcheck-timerカーネル・モジュールの構成

Oracle RACノード間リモートアクセスの構成

Oracle RACノード構成ファイルの確認

Oracle Cluster File System (OCFS2)のインストール及び構成

Oracle Automatic Storage Management(ASMLib 2.0)のインストール及び構成

Oracle11g R1 インストール事前作業

Oracle11g R1 Clusterwareのインストール

Oracle11g R1 Database softwareのインストール

Oracle11g R1 examplesのインストール

TNS Listenerの構成

Oracle Cluster databaseの作成

Oracle Net Serviceの確認

Oralce RAC ClusterとDatabase構成の確認

Clusterの開始と停止の確認

Oracle Clusterwareプロセス・モニター・デーモンの構成

簡単なTransparent Application Failover (TAF)の確認

MacOSXからの接続確認（Mac De Oracleではお約束！なので）

４．Openfiler2.3によるiSCSIボリュームの構成

考え方はOpenfiler2.1と同じなのだが管理画面のレイアウトが少々変更されている。

https://hostname or ip address:446/

でOpenfiler Storage Control Centerへアクセスする。

・Openfiler Strorage Control Center へのLogin

・管理者パスワードの変更

管理者のアカウントは、openfiler、インストール直後のデフォルトパスワードは。passwordとなっている。(openfiler2.1と同じ。）
ログインするとSystem Overview画面が表示される。

次にAccountsタブをクリック->Accounts SectionペインのAdmin passwordをクリック->Change Administrator Password画面でパスワードを変更する。

・iSCSI target serverの有効化。

ここで一旦ログアウトし新しいパスワードでログインし直してからServicesタブをクリック->Manage Services画面でiSCSI target serverのModification列にあるEnableをクリックしてiSCSI target serverを起動する。

iscsi-targetの状態を確認（rootユーザで）

[root@arowana ˜]# service iscsi-target status
ietd (pid 3354) is running...
[root@arowana ˜]#

・ネットワークアクセスの構成

Systemタブをクリック->System sectionペインのNetwork Setupをクリック->Network Access ConfigurationでiSCSIをアクセスするノードを定義する。
Name列には各ノードのhostnameを、Network/Host列にはインターコネクトに利用するIPアドレスを設定する。Netmaskは255.255.255.255、TypeはShareを設定する。

・ボリュームグループの構成

今回も以前のように１つのボリュームグループを作成し、そのグループにcrs用の論理ボリューム１つ、ASM用の論理ボリューム４つを作成する。
Volumeタブ->Volume sectionペインでBlock Device Management画面に遷移する

IDEディスクが２本ありiSCSI向けに/dev/hda に６９ＧＢ、/dev/hdb に１９ＧＢの空きがある。各パーティションのサイズは、６９ＧＢ、１９ＧＢ、合計で８８ＧＢをcrs用の論理ボリュームに２ＧＢ、ASM用の４つの論理ボリュームに各２１．５ＧＢを割り当てる。

Partitionの作成

/dev/hda に６９ＧＢ、/dev/hdb に１９ＧＢの空きがあるのでそれぞれをパーティションとして割り当てる。
以下の例では/dev/hda4及び/dev/hdb1の２つのパーティションを割り当てた。
Block Device Management画面のEdit Diskの各Diskをクリックしてパーティションを追加する。ちなみに、viewをクリックすると作成済みパーティションの一覧が確認できる。

/dev/hda4に約６９ＧＢのパーティションを作成している様子。同様の手順で/dev/hdb1に約１９ＧＢのパーティションを作成する。

Volume Groupの作成

Volumes sectionペインのVolume Groupをクリックしてボリュームグループを作成する。
今回はrac1というボリュームグループを作成し前ステップで割り当てた/dev/hda4と/dev/hdb1の２パーティションをボリュームグループrac1へ割り当てる。（どのボリュームグループにも属さないパーティションが自動的にリストされるので必要なパーティションを選択するだけ。）
※作成されたボリュームグループの容量が８８ＧＢあることが確認できる。

論理ボリュームの割当

Volumes sectionペインのAdd Volumeをクリックして前ステップで作成したボリュームグループへ論理ボリュームを割り当てる。
ボリュームグループrac1に割り当てた８８ＧＢをcrs向け論理ボリューム（２ＧＢ）及び、ASM向け論理ボリューム（２１．５ＧＢ＊４ボリューム）の５つの論理ボリュームへ割り振る。
各論理ボリュームのFilesystem/Volume typeはiSCSIを選択する。

割り当てた論理ボリューム名及び名称は次の通り。crs:2GB/asm1:21.5GB/asm2:21.5GB/asm3:21.5GB/asm4:21.5GB

iSCSI Target Qualified Name(IQN)の設定 (2010/10/4訂正)

~~今回はiqn.2006-01.com.oepnfiler:arowanaというiSCSI target rualified nameにした。~~今回は、iqn.2006-01.com.openfiler:tsn.crs/iqn.2006-01.com.openfiler:tsn.asm1/iqn.2006-01.com.openfiler:tsn.asm2/iqn.2006-01.com.openfiler:tsn.asm3/iqn.2006-01.com.openfiler:tsn.asm4という５つのiSCSI Targetを作成した。Volumeタブ->Volumes sectionペイン->iSCSI targets->Target Configurationタブで表示されるVolumes:iSCSI Targets画面で行う。

Network ACLの設定

前操作で設定したIQNに対してNetwork ACLを設定する。ネットワークアクセスの構成で登録したノードがリストされているのでAccess列をAllowに変更する。
設定はVolumeタブ->Volumes sectionペイン->iSCSI targets->Network ACLタブで表示される画面で行う。

LUN Mapping (2010/10/4訂正)

論理ボリュームの割当操作で割り当てた各論理ボリューム(crs/asm1/asm2/asm3/asm4)をiSCSI Target Qualified Name(IQN)の設定で作成した各iSCSI Target(iqn.2006-01.com.openfiler:tsn.crs/iqn.2006-01.com.openfiler:tsn.asm1/iqn.2006-01.com.openfiler:tsn.asm2/iqn.2006-01.com.openfiler:tsn.asm3/iqn.2006-01.com.openfiler:tsn.asm4)のLUN Id.=0にマッピング~~していく、crs/asm1/asm2/asm3/asm4の順で割り当てる。~~する。

設定はVolumeタブ->Volumes sectionペイン->iSCSI targets->LUN Mappingタブで表示される画面で行う。Map New LUN to target:にリストされている論理ボリュームをMapボタンをクリックしてマッピングするだけ。簡単！。

最後にiscsi-targetを再起動して設定完了！


[root@arowana ˜]# service iscsi-target restart
Stopping iSCSI target service: ......                      [  OK  ]
Starting iSCSI target service:                             [  OK  ]
[root@arowana ˜]# service iscsi-target status
ietd (pid 7455) is running...
[root@arowana ˜]#

再度、Openfiler storage Control Centerにログインし、Status->Status sectionペインのiSCSI Targetをクリックすると以下のスクリーンショットのようになる。
これでiSCSI Target側の準備は完了。

ふ〜〜今回は長かった〜〜。:) 次回へつづく

投稿日時 2008年10月 9日 (木) 18時00分 Oracle, Mac, Linux, RAC, Oracle Database 11g, Open Source, iSCSI | 固定リンク | 0 | コメント (0) | トラックバック (0)

2008年10月 8日 (水)

Mac de Oracle - １０万円未満 de RAC (11g編）#3

つづきです。今回はOpenfiler2.3をiscsi-targetにするPCへインストールする。