目录
其他环境虚拟机导入openstack.............................................................................................. 2
hyper-v平台虚拟机导入 ................................................................................................... 2 Openstack虚拟机导出到其他环境 ......................................................................................... 4
在线迁移 ............................................................................................................................... 4 离线迁移 ............................................................................................................................... 4 Ceph速度调优 ............................................................................................................................ 5
读写测试常用命令 ............................................................................................................... 5 硬件调优 ............................................................................................................................... 5 软件调优 ............................................................................................................................... 6 副本调优 ........................................................................................................................................ 7
基于镜像类型调整 ............................................................................................................... 7 Fuel Openstack常用命令 ........................................................................................................ 7
Fuel常用命令 ...................................................................................................................... 7 Openstack常用命令 ......................................................................................................... 7 Ceph常用命令 .................................................................................................................... 8 常见问题及解答 ........................................................................................................................... 8
开机顺序 ............................................................................................................................... 8 上传镜像报错 ....................................................................................................................... 9 创建云主机报错 ................................................................................................................... 9 Instance无法获取IP地址 ................................................................................................ 9
Failed to connect to server code1006 .................................................................... 11 无法租户cpu核心，内存等配额 ............................................ 错误!未定义书签。 使用建议 ...................................................................................................................................... 14
其他环境虚拟机导入openstack
hyper-v平台虚拟机导入
原理：VHD-KVMOPENSTACK 一、实施说明
如果有快照的话注意要将原来的虚拟机快照进行合并成一个vhd文件 二、实施步骤
跑hyperV的源机器叫H，跑kvm的目标机器叫做K
1.在H上将要迁移的的hyperV虚拟机的静态IP改成自动获取，然后关机，将vhd硬盘通过scp或者其他方式拷贝到目标机器K上。
2.获取virtio的windows驱动【该驱动主要用于windows的网卡和硬盘】 cd /var/lib/libvirt/image wget
https://alt.fedoraproject.org/pub/alt/virtiowin/latest/images/bin/virtio-win-0.1-81.iso
3.在目标机器K上进行映像格式转换,并建立一个新的磁盘文件【该磁盘文件主要用于windows通过识别新硬盘来安装新的virtio驱动，否则内置只有普通IDE驱动无法进行新的驱动安装】
qemu-img convert -O qcow2 /root/hyperv.vhd /mnt/storage/kvm.qcow2 #将vhd格式转换成qcow2格式
qemu-img create /mnt/storage/disk.img 1G #建立一个新的磁盘
4.使用virt-manager或virt-install进行镜像导入，并将驱动镜像放入cdrom建议使用virt-install
virt-install --name win2012 --ram 512 --os-type=windows --vcpus 1 --disk path=/mnt/storage/kvm.qcow2,device=disk,bus=ide,format=qcow2 --disk path=/mnt/storage/disk.img,format=qcow2,bus=virtio --disk
path=/home/leom/Openstack/virtio-win-0.1.126.iso,device=cdrom --network bridge=br0,model=virtio --graphics vnc --noautoconsole --import --noreboot --debug –force
5.启动虚拟机进入windows，通过cdrom的镜像安装网卡和硬盘驱动，装好后关闭虚拟机。
6.通过virt-manager或者修改kvm虚拟机的/etc/libvirt/qemu/server.xml文件，将新建的磁盘删除，将原有的硬盘bus模式改成virtio，xml方式修改如下：
7.启动虚拟机进行ip的配置，验证IP连通性，完成迁移。
Openstack虚拟机导出到其他环境
在线迁移
原理：利用vmware convert+vmware workstation，将openstack目的主机远程转换成vmdx文件，并导入vm workstation虚拟机。 1. 下载并安装VMware Converter 5.5.0 2. 在一台服务器上部署vmware 10虚拟化环境
3. 关闭待迁移服务器上的业务服务（iis，sql，防火墙等）
4. 点击”convert machine”，选择”powered-on machine”,”A remote machine”，输入用户名
密码
5. 选择”automatically uninstall the files when import successds”，系统将自动在远程客户机上安
装代理服务。 6. 点击启动迁移
离线迁移
1. 查看ceph中一个compute pool里的所有镜像 [root@node-44 ~]# rbd ls compute 2. 导出镜像
[root@node-44 ~]# rbd export -p images --image 74cb427c-cee9-47d0-b467-af217a67e60a /root/aaa.qcow2 3. 导出云硬盘 [root@node-44~]# rbd
export
-p
volumes
--image
volume-470fee37-b950-4eef-a595-d7def334a5d6
/var/lib/glance/ceph-pool/volumes/Message-JiaoBenJi-10.40.212.24 4. 在kvm环境下转换格式，并导入kvm虚拟机
Ceph速度调优
读写测试常用命令
写测试：
rados bench -p rbd 10 write --no-cleanup
顺序读测试：
Rados bench –p rbd 10 seq
随机读测试:
Rados bench –p rbd 10 rand
硬盘性能测试:
Hdparm –Tt /dev/sda
备注：在测试前请使用sync命令清除磁盘缓存，这次测试数据更准
硬件调优
1. 交换机开启大帧模式(变化不大，放弃)
备注：fuel最大支持9000，测试发现设置成9600，网卡mtu反而没变 2. Bios关闭节能
备注：78:2b:cb:48:82:0e（R710）读写缓慢，为异常 3. RAID
两块磁盘做raid1单独装系统，其他各驱动器单独做raid0作osd节点。
软件调优
1. Fuel使用LACP绑定模式
1.1 交换机配置：
配置动态聚合组 system-view[SwitchA] interface bridge-aggregation 1
[SwitchA-Bridge-Aggregation1] link-aggregation mode dynamic 将以太网端口GigabitEthernet1/0/1加入聚合组1。 [SwitchA] interface GigabitEthernet 1/0/1
[SwitchA-GigabitEthernet1/0/1] port link-aggregation group 1 配置trunk
[Switch-Ethernet1/0/1] interface Bridge-Aggregation1 port link-type trunk port trunk permit vlan all
1.2 fuel设置
1.3 MTU设置为9000
2. LinuxOS
2.1 控制节点：echo 4194303 > /proc/sys/kernel/pid_max
副本调优
基于镜像类型调整
获取当前副本数:
ceph osd pool get size 设置pool的冗余副本数量为1: ceph osd pool set test-pool size 1
备注：pg_num，pgp_num均只能调大，不能调小，调整改参数切记！
Fuel Openstack常用命令
Fuel常用命令
查看节点：fuel node
Openstack常用命令
上传镜像（在controller上操作）：
1. scp ./2008r2.img *********.9.8:~ [上传镜像文件到服务器] 2. source openrc [更新令牌]
3. openstack image create \"centos\" --file Cent0S7.2.qcow2 --disk-format qcow2 –public [上传镜像到glance]
正确的：openstack image create \"centos7\" --file /tmp/CentOS7.2.qcow2 --disk-format qcow2 --public
注意：上传镜像到glance结束后，注意删除源文件，节约ceph存储空间
Ceph常用命令 常见问题及解答 开机顺序
关机 1. 计算节点 2. 控制节点 3. 存储节点 4. 其他 开机 1. 存储节点 2. 控制节点 3. 计算节点
上传镜像报错
控制节点：
openstack image create \"centos7\" --file /tmp/CentOS7.2.qcow2 --disk-format qcow2 --public
创建云主机报错
解决方法：
/etc/nova/nova.conf编辑
vif_plugging_is_fatal = False
vif_plugging_timeout = 0
service nova-compute restart
instance无法获取IP
禁用交换机dhcp snooping
无法租户cpu，内存等限额
勾选“计算服务”--- “nova quotas”
Ceph节点离线后无法再次加入集群（pcs status 显示3控制节点offline）
正常现象，不要操作此服务，特别是pacemaker和corosync，
经测试，重启改服务后，offline状态没有改变，反而引起整个集群节点各种down并且无法再加入（ceph，compute）
浏览器无法上传镜像
客户端无法通过ssh直接连接openstack各节点
1. vi /etc/iptables/rules.v4
2. ipatbles-save
3. vi /etc/ssh/sshd_config
4. service iptables-persistent restart ; service ssh restart 5. 关闭和设置ubuntu防火墙
sudo ufw enable|disable
Failed to connect to server code1006
Ceph节点重启后显示down状态，无法恢复
Balance-rr ，单边绑定，交换机不能做bonding（交换机做静态聚合会导致多网卡节点服务及网络不稳定，时down时up）
Lacp ，双边绑定，注意要使用动态lacp协议（交换机上一开始显示端口unselect状态是正常的，这是因为系统未装，服务器上的网卡没有设置lacp，未能与交换机端匹配） 错误的绑定方式会导致网络的不稳定，进而导致服务的不稳定。
此问题的根本原因是bonding模式选择错误：应该选择动态LACP绑定（静态会出现osd 重启后down问题），并且hash策略应该选择“二层和三层”。
参考资料：https://www.kernel.org/doc/Documentation/networking/bonding.txt https://wiki.mikrotik.com/wiki/Manual:Interface/Bonding#802.3ad
开放了33、22端口，但依然无法远程或ssh主机
通过后台在web管理页面，进入主机关机防火墙。 Windows系统还要单独再在主机开远程服务。
性能 创建虚拟机
创建虚拟机 镜像 数量 1 Centos7.2 5 (1.3G) 10 1 Windows2008R2_5 （7G） 10
4’35” 2’36” 缓存模式下 1’52” 1’20” 1’24” 缓存模式下 时间 0’30” 备注 单台虚拟机写速度
单台虚拟机写速度 镜像 类型 文件大小 时间 速度 DD写测试 Centos7.2 Scp远程复制（碎片文件） Scp远程复制（块文件） Cp 远程复制（碎片文件） Windows2008R2_ Cp远程复制（大文件）
410M 2.9G 2.0G 2.9G 5G 2’4” 1’12” 0’27” 1’18” 1’11” 169.0M/s 40.3M/s 74.1M/s 37.2M/s 70.5M/s 单台虚拟机读速度
单台虚拟机磁盘读速度 镜像 速度 Centos7.2 Windows2008R2_
441.18M/s 165.20M/s（hd tune） 10台虚拟机同时写
10台虚拟机同时写 镜像 类型 文件大小 时间 速度 410M Centos7.2 DD 1G Windows2008R2_
Cp远程复制（大文件） 5G 0’9” 0’21” 45.4M/s 49.8M/s Cp 远程复制（碎片文件） 2.9G 使用建议
1. 尽量使用qcow2镜像格式（支持快照，其他镜像格式不支持） 2. 命令行效率比图形界面高,速度更快
3. 按用户分配专用openstack帐号，静止登录admin帐号
4. 注意登记使用问题及待优化点（见云库“异常处理”---“故障登记”）
推广
时间 时间
项目 责任人 项目 面向对象 附：各节点IP、密码
统一用户名密码：root / r00tme
[controller] 10.5.34.14 10.5.34.16 10.5.34.19 [compute] 10.5.34.15 10.5.34.13 [ceph] 10.5.34.15 10.5.34.13 10.5.34.17 10.5.34.18 10.5.34.22 10.5.34.21 10.5.34.20 10.5.34.12