使用Amazon S3做资料存储

一、S3概要介绍和其规范说明

1、什么是S3

• Simple Storage Service Fron Amazon
• 一块无容量限制的网络硬盘
• 可以作为可靠、快速、可以无限扩展的网络存储服务
  

2、S3的功能

• 支持最小1byte,最大5G的存储对象；
• 无存贮对象个数上的限制；
• 每个存储对象存储在bucket中，且由有个用户定义的唯一性key来标识；
• 可以对每个存贮对象设置访问权限；
• 提供了REST和SOAP接口对对象进行读写、删除等操作；
• 可靠时间为99.9%

3、S3的价格
S3的收费规则是用多少付多少钱，你可以使用“AWS Simple Monthly Calculator” 来计算您的大概花费，S3的价格会逐步下调，目前的价格为：

美国价格：

Storage
$0.15 per GB-Month of storage used

Data Transfer
$0.100 per GB - all data transfer in

$0.170 per GB - first 10 TB / month data transfer out
$0.130 per GB - next 40 TB / month data transfer out
$0.110 per GB - next 100 TB / month data transfer out
$0.100 per GB - data transfer out / month over 150 TB

Requests
$0.01 per 1,000 PUT, POST, or LIST requests
$0.01 per 10,000 GET and all other requests*

数据传输"in" 和"out"代表外部系统和S3直接的数据传输，另外EC2和S3之间的数据传输时免费的。

4、S3中的概念
本节介绍S3中常见的一些概念。

• Account:
  
• Bucket
• Object
• Key
  

Account
注册Amazon，申请开通S3后，得到AccessKey和Secret Key，你必须使用这两个key来调用API。

Bucket：
是S3中存储对象的容器，对应一个S3的域名，Bucket的名字不能重复，每个Bucket中可以存储无限个对象。

Object:
是S3中的基本存储单元，单个Object最大5G，放在Bucket中，由Key唯一标识，有ObjectData和metaData组成，metaData可以是标准的metadata或者自定义的metadata。

KEY
KEY在Bucket中用来唯一标识一个Object，也就是说使用Bucket+KEY可以在S3中唯一标识一个Object，例如：

5、S3中的操作

• Services --list all buckets.
• Bucket  --Create,Delete,List,Get/Set Access Control,Get/Set logging status;
• Object  --Put,Get,Delete,Set/Get Access Control.

6、S3的API和库

• REST 和SOAP
• JAVA
• C#
• Python
• Ruby
• PHP,PERL...

7、S3客户端工具

• S3cmd
• S3sync
• FireFox plug-in
• etc...

8、存在的问题
在中国访问速度一般，2M独享带宽的上传、下载速度差不多100K/S，且凌晨2点到7点异常的慢。速度还可以！ 临晨访问速度慢估计是美国那边的访问高峰引起的？ -Pengshourong 5/8/08 8:45 PM

二、实际测试

环境:深圳电信ADSL2M

1、测试代码:

require 'rubygems'
require 'right_aws'
require 'yaml'

class Up2S3
 
  def initialize
    puts "start..."
    start = Time.now
    conf_file = YAML.load_file(File.expand_path('amazon_conf.yml'))
    @@s3 =  RightAws::S3Interface.new(conf_file['access_key_id'], conf_file['secret_access_key'])
    puts "@@s3=#{@@s3.to_s}"
    puts "Init Spend Time #{Time.now - start}"
  end
 
  #下载测试代码
  def self.download(bucket,key)
    start = Time.now
    foo = File.new(key, "wb+")
    @@s3.get(bucket, key) do |chunk|
      foo.write(chunk)
    end
    foo.close
    puts "Download Spend Time #{Time.now - start}"
  end
 
  #上传测试代码
  def self.upload(bucket,key,filename)
    start = Time.now
    @@s3.put(bucket,key, File.open(filename)) #=> true
    puts "Upload Spend Time #{Time.now - start}"
  end
 
end

Up2S3.new
Up2S3.upload("tango-icon-theme-0.8.1.tar-2.gz","tango-icon-theme-0.8.1.tar.gz")