数据处理

    • i-csv
    • import-csv
    • export-csv
    • json2csv
    • fastcsv

    https://github.com/i5ting/json2csv

    import-csv

    https://github.com/i5ting/import-csv

    默认使用gbk编码

    指定字符编码机

    3. import_csv('test.csv',function(err, data){
    4.   console.log(data);
    5. }, 'gbk')

    默认使用gbk编码

    1. var export_csv = require('.')
    3. var data = [
    4.   {a:1,b:2},
    5.   {a:2,b:2},
    6.   {a:3,b:2}
    7. ]
    8. export_csv(data, 'test1.csv')
    1. var export_csv = require('.')
    3. var data = [
    4.   { a: 1, b: 2 },
    5.   { a: 2, b: 2 },
    6.   { a: 3, b: 2 }
    7. ]
    8. export_csv(data, 'test3.csv', function (item) {
    9.   for (var key in item) {
    10.     item[key] = 'yy +' + item[key];
    11.   }
    12. })

    指定回调函数

    指定回调函数，并生成header

    1. var export_csv = require('.')
    3. var data = [
    4.   {a:1,b:2},
    5.   {a:2,b:2},
    7. ]
    8. export_csv(data, 'test2.csv', function (item) {
    9.   return item;
    10. }, function () {
    11.   console.log('end...');
    12. }, true)

    mongodb如何统计

    1. var json2csv = require('json2csv');
    2. require('../db.js');
    3. var fs = require('fs');
    4. var Order = require('../app/models/order');
    5. var Activity = require('../app/models/activity');
    6. var Wechat = require('../app/models/wechat');
    7. var Contact = require('../app/models/contact');
    9. function main(){
    10.   Order.model.aggregate([
    11.     {$match : {status2 : {$exists : true} }},
    12.     {$group : {_id : "$activity" , count : {$sum : "$product_count"}}}
    13.     ]).exec(function (err, data) {
    14.         var obj = [];
    15.         for (var i = data.length - 1; i >= 0; i--) {
    16.           var json = {
    17.             "url" : "http://shop.mengxiaoban.cn/iscroll.html?id=" + String(data[i]._id),
    18.             "count" : String(data[i].count)
    19.           }
    20.           obj.push(json);
    21.           console.log(json.url);
    22.         }
    23.         var opts = {
    24.           data: obj,
    26.           quotes: ''
    27.         };
    28.         json2csv(opts, function(err, csv) {
    29.           if (err) console.log(err);
    30.           fs.writeFile('./1119todayurl.csv', csv, function(err) {
    31.             if (err) throw err;
    32.             console.log('file saved');
    33.           });
    34.         });
    35.       })
    36.   }
    37. }
    39. main();

    AGGREGATION 关联

    《SQL to Aggregation Mapping Chart》

    了解索引优化

    1.  ContactSchema = new Schema({
    2.     ...
    3.     owner: {
    4.       type: Schema.ObjectId,
    5.       required: true,
    6.       index: true
    7.     }
    8. });

    了解explain

    1.  db.usermodels.find({
    2.   '_id' :{ 
    3.     "$gt" :ObjectId("55940ae59c39572851075bfd")
    4.   } 
    5. }).explain()

    关注点

    • stage：查询策略
    • nReturned：返回的文档行数
    • needTime：耗时（毫秒）
    • indexBounds：所用的索引

    profile级别有三种：

    • 0：不开启
    • 1：记录慢命令，默认为大于100ms
    • 2：记录所有命令
    • 3、查询profiling记录
      开启
    1. db.setProfilingLevel(2, 20)

    默认记录在system.profile中

    1. db['system.profile'].find()

    MONGODB的部署

    • replset

    我写的《 mongodb运维之副本集实践》