Pandas基础(十)向量化字符串操作 - RogersPy的专栏

[TOCM]

[TOC]

我们知道numpy最大的优势是向量化数据操作，避免了使用循环，从而大大提高效率。但是对于字符串来说就没这么幸运了，numpy并没有提供这种向量化的字符串操作。

Pandas补足了这一缺憾，pandas提供了向量化操作字符串的操作。而且避免了使用循环的时候带来的麻烦，比如缺失值。

```python
data = ['peter', 'Paul', 'MARY', 'gUIDO']
[s.capitalize() for s in data]
#> ['Peter', 'Paul', 'Mary', 'Guido']

data = ['peter', 'Paul', None, 'MARY', 'gUIDO']
[s.capitalize() for s in data]
#> AttributeError: 'NoneType' object has no attribute 'capitalize'
```

可以看到如果列表中存在缺失值，`capitalize()`操作就会报错，如果要避免报错还需要加入判断语句，使得代码臃肿难以理解。这完全不符合python的编程美学。

```python
import pandas as pd
names = pd.Series(data)
names
#> 0    peter
#> 1     Paul
#> 2     None
#> 3     MARY
#> 4    gUIDO
#> dtype: object

names.str.capitalize()
#> 0    Peter
#> 1     Paul
#> 2     None
#> 3     Mary
#> 4    Guido
#> dtype: object
```

是不是世界突然变成了彩色的了？

# 1. pandas字符串方法

pandas提供了以下字符串方法：

|||||
|-|-|-|-|
|<code>len()</code>|<code>lower()</code>|<code>translate()</code>|<code>islower()</code>|
|<code>ljust()</code></td>|<code>upper()</code>|<code>startswith()</code>|<code>isupper()</code>|
|<code>rjust()</code>|<code>find()</code>|<code>endswith()</code>|<code>isnumeric()</code>|
|<code>center()</code>|<code>rfind()</code>|<code>isalnum()</code>|<code>isdecimal()</code>|
|<code>zfill()</code>|<code>index()</code>|<code>isalpha()</code>|<code>split()</code>|
|<code>strip()</code>|<code>rindex()</code>|<code>isdigit()</code>|<code>rsplit()</code>|
|<code>rstrip()</code>|<code>capitalize()</code>|<code>isspace()</code>|<code>partition()</code>|
|<code>lstrip()</code>|<code>swapcase()</code>|<code>istitle()</code>|<code>rpartition()</code>|

下面我们举几个例子说明

```python
monte = pd.Series(['Graham Chapman', 'John Cleese', 'Terry Gilliam',
                   'Eric Idle', 'Terry Jones', 'Michael Palin'])
# 返回字符串
monte.str.lower()
#> 0    graham chapman
#> 1       john cleese
#> 2     terry gilliam
#> 3         eric idle
#> 4       terry jones
#> 5     michael palin
#> dtype: object

# 返回数字
monte.str.len()
#> 0    14
#> 1    11
#> 2    13
#> 3     9
#> 4    11
#> 5    13
#> dtype: int64

# 返回布尔值
monte.str.startswith('T')
#> 0    False
#> 1    False
#> 2     True
#> 3    False
#> 4     True
#> 5    False
#> dtype: bool

# 返回列表
monte.str.split()
#> 0    [Graham, Chapman]
#> 1       [John, Cleese]
#> 2     [Terry, Gilliam]
#> 3         [Eric, Idle]
#> 4       [Terry, Jones]
#> 5     [Michael, Palin]
#> dtype: object
```

# 2. 正则表达式方法

下面举几个例子：

```python
monte.str.extract('([A-Za-z]+)', expand=False)
#> 0     Graham
#> 1       John
#> 2      Terry
#> 3       Eric
#> 4      Terry
#> 5    Michael
#> dtype: object

monte.str.findall(r'^[^AEIOU].*[^aeiou]$')
#> 0    [Graham Chapman]
#> 1                  []
#> 2     [Terry Gilliam]
#> 3                  []
#> 4       [Terry Jones]
#> 5     [Michael Palin]
#> dtype: object
```

# 3. 其他方法

其他的方法都比较容易理解，我们只介绍`get_dummies()`方法：

```python
full_monte = pd.DataFrame({'name': monte,
                           'info': ['B|C|D', 'B|D', 'A|C',
                                    'B|D', 'B|C', 'B|C|D']})
full_monte                           
#>     info            name
#> 0  B|C|D  Graham Chapman
#> 1    B|D     John Cleese
#> 2    A|C   Terry Gilliam
#> 3    B|D       Eric Idle
#> 4    B|C     Terry Jones
#> 5  B|C|D   Michael Palin

full_monte['info'].str.get_dummies('|')
#>    A  B  C  D
#> 0  0  1  1  1
#> 1  0  1  0  1
#> 2  1  0  1  0
#> 3  0  1  0  1
#> 4  0  1  1  0
#> 5  0  1  1  1
```