두 판다 DataFrame 열의 사전 작성 방법
다음 판다 데이터 프레임을 구성하는 가장 효율적인 방법은 무엇입니까?
데이터 =
Position Letter
1 a
2 b
3 c
4 d
5 e
같은 사전으로alphabet[1 : 'a', 2 : 'b', 3 : 'c', 4 : 'd', 5 : 'e']
?
In [9]: pd.Series(df.Letter.values,index=df.Position).to_dict()
Out[9]: {1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}
속도 비교(Wouter 방법 사용)
In [6]: df = pd.DataFrame(randint(0,10,10000).reshape(5000,2),columns=list('AB'))
In [7]: %timeit dict(zip(df.A,df.B))
1000 loops, best of 3: 1.27 ms per loop
In [8]: %timeit pd.Series(df.A.values,index=df.B).to_dict()
1000 loops, best of 3: 987 us per loop
적어도 현실적으로 큰 데이터셋에서는 다음을 사용하여 문제를 보다 빠르게 해결할 수 있는 방법을 찾았습니다.df.set_index(KEY).to_dict()[VALUE]
50,000줄에 대한 증명:
df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB'))
df['A'] = df['A'].apply(chr)
%timeit dict(zip(df.A,df.B))
%timeit pd.Series(df.A.values,index=df.B).to_dict()
%timeit df.set_index('A').to_dict()['B']
출력:
100 loops, best of 3: 7.04 ms per loop # WouterOvermeire
100 loops, best of 3: 9.83 ms per loop # Jeff
100 loops, best of 3: 4.28 ms per loop # Kikohs (me)
Python 3.6에서 가장 빠른 방법은 여전히 WouterOvermeire입니다.키코스의 제안은 다른 두 가지 옵션보다 느리다.
import timeit
setup = '''
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB'))
df['A'] = df['A'].apply(chr)
'''
timeit.Timer('dict(zip(df.A,df.B))', setup=setup).repeat(7,500)
timeit.Timer('pd.Series(df.A.values,index=df.B).to_dict()', setup=setup).repeat(7,500)
timeit.Timer('df.set_index("A").to_dict()["B"]', setup=setup).repeat(7,500)
결과:
1.1214002349999777 s # WouterOvermeire
1.1922008498571748 s # Jeff
1.7034366211428602 s # Kikohs
dict (zip(data['position'], data['letter']))
다음과 같은 이점을 얻을 수 있습니다.
{1: 'a', 2: 'b', 3: 'c', 4: 'd', 5: 'e'}
TL;DR
>>> import pandas as pd
>>> df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})
>>> dict(sorted(df.values.tolist())) # Sort of sorted...
{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
>>> from collections import OrderedDict
>>> OrderedDict(df.values.tolist())
OrderedDict([('a', 1), ('b', 2), ('c', 3), ('d', 4), ('e', 5)])
인롱
솔루션 설명:dict(sorted(df.values.tolist()))
지정:
df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})
[아웃]:
Letter Position
0 a 1
1 b 2
2 c 3
3 d 4
4 e 5
시험:
# Get the values out to a 2-D numpy array,
df.values
[아웃]:
array([['a', 1],
['b', 2],
['c', 3],
['d', 4],
['e', 5]], dtype=object)
그 후 옵션:
# Dump it into a list so that you can sort it using `sorted()`
sorted(df.values.tolist()) # Sort by key
또는 다음 중 하나를 선택합니다.
# Sort by value:
from operator import itemgetter
sorted(df.values.tolist(), key=itemgetter(1))
[아웃]:
[['a', 1], ['b', 2], ['c', 3], ['d', 4], ['e', 5]]
마지막으로, 두 요소의 목록을 받아쓰기로 합니다.
dict(sorted(df.values.tolist()))
[아웃]:
{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
관련된
@sbradbio 코멘트 답변:
특정 키에 여러 개의 값이 있고 모든 값을 유지하려는 경우 가장 효율적이지는 않지만 가장 직관적인 방법은 다음과 같습니다.
from collections import defaultdict
import pandas as pd
multivalue_dict = defaultdict(list)
df = pd.DataFrame({'Position':[1,2,4,4,4], 'Letter':['a', 'b', 'd', 'e', 'f']})
for idx,row in df.iterrows():
multivalue_dict[row['Position']].append(row['Letter'])
[아웃]:
>>> print(multivalue_dict)
defaultdict(list, {1: ['a'], 2: ['b'], 4: ['d', 'e', 'f']})
Wouter 메서드는 좋지만 중복된 값을 가진 동작은 예상과 다를 수 있으며 OP에서는 이 시나리오에 대해 어떤 식으로든 논의하지 않습니다.Wouter는 항상 발견된 각 키의 마지막 값을 선택합니다.즉, 각 키의 값을 계속 덮어씁니다.
예상되는 동작은 데이터 프레임에서 중복된 두 열을 사용하여 dict를 만들고 각 키에 대해 목록을 보관하는 것과 같습니다.
그래서 사본을 보관하는 경우, 제가 제출하겠습니다.df.groupby('Position')['Letter'].apply(list).to_dict()
(또는 리스트가 아닌 세트일 수도 있습니다.
다음 df를 사용하여 테스트한 다른 두 가지 방법을 다음에 나타냅니다.
df = pd.DataFrame(np.random.randint(0,10,10000).reshape(5000,2),columns=list('AB'))
사용.to_records()
dict(df.to_records(index=False))
사용.MultiIndex.from_frame()
dict(pd.MultiIndex.from_frame(df))
각각의 시간.
24.6 ms ± 847 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
1.86 ms ± 11.6 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
언급URL : https://stackoverflow.com/questions/17426292/how-to-create-a-dictionary-of-two-pandas-dataframe-columns
'programing' 카테고리의 다른 글
VueJS: 렌더 함수에서 계산된 값에 액세스하는 방법 (0) | 2022.09.05 |
---|---|
auto_increment id가 1개씩 증가하지 않는 이유는 무엇입니까?설정 방법은? (0) | 2022.09.04 |
각각 이전 vue-router의 vuex 작업을 사용하려면 어떻게 해야 합니까? (0) | 2022.09.04 |
노드에서 NULL 값을 삽입하는 방법파라미터화된 입력을 사용하여 JS/Javascript to MySQL을 사용합니까? (0) | 2022.09.04 |
MySQL 데이터 디렉터리 위치 (0) | 2022.09.04 |