bigdata 3

Pandas Data Frame vs Spark DataFrame

DataFrame ์€ ํ–‰๊ณผ ์—ด์ด ์žˆ๋Š” ๋ฐ์ดํ„ฐ ํ…Œ์ด๋ธ”์„ ๋‚˜ํƒ€๋‚ด๋ฉฐ, DataFrame ๊ฐœ๋…์€ ์–ด๋–ค ํ”„๋กœ๊ทธ๋ž˜๋ฐ ์–ธ์–ด์—์„œ๋„ ๋ณ€ํ•˜์ง€ ์•Š์ง€๋งŒ Spark ์™€ Pandas ์˜ DataFrame ์€ ์ƒ๋‹นํžˆ ๋‹ค๋ฅด๋‹ค. ์ด ๊ธ€์—์„œ๋Š” Spark DataFrame๊ณผ Pandas DataFra,e์˜ ์ฐจ์ด์ ์„ ์•Œ์•„๋ณด๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. Pandas DataFrame Panda๋Š” NumPy ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋Š” ์˜คํ”ˆ ์†Œ์Šค Python ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ž…๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ๊ตฌ์กฐ์™€ ์—ฐ์‚ฐ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ˆ˜์น˜ ๋ฐ์ดํ„ฐ์™€ ์‹œ๊ณ„์—ด์„ ์กฐ์ž‘ํ•  ์ˆ˜ ์žˆ๋Š” Python ํŒจํ‚ค์ง€์ž…๋‹ˆ๋‹ค. ์ฃผ๋กœ ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ ๋ฐ ๋ถ„์„์„ ์ƒ๋‹นํžˆ ์‰ฝ๊ฒŒ ํ•˜๊ธฐ ์œ„ํ•ด ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. Panda DataFrame์€ ๋ ˆ์ด๋ธ”์ด ์ง€์ •๋œ ์ถ•(ํ–‰ ๋ฐ ์—ด)์„ ๊ฐ€์ง„ ์ž ์žฌ์ ์œผ๋กœ ์ด์งˆ์ ์ธ 2์ฐจ์› ํฌ๊ธฐ ๊ฐ€๋ณ€ ํ‘œ ํ˜•์‹ ..

IT Talks/BigData 2023.03.16

Data Scientist vs Engineer vs Analyst

์˜ˆ์ „์— ์ธํ„ฐ๋„ท์—์„œ ๋ดค๋˜ ์ด๋ฏธ์ง€ ์ธ๋ฐ, ๋ฐ์ดํ„ฐ ๊ด€๋ จ ์ง๋ฌด์— ๋Œ€ํ•ด ์ •๋ฆฌ๊ฐ€ ์ž˜ ์•ˆ๋˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์•„์„œ ์ฐธ๊ณ ํ•˜๋ฉด ์ข‹์„ ๊ฒƒ ๊ฐ™๋‹ค. (ํ˜„์‹ค์€ ๊ทธ๋ ‡์ง€ ์•Š์ง€๋งŒ) Data Scientist ํ†ต๊ณ„๋‚˜ ๋จธ์‹  ๋Ÿฌ๋‹์„ ์ด์šฉํ•ด ์ฃผ์š” ๋น„์ฆˆ๋‹ˆ์Šค ์งˆ๋ฌธ์— ๋Œ€ํ•œ ์˜ˆ์ธก๊ณผ ๋‹ต๋ณ€์„ ๋งŒ๋“ฆ. Data Engineer ๋ฐ์ดํ„ฐ ๊ณผํ•™์ž์™€ ๋ถ„์„๊ฐ€๊ฐ€ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ์‹œ์Šคํ…œ์„ ๊ตฌ์ถ•ํ•˜๊ณ  ์ตœ์ ํ™”. Data Analyst ๋ฐ์ดํ„ฐ๋ฅผ ํ™œ์šฉํ•˜์—ฌ ๋น„์ฆˆ๋‹ˆ์Šค ์˜์‚ฌ ๊ฒฐ์ •์— ๋„์›€์ด ๋˜๋Š” ๊ฒฐ๊ณผ๋ฅผ ์ „๋‹ฌํ•จ์œผ๋กœ์จ ๊ฐ€์น˜๋ฅผ ์ œ๊ณต. (์ฐธ๊ณ ) ๋ฐ์ดํ„ฐ ์ง๋ฌด๋ณ„ ์Šคํ‚ฌ ๋ฐ์ดํ„ฐ ์ง๋ฌด๋ณ„ ์Šคํ‚ฌ - Types of Data Professionals ์ „์— ๋ฐ์ดํ„ฐ ์ง๋ฌด๋ณ„ ํ•˜๋Š”์ผ์— ๋Œ€ํ•œ ํฌ์ŠคํŒ…์„ ์˜ฌ๋ฆฐ ์ ์ด ์žˆ์—ˆ๋Š”๋ฐ (์•„๋ž˜ ๊ธ€ ์ฐธ๊ณ ) ์ด๋ฒˆ์—๋Š” ๊ฐ ๋ฐ์ดํ„ฐ ์ง๋ฌด๋ณ„ ์ฃผ์š” ์—…๋ฌด์— ๋Œ€ํ•ด ์ฐจํŠธ ํ˜•ํƒœ๋กœ ๋œ ๊ทธ๋ฆผ์ด ์žˆ์–ด์„œ..

IT Talks/BigData 2022.10.06

CDP vs DMP

CDP (Customer Data Platform) ์™€ DMP (Data Management Platform) ์˜ ์ฐจ์ด์  CDP์™€ DMP๋Š” ์šฉ๋„๊ฐ€ ๋‹ค๋ฅด๊ณ  ์ž‘๋™ ๋ฐฉ์‹๋„ ์„œ๋กœ ๋‹ค๋ฆ…๋‹ˆ๋‹ค. CDP CDP๋Š” ์ด๋ฉ”์ผ ์ฃผ์†Œ, ์ „ํ™”๋ฒˆํ˜ธ์™€ ๊ฐ™์€ ๊ฐœ์ธ ์‹ ์› ์ •๋ณด(PII)๋ฅผ ํ†ตํ•ด ๊ณ ๊ฐ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ  ํ†ตํ•ฉํ•˜์—ฌ 360๋„ ๊ณ ๊ฐ ๋ทฐ๋ฅผ ์ œ๊ณตํ•จ์œผ๋กœ์จ ๋งž์ถคํ™”๋œ ๊ณ ๊ฐ ๊ฒฝํ—˜์„ ์ฐฝ์ถœํ•˜๋Š” ๋ฐ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ํ†ตํ•ฉ๋œ ๊ณ ๊ฐ ๋ฐ์ดํ„ฐ์— AI(์ธ๊ณต ์ง€๋Šฅ)๋ฅผ ๊ฒฐํ•ฉํ•˜๋ฉด B2B(Business-to-Business) ๋˜๋Š” B2C(Business-to-Consumer) ํ™˜๊ฒฝ์—์„œ ๋น„์ฆˆ๋‹ˆ์Šค ํ”„๋กœ์„ธ์Šค ๋ฐ ๊ณ ๊ฐ ์ฐธ์—ฌ๋ฅผ ์ตœ์ ํ™”ํ•˜๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. CDP์˜ ์ฃผ์š” ๋ฐ์ดํ„ฐ ์†Œ์Šค๋Š” ํผ์ŠคํŠธํŒŒํ‹ฐ ๋ฐ์ดํ„ฐ๋กœ, ์˜คํ”„๋ผ์ธ(๋งค์žฅ๋‚ด ๊ตฌ๋งค, ์ง์ ‘๊ตฌ๋งค)๊ณผ ์˜จ๋ผ์ธ(์›น์‚ฌ์ด..

IT Talks 2021.08.11
728x90