- SparkPerformanceTestResultsOnCluster . . . . 12 matches
7416829 rows csv
- loading csv : 50s
* 4core (desktop,master) + 4core (mal.dev, slave) + 4core (del-dev-mv, slave) : csv파일은 각 host에 복제해둔 상태에서 테스트
- loading csv : 21s
- loading csv : 50s
* 4core (desktop,master) + 4core (mal.dev, slave) + 4core (del-dev-mv, slave) : csv파일은 각 host에 복제해둔 상태에서 테스트
- loading csv : 55s
- loading csv : 56s
* 4core (desktop,master) + 4core (mal.dev, slave) : csv파일은 각 host에 복제해둔 상태에서 테스트
- loading csv : 38s
val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("export.csv")
- csv . . . . 10 matches
[csv-decoding]
[csv-encoding]
from http://blog.gimslab.com/tag/csv
예를 들어 다음과 같이 3개의 항목으로 구성된 한줄의 데이터는 이렇게 csv로 표현됩니다.
이러한사실들은 제가 직접 엑셀에서 csv로 저장하기를 통해 알아낸것이며 csv포맷 자체구 국제 규격같은게 없기때문에 다른 내용이 더 있을수도 있습니다.
하여간 이러한 규칙을 적용하여 일반데이터를 csv로 포맷하는 유틸리티를 하나 만들었습니다. 일단 줄바꿈문자가 한개의 항목으로 들어가는 일은 없기때문에 그 부분에 대한 처리는 빠져있구요. 다른 언어를 쓰시는 분들도 간단하니 참고 하시기 바랍니다.
그리고 CSV파일을 일반 데이터로 디코딩하는 부분이 있는데 이부분은 정확히 위의 로직을 반대로 적용하면 됩니다. 말은그런데... 이걸 프로그래밍으로 구현하다보니 인코딩에 비해 훨씬 복잡해 지더군요. 예상보다 상당히 많이.... 그리고 파일을 읽어서 스트림으로 처리하는 로직을 적용했기때문에 소스가 이것보다는 상당히 길구요. 그래서 csv파일 디코딩하는 부분은 다음에 또 올리겠습니다. 물론 소스와 함께...
String converted = CSVUtil.printSCV("홍길동");
소스 : [csv-encoding], [csv-decoding]
[^http://www.creativyst.com/Doc/Articles/CSV/CSV01.htm#FileFormat]
- csv-decoding . . . . 8 matches
[csv] decoding util
참조 : [csv-encoding]
* com.gimslab.util.csv.CSVReader.java
* 파일명 : CSVReader.java
* 설명 : csv 포맷의 파일 스트림을 읽어서 배열로 리턴
FileReader fr = new FileReader("c:/docs/Book1.csv");
CSVReader cr = new CSVReader(fr);
new CSVReader(new StringReader("a,b,ccc")).readRecord();
package com.gimslab.util.csv;
public class CSVReader
public CSVReader(Reader reader)
public String[] readRecord() throws IOException, InvalidCSVFormatException
if(c==CSVUtil.RD){
else if(c==CSVUtil.CD){
else if(c==CSVUtil.QT){
throws InvalidCSVFormatException
if(l==1 && s==CSVUtil.QT)
throw new InvalidCSVFormatException();
if(s==CSVUtil.QT && e!=CSVUtil.QT || s!=CSVUtil.QT && e==CSVUtil.QT){
throw new InvalidCSVFormatException();
- CopyOffsetsOfAConsumerGroupToAnotherConsumerGroup . . . . 6 matches
* export offsets of grp1 to csv file(/tmp/grp1-offsets.csv)
~/programs/kafka_2.11-1.1.0$ bin/kafka-consumer-groups.sh --reset-offsets --to-current --export --group grp1 --topic test1 --bootstrap-server localhost:9092 > /tmp/grp1-offsets.csv
~/programs/kafka_2.11-1.1.0$ cat /tmp/grp1-offsets.csv
~/programs/kafka_2.11-1.1.0$ bin/kafka-consumer-groups.sh --reset-offsets --from-file /tmp/grp1-offsets.csv --dry-run --group grp2 --topic test1 --bootstrap-server localhost:9092
~/programs/kafka_2.11-1.1.0$ bin/kafka-consumer-groups.sh --reset-offsets --from-file /tmp/grp1-offsets.csv --execute --group grp2 --topic test1 --bootstrap-server localhost:9092
- Missing Value Handling . . . . 4 matches
data = pd.read_csv('housing-price-train.csv')
X_full = pd.read_csv('housing-price-train.csv')
- csv-encoding . . . . 4 matches
[csv] encoding
[csv-decoding]
* 파일명 : CSVUtil.java
* 설명 : csv 포맷의 파일관련 유틸
* 최초작성 : 20070420 - printCSV 메소드
* 추가 : 20070509 - decodeCSVRecord 메소드
* 제거 : 20070510 - decodeCSVRecord 메소드를 제거하고 csv읽기기능을 CSVReader 클래스로 분리하여 스트림에서 바로 파싱하도록 함
public class CSVUtil
public static String printCSV(String str)
- spark . . . . 4 matches
= load csv =
spark-shell --packages com.databricks:spark-csv_2.11:1.4.0
val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("export.csv")
- Decision Tree Regressor Model Sample . . . . 2 matches
home_data = pd.read_csv('train.csv')
- JuniperVPN64bitUbuntu에서CommandLine으로연결하기 . . . . 2 matches
sudo chown root:root ~/.juniper_networks/network_connect/ncsvc
sudo chmod 6711 ~/.juniper_networks/network_connect/ncsvc
- eclipse-keys . . . . 2 matches
=== 2017/4/4, csv ===
save as csv
- AwsGlacier . . . . 1 match
"Format": "CSV"
"contentType": "text/csv"
Found 11 matching pages out of 1798 total pages
You can also click here to search title.
