Cooking similarity - études et exploitation des données (1)

Ce notebook explique les différentes étapes de tris et extraction du jeu de données "full_format_recipes.json".

Il s'agit d'un jeu de données de 20 000 recettes extraites du site Epicurious.

Ce jeu de données nous permet de travailler sur des recettes diverses avec plusieurs informations tel que les valeurs nutritionnelles, la note de la recette, les ingrédients, catégories...

Source

Jeu de données obtenu sur: https://www.kaggle.com/hugodarwood/epirecipes

Contenu

Plus de 20 000 recettes listées selon l’évaluation de la recette, l’information nutritionnelle et la(les) catégorie(s) attribuée(s) etc...

In [1]:
import numpy as np
import pandas as pd 
from pandas import read_csv
from IPython.display import Image

df = pd.read_json("full_format_recipes.json")
In [2]:
df.head()
Out[2]:
calories categories date desc directions fat ingredients protein rating sodium title
0 426.0 [Sandwich, Bean, Fruit, Tomato, turkey, Vegeta... 2006-09-01 04:00:00 None [1. Place the stock, lentils, celery, carrot, ... 7.0 [4 cups low-sodium vegetable or chicken stock,... 30.0 2.500 559.0 Lentil, Apple, and Turkey Wrap
1 403.0 [Food Processor, Onion, Pork, Bake, Bastille D... 2004-08-20 04:00:00 This uses the same ingredients found in boudin... [Combine first 9 ingredients in heavy medium s... 23.0 [1 1/2 cups whipping cream, 2 medium onions, c... 18.0 4.375 1439.0 Boudin Blanc Terrine with Red Onion Confit
2 165.0 [Soup/Stew, Dairy, Potato, Vegetable, Fennel, ... 2004-08-20 04:00:00 None [In a large heavy saucepan cook diced fennel a... 7.0 [1 fennel bulb (sometimes called anise), stalk... 6.0 3.750 165.0 Potato and Fennel Soup Hodge
3 NaN [Fish, Olive, Tomato, Sauté, Low Fat, Low Cal,... 2009-03-27 04:00:00 The Sicilian-style tomato sauce has tons of Me... [Heat oil in heavy large skillet over medium-h... NaN [2 tablespoons extra-virgin olive oil, 1 cup c... NaN 5.000 NaN Mahi-Mahi in Tomato Olive Sauce
4 547.0 [Cheese, Dairy, Pasta, Vegetable, Side, Bake, ... 2004-08-20 04:00:00 None [Preheat oven to 350°F. Lightly grease 8x8x2-i... 32.0 [1 12-ounce package frozen spinach soufflé, th... 20.0 3.125 452.0 Spinach Noodle Casserole

Tris des données

Nous avons trié les données par catégories pour obtenir des jeux de données plus petits afin de les exploiter et les afficher dans notre interface web. Avoir des jeux de données plus petits nous permet aussi d'étudier précisément certaines catégories en particuliers, faire un tri... Les jeux de données doivent contenir des catégories de recette pertinente tel que "Tarte", "Pâte" ou "Cookie" de sorte à montrer une certaine diversité dans les ingrédients, les directions...

Voici le détail de notre analyse afin de générer les différents jeux de données:


Trier les recettes par catégories:

In [3]:
#Nombre de résultats par catégorie
def getNumbersOfRecipeByCategories(df):
    result = {}
    
    for categoriesList in df.categories:
        
        # check if it is really a list of categories
        if not isinstance(categoriesList, list):
            # if not, skip
            continue
            
        for categorie in categoriesList:
            if categorie in result:
                result[categorie] += 1
            else:
                result[categorie] = 1
    return result
In [16]:
d = getNumbersOfRecipeByCategories(df)
d["Bean"]
Out[16]:
577
In [21]:
sorted_countbycategoriesDict = sorted(getNumbersOfRecipeByCategories(df).items(), key=operator.itemgetter(1), reverse=True)
dFrame = pd.DataFrame(sorted_ingredientsDict, columns=['Categorie','Frequency'])
dFrame.head() 
Out[21]:
Categorie Frequency
0 Bon Appétit 9355
1 Peanut Free 8390
2 Soy Free 8088
3 Tree Nut Free 7044
4 Vegetarian 6846

La liste ci-dessus nous donne les 5 catégories ayant le plus de recettes. Il existe des catégories qui sont moins pertinentes tel que des ingrédients comme "Onion","Tomato"... ou qui possède très peu de résultats (<200).


Pour obtenir la catégorie contenant le plus de recettes:

In [5]:
import operator
recipeCategCount = getNumbersOfRecipeByCategories(df)
max(recipeCategCount, key=recipeCategCount.get)
Out[5]:
'Bon Appétit'

On remarque que la catégorie possédant le plus de recette est "Bon Appétit". Cette catégorie n'est pas pertinente car elle peut rassembler plusieurs recettes différentes qui n'ont aucune similarité comme on peut le voir sur le site d'Epicurious en allant dans cette catégorie:

In [6]:
Image(filename="images/categorie_bonappetit.png")
Out[6]:

Le but est donc de trouver des recettes qui ont des bases similaires mais qui présentent aussi des variantes.


Trier les catégories par ordre décroissant de nombre de recettes:

In [23]:
# Ordre decroissant
# sorted_recipeCategCount = sorted(recipeCategCount.items(), key=operator.itemgetter(1))

# Ordre croissant
sorted_recipeCategCount = sorted(recipeCategCount.items(), key=operator.itemgetter(1), reverse=True)
dFrame2 = pd.DataFrame(sorted_recipeCategCount, columns=['Categorie','Frequency'])
dFrame2.head() 
Out[23]:
Categorie Frequency
0 Bon Appétit 9355
1 Peanut Free 8390
2 Soy Free 8088
3 Tree Nut Free 7044
4 Vegetarian 6846

En regardant la liste des catégories triées on peut ainsi dégager des catégories interessantes tel que:

  1. 'Pasta' avec 968 recettes de pâtes.
  2. 'Sandwich' avec 428 recettes de sandwich.
  3. 'Cookies' avec 273 recettes de cookies. Nous allons donc ensuite générer les jeu de données en json pour ces 3 catégories:

Génération des fichier json:

In [8]:
def keepCategorie(df, categorie):
    rowToDelete = []
    for row, categories in enumerate(df.categories):
        if not isinstance(categories, list):
            rowToDelete.append(row)
        elif not categorie in categories:
                rowToDelete.append(row)

    df = df.drop(rowToDelete)
    return df

Génération du fichier "Pasta.json".

In [27]:
# On veut garder seulement les pasta
df_pasta = keepCategorie(df,'Pasta')

# Avec le reset_index(drop=True) on reinitialise les index à partir de 0.
df_pasta.reset_index(drop=True).to_json('Pasta.json',orient='records')
pasta = pd.read_json("Pasta.json")
pasta.head()
Out[27]:
calories categories date desc directions fat ingredients protein rating sodium title
0 547.0 [Cheese, Dairy, Pasta, Vegetable, Side, Bake, ... 2004-08-20 04:00:00 None [Preheat oven to 350°F. Lightly grease 8x8x2-i... 32.0 [1 12-ounce package frozen spinach soufflé, th... 20.0 3.125 452.0 Spinach Noodle Casserole
1 NaN [Milk/Cream, Cheese, Leafy Green, Pasta, Bake,... 2009-11-02 04:00:00 None [Heat oil in heavy large skillet over medium h... NaN [3 tablespoons extra-virgin olive oil, 8 ounce... NaN 3.750 NaN Pancetta and Taleggio Lasagna with Treviso
2 NaN [Cheese, Herb, Pasta, Low Cal, Dinner, Lunch, ... 2013-11-13 04:00:00 "Creamy squash and cheese crisps only make you... [Heat oven to 375°. On a parchment paper-lined... NaN [6 tablespoons shredded Parmesan, 8 ounces she... NaN 5.000 NaN Fontina Mac with Squash and Sage
3 634.0 [Fish, Leafy Green, Pasta, Tomato, Bake, Quick... 2005-10-01 04:00:00 Kristi Parnell of San Marcos, California, writ... [Preheat oven to 425°F. Whisk 2 tablespoons oi... 31.0 [4 tablespoons extra-virgin olive oil, divided... 44.0 4.375 181.0 Baked Halibut with Orzo, Spinach, and Cherry T...
4 684.0 [Cheese, Dairy, Garlic, Herb, Pasta, Vegetable... 2004-08-20 04:00:00 None [Preheat oven to 450°F. and oil 2 large shallo... 42.0 [3 pounds butternut squash, quartered, seeded,... 21.0 4.375 637.0 Roasted Butternut Squash, Rosemary, and Garlic...

Génération du fichier "Sandwich.json"

In [28]:
# On veut garder seulement les sandwich
df_sw = keepCategorie(df,'Sandwich')
df_sw.reset_index(drop=True).to_json('Sandwich.json',orient='records')
sw = pd.read_json("Sandwich.json")
sw.head()
Out[28]:
calories categories date desc directions fat ingredients protein rating sodium title
0 426.0 [Sandwich, Bean, Fruit, Tomato, turkey, Vegeta... 2006-09-01 04:00:00.000 None [1. Place the stock, lentils, celery, carrot, ... 7.0 [4 cups low-sodium vegetable or chicken stock,... 30.0 2.500 559.0 Lentil, Apple, and Turkey Wrap
1 948.0 [Sandwich, Food Processor, Tomato, Kid-Friendl... 2004-08-20 04:00:00.000 This recipe can be prepared in 45 minutes or l... [Mix basil, mayonnaise and butter in processor... 79.0 [2 1/2 cups (lightly packed) fresh basil leave... 19.0 4.375 1042.0 The Best Blts
2 904.0 [Sandwich, Beef, Cheese, Mushroom, Mustard, Qu... 2004-08-20 04:00:00.000 None [Mix cheese and green onions in medium bowl. G... 70.0 [1 cup shredded mozzarella cheese, 1/4 cup fin... 38.0 4.375 1413.0 Veal Burgers Stuffed with Mozzarella Cheese
3 641.0 [Sandwich, Beef, Cheese, Leafy Green, Onion, Q... 2004-08-20 04:00:00.000 None [Mash first 3 ingredients in small bowl until ... 37.0 [1 cup crumbled Stilton cheese, 2 tablespoons ... 39.0 4.375 907.0 Grilled Roast Beef and Stilton Sandwich
4 959.0 [30 Days of Groceries, Chickpea, Salad, Sandwi... 2016-04-21 18:04:13.025 This recipe is part of our Spring Grocery Bag ... [Whisk mayonnaise, oil, lemon zest, and lemon ... 60.0 [3 tablespoons mayonnaise, 2 tablespoons extra... 21.0 3.750 1541.0 Chickpea Salad Sandwich With Creamy Carrot-Rad...

Génération du fichier "Cookie.json"

In [29]:
# On veut garder seulement les cookies
df_cookie = keepCategorie(df,'Cookies')
df_cookie.reset_index(drop=True).to_json('Cookies.json',orient='records')
cookie = pd.read_json("Cookies.json")
cookie.head()
Out[29]:
calories categories date desc directions fat ingredients protein rating sodium title
0 129.0 [Cookies, Rum, Cheese, Dairy, Fruit, Dessert, ... 2004-08-20 12:48:48 To bake these puffs all at once, you will need... [Cut butter into 1/4-inch slices. In a large b... 9.0 [4 sticks (2 cups) cold unsalted butter, 4 cup... 1.0 4.375 34.0 Banana Rum Puffs
1 105.0 [Cookies, Food Processor, Fruit, Dessert, Bake... 2004-08-20 04:00:00 These cookies are perfect with a cup of tea. [Combine first 3 ingredients in processor; ble... 7.0 [1 cup all purpose flour, 4 ounces chilled cre... 1.0 3.125 31.0 Cream Cheese Strudel Cookies
2 87.0 [Cookies, Dessert, Bake, Christmas, Kid-Friend... 2011-12-22 04:00:00 When it comes right down to it, the simplest h... [Beat together butter, sugar, and salt in a la... 4.0 [2 sticks (1 cup) unsalted butter, softened, 1... 1.0 3.750 26.0 Buttery Sugar Cookies
3 92.0 [Cookies, Nut, Dessert, Bake, Christmas, Kid-F... 2013-11-06 04:00:00 Hand off this dough to the kids—or anyone with... [Place racks in lower and upper thirds of oven... 6.0 [1 1/2 cups all-purpose flour, 1 1/2 cups unsa... 1.0 4.375 51.0 Roasted-Almond Thumbprints
4 76.0 [Bon Appétit, Bake, Cookies, Almond, Lemon, De... 2016-07-01 18:35:00 These traditional almond cookies hail from Tus... [Preheat oven to 350°F. Toast almonds on a rim... 5.0 [1 1/4 cups slivered almonds, 1 teaspoon finel... 2.0 0.000 15.0 Tuscan Almond Cookies (Ricciarelli)

Afin de tester avec le minimum de données (et pas un fichier json de plus de 200 à 900 résultats...)nous avons créé un fichier "Test" avec quelques données:

In [12]:
#Générer json avec 5 recettes
cookie = pd.read_json("Cookies.json")
head_cookie= cookie.head()
head_cookie.to_json('Cookies_small.json',orient='records')
data_small = pd.read_json("Cookies_small.json")
data_small
Out[12]:
calories categories date desc directions fat ingredients protein rating sodium title
0 129 [Cookies, Rum, Cheese, Dairy, Fruit, Dessert, ... 2004-08-20 12:48:48 To bake these puffs all at once, you will need... [Cut butter into 1/4-inch slices. In a large b... 9 [4 sticks (2 cups) cold unsalted butter, 4 cup... 1 4.375 34 Banana Rum Puffs
1 105 [Cookies, Food Processor, Fruit, Dessert, Bake... 2004-08-20 04:00:00 These cookies are perfect with a cup of tea. [Combine first 3 ingredients in processor; ble... 7 [1 cup all purpose flour, 4 ounces chilled cre... 1 3.125 31 Cream Cheese Strudel Cookies
2 87 [Cookies, Dessert, Bake, Christmas, Kid-Friend... 2011-12-22 04:00:00 When it comes right down to it, the simplest h... [Beat together butter, sugar, and salt in a la... 4 [2 sticks (1 cup) unsalted butter, softened, 1... 1 3.750 26 Buttery Sugar Cookies
3 92 [Cookies, Nut, Dessert, Bake, Christmas, Kid-F... 2013-11-06 04:00:00 Hand off this dough to the kids—or anyone with... [Place racks in lower and upper thirds of oven... 6 [1 1/2 cups all-purpose flour, 1 1/2 cups unsa... 1 4.375 51 Roasted-Almond Thumbprints
4 76 [Bon Appétit, Bake, Cookies, Almond, Lemon, De... 2016-07-01 18:35:00 These traditional almond cookies hail from Tus... [Preheat oven to 350°F. Toast almonds on a rim... 5 [1 1/4 cups slivered almonds, 1 teaspoon finel... 2 0.000 15 Tuscan Almond Cookies (Ricciarelli)

Remarque:

En regardant les résultats des fichier générés on vérifie bien que les intitulés des recettes correspondent.

Par exemple si on prend cette ligne de "Cookies.json" qui correspond à une recette au nom de "Roasted-Almond Thumbprints" on peut se douter qu'il ne s'agisse pas d'une recette de cookie.

In [13]:
Image(filename="images/ligne_roastedalmond.png")
Out[13]:

et qu'on vérifie sur le site d'épicurious:

In [14]:
Image(filename="images/roasted_almond.png")
Out[14]:

Il s'agit donc bien d'une recette de biscuit de type "cookie". Notre prochain travail serait donc de séparer les quantités et les ingrédients de la colonne "ingredients" afin de pouvoir exploiter ces données numériques et les afficher dans des graphiques afin de r